For AI agents: use /llms.txt for the Nakafa content index.
Ketika kita berhadapan dengan sistem persamaan linear dimana dan , sering kali muncul situasi yang menantang. Jika dan , maka sistem kuadrat terkecil menjadi tidak dapat diselesaikan karena sistem terlalu terbatas atau memiliki terlalu banyak batasan.
Situasi lain yang sama bermasalahnya terjadi ketika matriks tidak memiliki peringkat penuh, yaitu . Dalam kondisi ini, sistem persamaan menjadi kurang terbatas atau memiliki terlalu banyak kebebasan.
Bayangkan seperti mencoba menentukan posisi sebuah objek dengan informasi yang terlalu sedikit atau saling bertentangan. Regularisasi hadir sebagai solusi untuk memberikan stabilitas pada masalah yang tidak stabil ini.
Untuk mengatasi masalah ketidakstabilan, kita memperkenalkan masalah kuadrat terkecil yang dimodifikasi
dimana adalah nilai awal atau perkiraan awal untuk parameter model dan adalah faktor pembobot. Suku tambahan
disebut suku regularisasi Tikhonov.
Suku regularisasi ini seperti memberikan "preferensi" kepada sistem untuk memilih solusi yang tidak terlalu jauh dari perkiraan awal . Semakin besar nilai , semakin kuat preferensi ini.
Melalui suku regularisasi, masalah kuadrat terkecil tidak hanya meminimumkan perbedaan antara model dan data, tetapi juga meminimumkan perbedaan antara parameter dan nilai perkiraan awal , dengan bobot .
Perhatikan bahwa nilai perkiraan awal dipilih oleh peneliti. Solusi kemudian tidak hanya menggambarkan perilaku proses yang diselidiki, tetapi juga mencerminkan asumsi awal peneliti.
Masalah regularisasi dapat ditulis dalam bentuk matriks sebagai
Sistem persamaan normal yang bersesuaian menjadi
atau dalam bentuk yang lebih sederhana
Untuk , sistem persamaan normal
dari masalah regularisasi selalu memiliki solusi yang unik. Regularisasi dengan demikian memulihkan kemampuan identifikasi semua parameter.
Matriks memiliki baris yang linear independen dalam blok untuk , sehingga mencapai peringkat maksimal . Matriks menjadi positif definit untuk , yang menjamin bahwa masalah menjadi terdefinisi dengan baik dan memiliki solusi yang stabil.
Kita dapat memilih faktor pembobot individual untuk setiap parameter . Dalam hal ini, masalah kuadrat terkecil menjadi
dengan matriks diagonal
Faktor pembobot dipilih sedemikian rupa sehingga matriks memiliki peringkat penuh.
Untuk parameter yang sulit ditentukan dengan baik, kita memilih faktor pembobot yang besar. Sebaliknya, untuk parameter yang sudah dapat ditentukan dengan baik, kita dapat memilih . Tentu saja, semua faktor pembobot dapat mempengaruhi semua parameter.
Jika kita memutuskan untuk menetapkan suatu parameter pada nilai tertentu atau mengubahnya menjadi konstanta, kita dapat mengatur faktor secara prinsip. Hal ini juga berlaku ketika kita menambahkan kondisi ketidaksetaraan ke dalam masalah, yang kemudian dipenuhi dalam solusi dengan persamaan atau .
Melalui regularisasi, solusi tidak hanya bergantung pada data, tetapi juga pada asumsi awal dari peneliti. Hal ini memberikan fleksibilitas dalam mengintegrasikan pengetahuan domain ke dalam proses estimasi parameter.
