For AI agents: use /llms.txt for the Nakafa content index.
Bayangkan kamu punya masalah optimasi yang rumit, tapi ternyata ada jalan pintas yang elegan. Dalam masalah kuadrat terkecil, alih-alih melakukan optimasi langsung, kita bisa mengubahnya menjadi sistem persamaan yang lebih mudah diselesaikan.
Ketika kita ingin meminimumkan
ternyata solusinya dapat ditemukan dengan menyelesaikan sistem persamaan berikut
Persamaan ini disebut sistem persamaan normal karena melibatkan konsep ortogonalitas atau keadaan "normal" (tegak lurus) dalam ruang vektor.
Ada hubungan yang sangat menarik antara masalah minimisasi dan sistem persamaan normal ini. Vektor merupakan solusi dari masalah kuadrat terkecil jika dan hanya jika vektor tersebut memenuhi sistem persamaan normal.
Dengan kata lain, mencari yang membuat minimal sama persis dengan mencari yang memenuhi .
Untuk memahami mengapa hubungan ini berlaku, kita perlu melihat dari sudut pandang geometris.
Ketika memberikan nilai minimum untuk , maka vektor kesalahan harus ortogonal terhadap semua vektor dalam ruang kolom matriks .
Ruang kolom ini terdiri dari semua vektor yang dapat ditulis sebagai untuk . Kondisi ortogonalitas berarti
untuk setiap vektor . Dengan menggunakan sifat perkalian dalam, kita dapat menuliskan
Karena hubungan ini harus berlaku untuk semua vektor , maka
Inilah yang memberikan sistem persamaan normal.
Kita juga bisa memverifikasi hasil ini dengan cara yang berbeda. Misalkan adalah solusi sistem persamaan normal dan adalah sembarang vektor di .
Menggunakan teorema Pythagoras, kita dapat menuliskan
Karena memenuhi sistem persamaan normal, maka dan norm kuadrat selalu non-negatif. Oleh karena itu
Ketidaksamaan ini membuktikan bahwa memang memberikan nilai minimum.
Tidak semua sistem persamaan normal dapat diselesaikan dengan mudah. Ada kondisi khusus yang harus dipenuhi.
Untuk matriks dengan , matriks simetrik dapat diinversi jika dan hanya jika matriks memiliki peringkat penuh, yaitu .
Kondisi ini sangat penting karena menentukan apakah sistem persamaan normal memiliki solusi yang unik. Ketika dapat diinversi, solusi dapat ditulis secara eksplisit sebagai
Untuk memahami kapan dapat diinversi, kita perlu melihat hubungan antara ruang nul (kernel) dan peringkat.
Jika dapat diinversi, maka ruang nul dari hanya berisi vektor nol. Karena ruang nul dari mencakup ruang nul dari , maka juga hanya memiliki vektor nol dalam ruang nulnya. Ini berarti .
Sebaliknya, jika , maka persamaan hanya memiliki solusi . Untuk melihat bahwa dapat diinversi, perhatikan bahwa jika , maka
Karena perkalian dalam hanya bernilai nol jika , dan kita tahu bahwa ini hanya terjadi ketika , maka memang dapat diinversi.
Lebih dari sekadar dapat diinversi, matriks memiliki sifat khusus. Ketika dan , kita memiliki dan
Ini menunjukkan bahwa adalah matriks positif definit. Properti ini menjamin bahwa sistem persamaan normal tidak hanya memiliki solusi unik, tetapi juga stabil secara numerik ketika diselesaikan dengan metode komputasi. Algoritma seperti dekomposisi Cholesky dapat digunakan dengan aman untuk menyelesaikan sistem ini.
