# Nakafa Learning Content > For AI agents: use [llms.txt](https://nakafa.com/llms.txt) for the site index. Markdown versions are available by appending `.md` to content URLs or sending `Accept: text/markdown`. URL: https://nakafa.com/id/materi/ai-ds/metode-linear-ai/sistem-persamaan-normal Source: https://raw.githubusercontent.com/nakafaai/nakafa.com/refs/heads/main/packages/contents/material/lesson/ai-ds/linear-methods/normal-equation/id.mdx Pelajari persamaan normal untuk optimasi kuadrat terkecil. Pelajari solusi closed-form, prinsip ortogonalitas, dan kondisi sistem terpecahkan. --- ## Apa itu Sistem Persamaan Normal Bayangkan kamu punya masalah optimasi yang rumit, tapi ternyata ada jalan pintas yang elegan. Dalam masalah kuadrat terkecil, alih-alih melakukan optimasi langsung, kita bisa mengubahnya menjadi sistem persamaan yang lebih mudah diselesaikan. Ketika kita ingin meminimumkan ```math \min_x \|A \cdot x - b\|_2^2 ``` ternyata solusinya dapat ditemukan dengan menyelesaikan sistem persamaan berikut ```math A^T A \cdot x = A^T b ``` Persamaan ini disebut **sistem persamaan normal** karena melibatkan konsep ortogonalitas atau keadaan "normal" (tegak lurus) dalam ruang vektor. ## Hubungan Fundamental Ada hubungan yang sangat menarik antara masalah minimisasi dan sistem persamaan normal ini. Vektor $$\hat{x} \in \mathbb{R}^n$$ merupakan solusi dari masalah kuadrat terkecil jika dan hanya jika vektor tersebut memenuhi sistem persamaan normal. Visible text: Ada hubungan yang sangat menarik antara masalah minimisasi dan sistem persamaan normal ini. Vektor merupakan solusi dari masalah kuadrat terkecil jika dan hanya jika vektor tersebut memenuhi sistem persamaan normal. Dengan kata lain, mencari $$\hat{x}$$ yang membuat $$\|A \cdot x - b\|_2^2$$ minimal sama persis dengan mencari $$\hat{x}$$ yang memenuhi $$A^T A \cdot \hat{x} = A^T b$$. Visible text: Dengan kata lain, mencari yang membuat minimal sama persis dengan mencari yang memenuhi . ## Mengapa Sistem Ini Bekerja Untuk memahami mengapa hubungan ini berlaku, kita perlu melihat dari sudut pandang geometris. Ketika $$\hat{x}$$ memberikan nilai minimum untuk $$\|A\hat{x} - b\|_2^2$$, maka vektor kesalahan $$A\hat{x} - b$$ harus ortogonal terhadap semua vektor dalam ruang kolom matriks $$A$$. Visible text: Ketika memberikan nilai minimum untuk , maka vektor kesalahan harus ortogonal terhadap semua vektor dalam ruang kolom matriks . Ruang kolom ini terdiri dari semua vektor yang dapat ditulis sebagai $$Ax$$ untuk $$x \in \mathbb{R}^n$$. Kondisi ortogonalitas berarti Visible text: Ruang kolom ini terdiri dari semua vektor yang dapat ditulis sebagai untuk . Kondisi ortogonalitas berarti ```math 0 = \langle Ax, A\hat{x} - b \rangle ``` untuk setiap vektor $$x \in \mathbb{R}^n$$. Dengan menggunakan sifat perkalian dalam, kita dapat menuliskan Visible text: untuk setiap vektor . Dengan menggunakan sifat perkalian dalam, kita dapat menuliskan Component: MathContainer Children: ```math 0 = (Ax)^T (A\hat{x} - b) = x^T (A^T A\hat{x} - A^T b) ``` Karena hubungan ini harus berlaku untuk semua vektor $$x$$, maka Visible text: Karena hubungan ini harus berlaku untuk semua vektor , maka ```math A^T A\hat{x} - A^T b = 0 ``` Inilah yang memberikan sistem persamaan normal. ## Pembuktian Menggunakan Teorema Pythagoras Kita juga bisa memverifikasi hasil ini dengan cara yang berbeda. Misalkan $$\hat{x}$$ adalah solusi sistem persamaan normal dan $$x$$ adalah sembarang vektor di $$\mathbb{R}^n$$. Visible text: Kita juga bisa memverifikasi hasil ini dengan cara yang berbeda. Misalkan adalah solusi sistem persamaan normal dan adalah sembarang vektor di . Menggunakan teorema Pythagoras, kita dapat menuliskan Component: MathContainer Children: ```math \|Ax - b\|_2^2 = \|A\hat{x} - b - A(\hat{x} - x)\|_2^2 ``` ```math = \|A\hat{x} - b\|_2^2 + \|A(\hat{x} - x)\|_2^2 - 2 \langle A\hat{x} - b, A(\hat{x} - x) \rangle ``` ```math = \|A\hat{x} - b\|_2^2 + \underbrace{\|A(\hat{x} - x)\|_2^2}_{\geq 0} - 2 \underbrace{(\hat{x} - x)^T (A^T A\hat{x} - A^T b)}_{=0} ``` Karena $$\hat{x}$$ memenuhi sistem persamaan normal, maka $$A^T A\hat{x} - A^T b = 0$$ dan norm kuadrat selalu non-negatif. Oleh karena itu Visible text: Karena memenuhi sistem persamaan normal, maka dan norm kuadrat selalu non-negatif. Oleh karena itu ```math \|Ax - b\|_2^2 = \|A\hat{x} - b\|_2^2 + \|A(\hat{x} - x)\|_2^2 \geq \|A\hat{x} - b\|_2^2 ``` Ketidaksamaan ini membuktikan bahwa $$\hat{x}$$ memang memberikan nilai minimum. Visible text: Ketidaksamaan ini membuktikan bahwa memang memberikan nilai minimum. ## Kapan Sistem Persamaan Normal Dapat Diselesaikan Tidak semua sistem persamaan normal dapat diselesaikan dengan mudah. Ada kondisi khusus yang harus dipenuhi. Untuk matriks $$A \in \mathbb{R}^{m \times n}$$ dengan $$m \geq n$$, matriks simetrik $$A^T A \in \mathbb{R}^{n \times n}$$ dapat diinversi jika dan hanya jika matriks $$A$$ memiliki peringkat penuh, yaitu $$\text{Peringkat}(A) = n$$. Visible text: Untuk matriks dengan , matriks simetrik dapat diinversi jika dan hanya jika matriks memiliki peringkat penuh, yaitu . Kondisi ini sangat penting karena menentukan apakah sistem persamaan normal memiliki solusi yang unik. Ketika $$A^T A$$ dapat diinversi, solusi dapat ditulis secara eksplisit sebagai Visible text: Kondisi ini sangat penting karena menentukan apakah sistem persamaan normal memiliki solusi yang unik. Ketika dapat diinversi, solusi dapat ditulis secara eksplisit sebagai ```math \hat{x} = (A^T A)^{-1} A^T b ``` ## Pembuktian Kondisi Invertible Untuk memahami kapan $$A^T A$$ dapat diinversi, kita perlu melihat hubungan antara ruang nul (kernel) dan peringkat. Visible text: Untuk memahami kapan dapat diinversi, kita perlu melihat hubungan antara ruang nul (kernel) dan peringkat. Jika $$A^T A$$ dapat diinversi, maka ruang nul dari $$A^T A$$ hanya berisi vektor nol. Karena ruang nul dari $$A^T A$$ mencakup ruang nul dari $$A$$, maka $$A$$ juga hanya memiliki vektor nol dalam ruang nulnya. Ini berarti $$\text{Peringkat}(A) = n$$. Visible text: Jika dapat diinversi, maka ruang nul dari hanya berisi vektor nol. Karena ruang nul dari mencakup ruang nul dari , maka juga hanya memiliki vektor nol dalam ruang nulnya. Ini berarti . Sebaliknya, jika $$\text{Peringkat}(A) = n$$, maka persamaan $$Ax = 0$$ hanya memiliki solusi $$x = 0$$. Untuk melihat bahwa $$A^T A$$ dapat diinversi, perhatikan bahwa jika $$A^T Ax = 0$$, maka Visible text: Sebaliknya, jika , maka persamaan hanya memiliki solusi . Untuk melihat bahwa dapat diinversi, perhatikan bahwa jika , maka ```math 0 = \langle x, A^T Ax \rangle = x^T A^T Ax = \langle Ax, Ax \rangle ``` Karena perkalian dalam hanya bernilai nol jika $$Ax = 0$$, dan kita tahu bahwa ini hanya terjadi ketika $$x = 0$$, maka $$A^T A$$ memang dapat diinversi. Visible text: Karena perkalian dalam hanya bernilai nol jika , dan kita tahu bahwa ini hanya terjadi ketika , maka memang dapat diinversi. ## Sifat Positif Definit Lebih dari sekadar dapat diinversi, matriks $$A^T A$$ memiliki sifat khusus. Ketika $$\text{Peringkat}(A) = n$$ dan $$x \neq 0$$, kita memiliki $$Ax \neq 0$$ dan Visible text: Lebih dari sekadar dapat diinversi, matriks memiliki sifat khusus. Ketika dan , kita memiliki dan ```math x^T A^T A x = \langle Ax, Ax \rangle > 0 ``` Ini menunjukkan bahwa $$A^T A$$ adalah matriks **positif definit**. Properti ini menjamin bahwa sistem persamaan normal tidak hanya memiliki solusi unik, tetapi juga stabil secara numerik ketika diselesaikan dengan metode komputasi. Algoritma seperti dekomposisi Cholesky dapat digunakan dengan aman untuk menyelesaikan sistem ini. Visible text: Ini menunjukkan bahwa adalah matriks **positif definit**. Properti ini menjamin bahwa sistem persamaan normal tidak hanya memiliki solusi unik, tetapi juga stabil secara numerik ketika diselesaikan dengan metode komputasi. Algoritma seperti dekomposisi Cholesky dapat digunakan dengan aman untuk menyelesaikan sistem ini.