# Nakafa Learning Content > For AI agents: use [llms.txt](https://nakafa.com/llms.txt) for the site index. Markdown versions are available by appending `.md` to content URLs or sending `Accept: text/markdown`. URL: https://nakafa.com/id/materi/ai-ds/metode-linear-ai/regularisasi Source: https://raw.githubusercontent.com/nakafaai/nakafa.com/refs/heads/main/packages/contents/material/lesson/ai-ds/linear-methods/regularization/id.mdx Pelajari regularisasi Tikhonov untuk sistem linear tidak stabil. Pelajari cara menyelesaikan masalah ill-conditioned dan menstabilkan estimasi parameter. --- ## Masalah dalam Sistem Linear Ketika kita berhadapan dengan sistem persamaan linear $$Ax = b$$ dimana $$A \in \mathbb{R}^{m \times n}$$ dan $$b \in \mathbb{R}^m$$, sering kali muncul situasi yang menantang. Jika $$m > n$$ dan $$\text{Peringkat}(A|b) > \text{Peringkat}(A)$$, maka sistem kuadrat terkecil menjadi tidak dapat diselesaikan karena sistem terlalu terbatas atau memiliki terlalu banyak batasan. Visible text: Ketika kita berhadapan dengan sistem persamaan linear dimana dan , sering kali muncul situasi yang menantang. Jika dan , maka sistem kuadrat terkecil menjadi tidak dapat diselesaikan karena sistem terlalu terbatas atau memiliki terlalu banyak batasan. Situasi lain yang sama bermasalahnya terjadi ketika matriks $$A$$ tidak memiliki peringkat penuh, yaitu $$\text{Peringkat}(A) < n$$. Dalam kondisi ini, sistem persamaan menjadi kurang terbatas atau memiliki terlalu banyak kebebasan. Visible text: Situasi lain yang sama bermasalahnya terjadi ketika matriks tidak memiliki peringkat penuh, yaitu . Dalam kondisi ini, sistem persamaan menjadi kurang terbatas atau memiliki terlalu banyak kebebasan. Bayangkan seperti mencoba menentukan posisi sebuah objek dengan informasi yang terlalu sedikit atau saling bertentangan. Regularisasi hadir sebagai solusi untuk memberikan stabilitas pada masalah yang tidak stabil ini. ## Definisi Masalah Regularisasi Untuk mengatasi masalah ketidakstabilan, kita memperkenalkan masalah kuadrat terkecil yang dimodifikasi ```math \min_x \left( \|Ax - b\|_2^2 + \omega^2 \|x - x_0\|_2^2 \right) ``` dimana $$x_0 \in \mathbb{R}^n$$ adalah nilai awal atau perkiraan awal untuk parameter model dan $$\omega^2 \in \mathbb{R}_0^+$$ adalah faktor pembobot. Suku tambahan Visible text: dimana adalah nilai awal atau perkiraan awal untuk parameter model dan adalah faktor pembobot. Suku tambahan ```math \omega^2 \|x - x_0\|_2^2 ``` disebut suku regularisasi Tikhonov. Suku regularisasi ini seperti memberikan "preferensi" kepada sistem untuk memilih solusi yang tidak terlalu jauh dari perkiraan awal $$x_0$$. Semakin besar nilai $$\omega$$, semakin kuat preferensi ini. Visible text: Suku regularisasi ini seperti memberikan "preferensi" kepada sistem untuk memilih solusi yang tidak terlalu jauh dari perkiraan awal . Semakin besar nilai , semakin kuat preferensi ini. ## Interpretasi Regularisasi Melalui suku regularisasi, masalah kuadrat terkecil tidak hanya meminimumkan perbedaan $$\|Ax - b\|$$ antara model dan data, tetapi juga meminimumkan perbedaan $$\|x - x_0\|$$ antara parameter dan nilai perkiraan awal $$x_0$$, dengan bobot $$\omega^2$$. Visible text: Melalui suku regularisasi, masalah kuadrat terkecil tidak hanya meminimumkan perbedaan antara model dan data, tetapi juga meminimumkan perbedaan antara parameter dan nilai perkiraan awal , dengan bobot . Perhatikan bahwa nilai perkiraan awal $$x_0$$ dipilih oleh peneliti. Solusi $$\hat{x}$$ kemudian tidak hanya menggambarkan perilaku proses yang diselidiki, tetapi juga mencerminkan asumsi awal peneliti. Visible text: Perhatikan bahwa nilai perkiraan awal dipilih oleh peneliti. Solusi kemudian tidak hanya menggambarkan perilaku proses yang diselidiki, tetapi juga mencerminkan asumsi awal peneliti. ## Formulasi Matriks Masalah regularisasi dapat ditulis dalam bentuk matriks sebagai Component: MathContainer Children: ```math \min_x \left\| \begin{pmatrix} Ax - b \\ \omega(x - x_0) \end{pmatrix} \right\|^2 ``` ```math = \left\| \begin{pmatrix} A \\ \omega I \end{pmatrix} x - \begin{pmatrix} b \\ \omega x_0 \end{pmatrix} \right\|_2^2 ``` Sistem persamaan normal yang bersesuaian menjadi Component: MathContainer Children: ```math \begin{pmatrix} A \\ \omega I \end{pmatrix}^T \begin{pmatrix} A \\ \omega I \end{pmatrix} x ``` ```math = \begin{pmatrix} A \\ \omega I \end{pmatrix}^T \begin{pmatrix} b \\ \omega x_0 \end{pmatrix} ``` atau dalam bentuk yang lebih sederhana ```math (A^T A + \omega^2 I) x = A^T b + \omega^2 x_0 ``` ## Sifat Solusi Regularisasi Untuk $$\omega > 0$$, sistem persamaan normal Visible text: Untuk , sistem persamaan normal ```math (A^T A + \omega^2 I) x = A^T b + \omega^2 x_0 ``` dari masalah regularisasi selalu memiliki solusi yang unik. Regularisasi dengan demikian memulihkan kemampuan identifikasi semua parameter. Matriks $$\begin{pmatrix} A \\ \omega I \end{pmatrix}$$ memiliki $$n$$ baris yang linear independen dalam blok $$\omega I$$ untuk $$\omega > 0$$, sehingga mencapai peringkat maksimal $$n$$. Matriks $$A^T A + \omega^2 I$$ menjadi positif definit untuk $$\omega > 0$$, yang menjamin bahwa masalah menjadi terdefinisi dengan baik dan memiliki solusi yang stabil. Visible text: Matriks memiliki baris yang linear independen dalam blok untuk , sehingga mencapai peringkat maksimal . Matriks menjadi positif definit untuk , yang menjamin bahwa masalah menjadi terdefinisi dengan baik dan memiliki solusi yang stabil. ## Pembobot Individual untuk Parameter Kita dapat memilih faktor pembobot individual $$\omega_i \geq 0$$ untuk setiap parameter $$i = 1, \ldots, n$$. Dalam hal ini, masalah kuadrat terkecil menjadi Visible text: Kita dapat memilih faktor pembobot individual untuk setiap parameter . Dalam hal ini, masalah kuadrat terkecil menjadi Component: MathContainer Children: ```math \min_x \|Ax - b\|_2^2 + \sum_{i=1}^n \omega_i^2 (x_i - x_{0i})^2 ``` ```math = \|Ax - b\|_2^2 + \|\Omega(x - x_0)\|_2^2 ``` ```math = \left\| \begin{pmatrix} A \\ \Omega \end{pmatrix} x - \begin{pmatrix} b \\ \Omega x_0 \end{pmatrix} \right\|_2^2 ``` dengan matriks diagonal ```math \Omega = \begin{pmatrix} \omega_1 & 0 & \cdots \\ 0 & \ddots & \\ \vdots & & \omega_n \end{pmatrix} ``` Faktor pembobot $$\omega_i$$ dipilih sedemikian rupa sehingga matriks $$\begin{pmatrix} A \\ \Omega \end{pmatrix}$$ memiliki peringkat penuh. Visible text: Faktor pembobot dipilih sedemikian rupa sehingga matriks memiliki peringkat penuh. ## Strategi Pemilihan Pembobot Untuk parameter yang sulit ditentukan dengan baik, kita memilih faktor pembobot $$\omega_i$$ yang besar. Sebaliknya, untuk parameter yang sudah dapat ditentukan dengan baik, kita dapat memilih $$\omega_i = 0$$. Tentu saja, semua faktor pembobot $$\omega_i$$ dapat mempengaruhi semua parameter. Visible text: Untuk parameter yang sulit ditentukan dengan baik, kita memilih faktor pembobot yang besar. Sebaliknya, untuk parameter yang sudah dapat ditentukan dengan baik, kita dapat memilih . Tentu saja, semua faktor pembobot dapat mempengaruhi semua parameter. Jika kita memutuskan untuk menetapkan suatu parameter pada nilai tertentu atau mengubahnya menjadi konstanta, kita dapat mengatur faktor $$\omega_i = \infty$$ secara prinsip. Hal ini juga berlaku ketika kita menambahkan kondisi ketidaksetaraan $$l_i \leq x_i \leq u_i$$ ke dalam masalah, yang kemudian dipenuhi dalam solusi dengan persamaan $$x_i = l_i$$ atau $$x_i = u_i$$. Visible text: Jika kita memutuskan untuk menetapkan suatu parameter pada nilai tertentu atau mengubahnya menjadi konstanta, kita dapat mengatur faktor secara prinsip. Hal ini juga berlaku ketika kita menambahkan kondisi ketidaksetaraan ke dalam masalah, yang kemudian dipenuhi dalam solusi dengan persamaan atau . Melalui regularisasi, solusi tidak hanya bergantung pada data, tetapi juga pada asumsi awal dari peneliti. Hal ini memberikan fleksibilitas dalam mengintegrasikan pengetahuan domain ke dalam proses estimasi parameter.