Regularisasi

Masalah dalam Sistem Linear

Ketika kita berhadapan dengan sistem persamaan linear $Ax = b$ dimana $A \in \mathbb{R}^{m \times n}$ dan $b \in \mathbb{R}^m$ , sering kali muncul situasi yang menantang. Jika $m > n$ dan $\text{Peringkat}(A|b) > \text{Peringkat}(A)$ , maka sistem kuadrat terkecil menjadi tidak dapat diselesaikan karena sistem terlalu terbatas atau memiliki terlalu banyak batasan.

Situasi lain yang sama bermasalahnya terjadi ketika matriks $A$ tidak memiliki peringkat penuh, yaitu $\text{Peringkat}(A) < n$ . Dalam kondisi ini, sistem persamaan menjadi kurang terbatas atau memiliki terlalu banyak kebebasan.

Bayangkan seperti mencoba menentukan posisi sebuah objek dengan informasi yang terlalu sedikit atau saling bertentangan. Regularisasi hadir sebagai solusi untuk memberikan stabilitas pada masalah yang tidak stabil ini.

Definisi Masalah Regularisasi

Untuk mengatasi masalah ketidakstabilan, kita memperkenalkan masalah kuadrat terkecil yang dimodifikasi

\min_x \left( \|Ax - b\|_2^2 + \omega^2 \|x - x_0\|_2^2 \right)

dimana $x_0 \in \mathbb{R}^n$ adalah nilai awal atau perkiraan awal untuk parameter model dan $\omega^2 \in \mathbb{R}_0^+$ adalah faktor pembobot. Suku tambahan

\omega^2 \|x - x_0\|_2^2

disebut suku regularisasi Tikhonov.

Suku regularisasi ini seperti memberikan "preferensi" kepada sistem untuk memilih solusi yang tidak terlalu jauh dari perkiraan awal $x_0$ . Semakin besar nilai $\omega$ , semakin kuat preferensi ini.

Interpretasi Regularisasi

Melalui suku regularisasi, masalah kuadrat terkecil tidak hanya meminimumkan perbedaan $\|Ax - b\|$ antara model dan data, tetapi juga meminimumkan perbedaan $\|x - x_0\|$ antara parameter dan nilai perkiraan awal $x_0$ , dengan bobot $\omega^2$ .

Perhatikan bahwa nilai perkiraan awal $x_0$ dipilih oleh peneliti. Solusi $\hat{x}$ kemudian tidak hanya menggambarkan perilaku proses yang diselidiki, tetapi juga mencerminkan asumsi awal peneliti.

Formulasi Matriks

Masalah regularisasi dapat ditulis dalam bentuk matriks sebagai

\min_x \left\| \begin{pmatrix} Ax - b \\ \omega(x - x_0) \end{pmatrix} \right\|^2

= \left\| \begin{pmatrix} A \\ \omega I \end{pmatrix} x - \begin{pmatrix} b \\ \omega x_0 \end{pmatrix} \right\|_2^2

Sistem persamaan normal yang bersesuaian menjadi

\begin{pmatrix} A \\ \omega I \end{pmatrix}^T \begin{pmatrix} A \\ \omega I \end{pmatrix} x

= \begin{pmatrix} A \\ \omega I \end{pmatrix}^T \begin{pmatrix} b \\ \omega x_0 \end{pmatrix}

atau dalam bentuk yang lebih sederhana

(A^T A + \omega^2 I) x = A^T b + \omega^2 x_0

Sifat Solusi Regularisasi

Untuk $\omega > 0$ , sistem persamaan normal

(A^T A + \omega^2 I) x = A^T b + \omega^2 x_0

dari masalah regularisasi selalu memiliki solusi yang unik. Regularisasi dengan demikian memulihkan kemampuan identifikasi semua parameter.

Matriks $\begin{pmatrix} A \\ \omega I \end{pmatrix}$ memiliki $n$ baris yang linear independen dalam blok $\omega I$ untuk $\omega > 0$ , sehingga mencapai peringkat maksimal $n$ . Matriks $A^T A + \omega^2 I$ menjadi positif definit untuk $\omega > 0$ , yang menjamin bahwa masalah menjadi terdefinisi dengan baik dan memiliki solusi yang stabil.

Pembobot Individual untuk Parameter

Kita dapat memilih faktor pembobot individual $\omega_i \geq 0$ untuk setiap parameter $i = 1, \ldots, n$ . Dalam hal ini, masalah kuadrat terkecil menjadi

\min_x \|Ax - b\|_2^2 + \sum_{i=1}^n \omega_i^2 (x_i - x_{0i})^2

= \|Ax - b\|_2^2 + \|\Omega(x - x_0)\|_2^2

= \left\| \begin{pmatrix} A \\ \Omega \end{pmatrix} x - \begin{pmatrix} b \\ \Omega x_0 \end{pmatrix} \right\|_2^2

dengan matriks diagonal

\Omega = \begin{pmatrix} \omega_1 & 0 & \cdots \\ 0 & \ddots & \\ \vdots & & \omega_n \end{pmatrix}

Faktor pembobot $\omega_i$ dipilih sedemikian rupa sehingga matriks $\begin{pmatrix} A \\ \Omega \end{pmatrix}$ memiliki peringkat penuh.

Strategi Pemilihan Pembobot

Untuk parameter yang sulit ditentukan dengan baik, kita memilih faktor pembobot $\omega_i$ yang besar. Sebaliknya, untuk parameter yang sudah dapat ditentukan dengan baik, kita dapat memilih $\omega_i = 0$ . Tentu saja, semua faktor pembobot $\omega_i$ dapat mempengaruhi semua parameter.

Jika kita memutuskan untuk menetapkan suatu parameter pada nilai tertentu atau mengubahnya menjadi konstanta, kita dapat mengatur faktor $\omega_i = \infty$ secara prinsip. Hal ini juga berlaku ketika kita menambahkan kondisi ketidaksetaraan $l_i \leq x_i \leq u_i$ ke dalam masalah, yang kemudian dipenuhi dalam solusi dengan persamaan $x_i = l_i$ atau $x_i = u_i$ .

Melalui regularisasi, solusi tidak hanya bergantung pada data, tetapi juga pada asumsi awal dari peneliti. Hal ini memberikan fleksibilitas dalam mengintegrasikan pengetahuan domain ke dalam proses estimasi parameter.

Command Palette