Identifiabilitas dan Peringkat Matriks

Identifiabilitas dalam Model Linear

Sebuah parameter dapat diidentifikasi jika data yang tersedia $menentukan nilai parameter secara unik$ . Misalkan $A \in \mathbb{R}^{m \times n}$ , $b \in \mathbb{R}^m$ , dan $m \geq n$ . Masalah kuadrat terkecil linear adalah

\min_{x \in \mathbb{R}^n} \|Ax-b\|_2^2

Persamaan normal untuk masalah ini adalah

A^T A x = A^T b

Vektor parameter $x$ dapat diidentifikasi secara unik tepat ketika $A$ memiliki peringkat kolom penuh:

\operatorname{rank}(A)=n

Kedua pernyataan ini ekuivalen. Jika terdapat $z \in \ker(A)$ yang tidak nol, maka

A(x+z)=Ax

Kesamaan tersebut menunjukkan bahwa data tidak dapat membedakan $x$ dan $x+z$ . Jika $\ker(A)=\{0\}$ , maka $A^TA$ bersifat definit positif dan masalah kuadrat terkecil memiliki satu peminimum.

Sebagai contoh, kedua kolom matriks berikut sama. Hanya jumlah kedua parameter yang memengaruhi prediksi.

A=\begin{pmatrix}1&1\\2&2\end{pmatrix},\qquad Ax=\begin{pmatrix}x_1+x_2\\2(x_1+x_2)\end{pmatrix}

Vektor parameter	Prediksi
$(1,0)^T$	$(1,2)^T$
$(0,1)^T$	$(1,2)^T$
$(1/2,1/2)^T$	$(1,2)^T$

A\begin{pmatrix}1\\-1\end{pmatrix}=\begin{pmatrix}0\\0\end{pmatrix}

Keunikan Solusi dan Kestabilan Numerik

Peringkat kolom penuh $menjamin peminimum kuadrat terkecil yang unik$ , tetapi belum menjamin keandalan numerik. Nilai singular tak nol yang sangat kecil dapat membuat estimasi sangat sensitif terhadap perubahan kecil pada data.

Pertanyaan	Diagnostik	Makna
Apakah parameter dapat diidentifikasi secara struktural?	$\operatorname{rank}(A)=n$	Tidak ada dua vektor parameter yang menghasilkan prediksi sama.
Apakah estimasi ditentukan dengan baik secara numerik?	$\sigma_n$ tidak sangat kecil relatif terhadap $\sigma_1$	Gangguan kecil tidak menimbulkan perubahan parameter yang besar.
Seberapa sensitif masalahnya?	$\kappa_2(A)=\sigma_1/\sigma_n$	Bilangan kondisi besar menandakan sensitivitas tinggi.

Identifiabilitas struktural merupakan sifat aljabar eksak. Identifiabilitas praktis juga bergantung pada skala data, gangguan acak dalam pengukuran, dan toleransi numerik yang digunakan.

Faktorisasi untuk Menentukan Peringkat

Dua $faktorisasi umum dapat menentukan peringkat$ tanpa mengandalkan perhitungan determinan yang peka terhadap galat numerik:

Metode	Kekuatan	Penggunaan umum
Faktorisasi $\mathrm{QR}$ dengan pivoting kolom	Biasanya lebih murah daripada $\mathrm{SVD}$ penuh	Penyelesaian kuadrat terkecil yang cepat dan deteksi peringkat praktis
Dekomposisi nilai singular	Memisahkan arah independen dan skala setiap arah	Mendeteksi nilai singular kecil yang menandakan matriks hampir mengalami defisiensi peringkat

Faktorisasi $\mathrm{LU}$ biasa terutama ditujukan untuk sistem persegi. Untuk matriks desain persegi panjang, peringkat biasanya ditentukan dengan $\mathrm{QR}$ berpivot atau $\mathrm{SVD}$ .

Dekomposisi Nilai Singular

Misalkan $q=\min(m,n)$ . Setiap matriks $A \in \mathbb{R}^{m \times n}$ memiliki dekomposisi nilai singular

A=U\Sigma V^T

Dalam dekomposisi ini, $U \in \mathbb{R}^{m \times m}$ dan $V \in \mathbb{R}^{n \times n}$ bersifat ortogonal. Matriks $\Sigma \in \mathbb{R}^{m \times n}$ memiliki elemen diagonal nonnegatif yang memenuhi

\sigma_1 \geq \sigma_2 \geq \cdots \geq \sigma_q \geq 0

Peringkat eksak sama dengan $banyaknya nilai singular positif$ :

\operatorname{rank}(A)=\#\{i:\sigma_i>0\}

Untuk $m \geq n$ , peringkat kolom penuh ekuivalen dengan $\sigma_n>0$ . Arah parameter yang tidak dapat diidentifikasi oleh data direntang oleh vektor singular kanan yang bersesuaian dengan nilai singular nol, yaitu basis untuk $\ker(A)$ .

Peringkat Eksak dan Peringkat Numerik

Jika peringkat eksaknya $r$ dengan $0<r<q$ , maka

\sigma_r>0=\sigma_{r+1}=\cdots=\sigma_q

Data titik mengambang jarang memuat nol eksak. Peringkat numerik menghitung nilai singular yang melampaui $ambang berskala$ $\tau$ :

\tau=c\,\max(m,n)\,\varepsilon_{\mathrm{mach}}\,\sigma_1

Faktor $c$ bergantung pada penerapan dan perkiraan besarnya gangguan acak dalam data, sehingga tidak ada satu batas desimal yang berlaku untuk semua masalah. Jika $A$ tidak berperingkat penuh, nilai minimum kuadrat terkecil tetap ada, tetapi ada lebih dari satu vektor parameter yang menghasilkan nilai minimum tersebut. Pseudoinvers Moore-Penrose memilih solusi dengan norma paling kecil:

x^{\dagger}=V\Sigma^{\dagger}U^T b

Menentukan Peringkat Matriks dengan SVD atau QR

Identitas

A^TA=V(\Sigma^T\Sigma)V^T

Identitas ini menunjukkan bahwa kuadrat nilai singular merupakan nilai eigen dari $A^TA$ . Untuk matriks berperingkat kolom penuh dalam perhitungan numerik, membentuk $A^TA$ secara eksplisit akan $menguadratkan bilangan kondisi$ :

\kappa_2(A^TA)=\kappa_2(A)^2

Karena itu, perangkat lunak numerik biasanya memakai $\mathrm{SVD}$ atau rank-revealing $\mathrm{QR}$ untuk memperkirakan peringkat matriks. Kedua algoritma bekerja langsung pada $A$ , sehingga tidak menguadratkan bilangan kondisi seperti saat membentuk $A^TA$ .