Analisis Statistik

Matriks Informasi Fisher

Matriks $A^T A$ memiliki nama khusus dalam konteks masalah kuadrat terkecil. Matriks ini disebut sebagai matriks informasi Fisher, sesuai dengan nama ahli statistik terkenal.

Bayangkan seperti mengukur seberapa tajam puncak sebuah gunung. Semakin tajam puncaknya, semakin mudah kita menentukan lokasi puncak yang tepat. Begitu juga dengan matriks informasi Fisher, ia memberikan ukuran seberapa baik kita dapat menentukan parameter yang optimal.

Matriks Kovarian Parameter

Matriks $C = (A^T A)^{-1}$ merupakan matriks kovarian dari penduga parameter $\hat{x} = (A^T A)^{-1} A^T b$ . Matriks ini berlaku ketika kita mengasumsikan bahwa komponen $b_i$ untuk $i = 1, \ldots, n$ adalah nilai bebas yang terdistribusi normal standar.

Dengan asumsi tersebut, penduga $\hat{x}$ mengikuti distribusi normal multivariat

\hat{x} \sim N(x_{true}, C)

dimana $x_{true} \in \mathbb{R}^n$ adalah parameter sebenarnya yang tidak diketahui sebagai nilai harapan dan $C \in \mathbb{R}^{n \times n}$ sebagai matriks kovarian.

Elemen diagonal $c_{ii}$ menggambarkan varian dari parameter, seperti mengukur seberapa jauh estimasi parameter bisa meleset dari nilai sebenarnya. Dari nilai ini dapat dihitung interval kepercayaan untuk parameter tersebut. Elemen di luar diagonal $c_{ij}$ dengan $i \neq j$ adalah kovarian yang menunjukkan bagaimana ketidakpastian dua parameter saling berkaitan. Dari kovarian ini dapat diperoleh korelasi $c_{ij}/\sqrt{c_{ii} \cdot c_{jj}}$ antar parameter.

Yang penting dalam estimasi parameter bukan hanya penduga $\hat{x}$ itu sendiri, tetapi juga signifikansi statistiknya yang dijelaskan melalui matriks kovarian $C$ . Seperti seorang dokter yang tidak hanya memberikan hasil tes, tetapi juga menjelaskan tingkat kepercayaan terhadap hasil tersebut. Dalam kuliah statistik, konsep-konsep ini dibahas secara lebih rinci.

Dekomposisi QR

Matriks kovarian dapat dihitung menggunakan dekomposisi QR kecil dari $A$ . Jika $A = QR$ , maka berlaku

C = (A^T A)^{-1}

= (R^T Q^T QR)^{-1}

= R^{-1} R^{-T}

Kuadrat Terkecil Berbobot

Untuk memenuhi persyaratan terhadap kesalahan pengukuran dan memberikan bobot yang sesuai pada data pengukuran, biasanya digunakan masalah kuadrat terkecil berbobot

\min_x \sum_{i=1}^m \frac{(h(t_i) \cdot x - y_i)^2}{\sigma_i^2}

= \|Ax - b\|_2^2

Masalah ini dapat ditransformasi dengan mendefinisikan

A = \Sigma^{-1} \begin{pmatrix} h(t_1) \\ \vdots \\ h(t_m) \end{pmatrix}

b = \Sigma^{-1} \begin{pmatrix} y_1 \\ \vdots \\ y_m \end{pmatrix}

dengan

\Sigma^{-1} = \begin{pmatrix} 1/\sigma_1 & 0 & \cdots \\ 0 & \ddots & \\ \vdots & & 1/\sigma_m \end{pmatrix}

Di sini $\sigma_i^2$ adalah varian dari kesalahan pengukuran $y_i$ yang bebas dan terdistribusi normal. Selain itu diasumsikan bahwa kesalahan pengukuran memiliki nilai harapan $0$ , sehingga tidak ada kesalahan sistematis. Dengan demikian $b_i$ terdistribusi normal standar.

Dalam fungsi kuadrat terkecil berbobot, nilai pengukuran dengan kesalahan pengukuran besar diberi bobot yang lebih lemah dibandingkan nilai pengukuran dengan kesalahan pengukuran kecil. Analoginya seperti ketika kita mendengarkan pendapat dari berbagai sumber, kita akan memberikan bobot lebih besar pada sumber yang lebih dapat dipercaya dan bobot lebih kecil pada sumber yang kurang akurat.

Command Palette

Matriks Informasi Fisher

Matriks Kovarian Parameter

Dekomposisi QR

Kuadrat Terkecil Berbobot