Analisis Statistik

Mulai dari Model Statistik

Kuadrat terkecil baru menjadi penduga statistik setelah kita menyatakan $bagaimana observasi dihasilkan$ . Misalkan

y=X\beta+\varepsilon

Dalam model ini, $X\in\mathbb{R}^{m\times p}$ adalah matriks desain tetap, $\beta\in\mathbb{R}^p$ adalah vektor parameter yang belum diketahui, dan $y\in\mathbb{R}^m$ adalah vektor observasi. Untuk kuadrat terkecil Gaussian biasa, anggap

\varepsilon\sim\mathcal N(0,\sigma^2I_m),\qquad \sigma^2>0

Asumsi kedua adalah $X$ memiliki rank kolom penuh. Dengan kedua asumsi tersebut, vektor observasi $y$ mengikuti $\mathcal N(X\beta,\sigma^2I_m)$ . Rataan vektor $y$ adalah $X\beta$ , sedangkan matriks kovariansnya adalah $\sigma^2I_m$ .

Informasi Fisher dan Kovarians Penduga

Dengan mengabaikan konstanta yang tidak bergantung pada $\beta$ , log-likelihood-nya adalah

\ell(\beta)=-\frac1{2\sigma^2}\lVert y-X\beta\rVert_2^2

Score, Hessian, dan informasi Fisher-nya adalah

\nabla\ell(\beta)=\frac1{\sigma^2}X^T(y-X\beta)

Jadi $X^TX$ sendiri merupakan informasi Fisher hanya pada kasus yang sudah distandardisasi, yaitu $\sigma^2=1$ . Penyelesaian persamaan score memberikan

\hat\beta=(X^TX)^{-1}X^Ty

Karena transformasi linear dari vektor Gaussian tetap Gaussian,

\hat\beta\sim\mathcal N\left(\beta,\sigma^2(X^TX)^{-1}\right)

Kovariansnya $tepat sama dengan invers informasi Fisher$ pada model ini:

\operatorname{Cov}(\hat\beta)=\sigma^2(X^TX)^{-1}=\mathcal I(\beta)^{-1}

Elemen diagonal $c_{jj}$ adalah varians $\hat\beta_j$ . Elemen di luar diagonal $c_{jk}$ mengukur bagaimana dua penduga koefisien berubah bersama, sedangkan korelasinya ialah

\rho_{jk}=\frac{c_{jk}}{\sqrt{c_{jj}c_{kk}}}

Interval Kepercayaan Saat Varians Belum Diketahui

Jika $\sigma^2$ belum diketahui dan $m>p$ , estimasikan dari residual:

s^2=\frac{\lVert y-X\hat\beta\rVert_2^2}{m-p}

Pada model Gaussian, interval kepercayaan dua sisi yang eksak sebesar $100(1-\alpha)\%$ untuk koefisien $\beta_j$ ialah

\hat\beta_j\pm t_{m-p,\,1-\alpha/2}\,s\sqrt{[(X^TX)^{-1}]_{jj}}

Interval ini merupakan pernyataan tentang prosedur dalam $pengambilan sampel berulang$ . Artinya bukan peluang bahwa satu parameter tetap berada di dalam interval yang sudah dihitung.

Komputasi Stabil dari Dekomposisi Ortogonal

Misalkan $X=QR$ merupakan dekomposisi $\mathrm{QR}$ tereduksi, dengan $Q$ berkolom ortonormal dan $R$ segitiga atas yang tidak singular. Maka

\hat\beta=R^{-1}Q^Ty

Dalam kode numerik, $selesaikan sistem segitiga$ $R\hat\beta=Q^Ty$ tanpa membentuk $R^{-1}$ secara eksplisit. $\mathrm{QR}$ juga menghindari penguadratan bilangan kondisi akibat membentuk $X^TX$ hanya untuk menyelesaikan masalah kuadrat terkecil.

Kuadrat Terkecil Berbobot dan Tergeneralisasi

Sekarang anggap galat memiliki kovarians definit positif $\Omega$ yang diketahui:

\varepsilon\sim\mathcal N(0,\Omega)

Kuadrat terkecil tergeneralisasi meminimalkan

(y-X\beta)^T\Omega^{-1}(y-X\beta)

Solusi kuadrat terkecil tergeneralisasi, informasi Fisher, dan kovarians penduga kuadrat terkecil tergeneralisasi adalah

\hat\beta_{\mathrm{GLS}}=(X^T\Omega^{-1}X)^{-1}X^T\Omega^{-1}y

Untuk galat independen dengan varians $\sigma_i^2$ , gunakan $\Omega=\operatorname{diag}(\sigma_1^2,\ldots,\sigma_m^2)$ . Fungsi objektifnya menjadi

\sum_{i=1}^m\frac{(y_i-x_i^T\beta)^2}{\sigma_i^2}

Setiap observasi $i$ memperoleh $bobot$ $1/\sigma_i^2$ . Whitening dengan $W=\Omega^{-1/2}$ mengubah masalah ini menjadi kuadrat terkecil biasa untuk $\widetilde X=WX$ dan $\widetilde y=Wy$ .

Mencocokkan Model Linear Berbobot

Perhatikan tiga observasi untuk intersep dan kemiringan:

X=\begin{pmatrix}1&0\\1&1\\1&2\end{pmatrix},\qquad y=\begin{pmatrix}1\\2\\5\end{pmatrix}

Observasi ketiga memiliki simpangan baku $2$ , sehingga bobotnya hanya $seperempat bobot$ masing-masing dari dua observasi pertama. Persamaan normal berbobotnya adalah

X^T\Omega^{-1}X=\begin{pmatrix}\frac94&\frac32\\\frac32&2\end{pmatrix}

Tuliskan kedua persamaan lalu eliminasi intersep untuk menghitung parameter:

\begin{aligned}9\hat\beta_0+6\hat\beta_1&=17\\3\hat\beta_0+4\hat\beta_1&=9\\6\hat\beta_1&=27-17=10\\\hat\beta_1&=\frac53,\qquad\hat\beta_0=\frac{9-4(5/3)}3=\frac79\end{aligned}

Observasi	Simpangan baku	Bobot invers varians
1	1	1
2	1	1
3	2	$1/4$

Penyelesaian sistem persamaan normal berbobot memberikan

\hat\beta_{\mathrm{GLS}}=\begin{pmatrix}\frac79\\\frac53\end{pmatrix}

Pembobotan memiliki makna probabilistik jika $\Omega$ benar-benar menggambarkan kovarians galat. Bobot yang keliru dapat menghasilkan galat baku yang menyesatkan. Interval kepercayaan Gaussian tersebut juga hanya eksak jika nilai rata-rata mengikuti model $X\beta$ , kovarians galat dimodelkan dengan benar, dan galat berdistribusi normal.