# Statistische Analyse > For AI agents: use [llms.txt](https://nakafa.com/llms.txt) for the site index. Markdown versions are available by appending `.md` to content URLs or sending `Accept: text/markdown`. URL: https://nakafa.com/de/faecher/ki-und-data-science/lineare-methoden-der-ki/statistische-analyse Source: https://raw.githubusercontent.com/nakafaai/aksara/16d6b8e869d1a277313c65bbfc4b4a83efe77a46/packages/corpus/material/lesson/ai-ds/linear-methods/statistical-analysis/de.mdx Lernen Sie die Fisher-Informationsmatrix, Parameterkovarianz, gewichtete kleinste Quadrate und Konfidenzintervalle für statistische Modelle kennen. --- ## Mit dem statistischen Modell beginnen Die Methode der kleinsten Quadrate wird erst dann zu einem statistischen Schätzer, wenn feststeht, wie die Beobachtungen entstanden sind. Sei ```math y=X\beta+\varepsilon ``` wobei $$X\in\mathbb{R}^{m\times p}$$ eine feste Designmatrix, $$\beta\in\mathbb{R}^p$$ der unbekannte Parametervektor und $$y\in\mathbb{R}^m$$ der Beobachtungsvektor ist. Für gewöhnliche gaußsche kleinste Quadrate nehmen wir an, Visible text: wobei eine feste Designmatrix, der unbekannte Parametervektor und der Beobachtungsvektor ist. Für gewöhnliche gaußsche kleinste Quadrate nehmen wir an, ```math \varepsilon\sim\mathcal N(0,\sigma^2I_m) ``` und dass $$X$$ vollen Spaltenrang besitzt. Nicht die Beobachtungen sind standardnormalverteilt. Der zufällige Fehlervektor ist zentriert gaußverteilt und hat die Varianz $$\sigma^2$$. Visible text: und dass vollen Spaltenrang besitzt. Nicht die Beobachtungen sind standardnormalverteilt. Der zufällige Fehlervektor ist zentriert gaußverteilt und hat die Varianz . ## Fisher-Information und Kovarianz des Schätzers Bis auf eine von $$\beta$$ unabhängige Konstante lautet die Log-Likelihood Visible text: Bis auf eine von unabhängige Konstante lautet die Log-Likelihood ```math \ell(\beta)=-\frac1{2\sigma^2}\lVert y-X\beta\rVert_2^2 ``` Score, Hesse-Matrix und Fisher-Information sind Component: MathContainer Children: ```math \nabla\ell(\beta)=\frac1{\sigma^2}X^T(y-X\beta) ``` ```math \nabla^2\ell(\beta)=-\frac1{\sigma^2}X^TX ``` ```math \mathcal I(\beta)=-\mathbb E[\nabla^2\ell(\beta)]=\frac1{\sigma^2}X^TX ``` Somit ist $$X^TX$$ allein nur im standardisierten Fall $$\sigma^2=1$$ die Fisher-Information. Das Lösen der Score-Gleichung ergibt Visible text: Somit ist allein nur im standardisierten Fall die Fisher-Information. Das Lösen der Score-Gleichung ergibt Component: MathContainer Children: ```math \hat\beta=(X^TX)^{-1}X^Ty ``` ```math \hat\beta=\beta+(X^TX)^{-1}X^T\varepsilon ``` Da eine lineare Transformation eines gaußschen Vektors wieder gaußverteilt ist, gilt ```math \hat\beta\sim\mathcal N\left(\beta,\sigma^2(X^TX)^{-1}\right) ``` Die Kovarianz ist unter diesem Modell exakt die inverse Fisher-Information: ```math \operatorname{Cov}(\hat\beta)=\sigma^2(X^TX)^{-1}=\mathcal I(\beta)^{-1} ``` Der Diagonaleintrag $$c_{jj}$$ ist die Varianz von $$\hat\beta_j$$. Ein Eintrag $$c_{jk}$$ außerhalb der Diagonalen misst, wie zwei Koeffizientenschätzer gemeinsam schwanken. Ihre Korrelation ist Visible text: Der Diagonaleintrag ist die Varianz von . Ein Eintrag außerhalb der Diagonalen misst, wie zwei Koeffizientenschätzer gemeinsam schwanken. Ihre Korrelation ist ```math \rho_{jk}=\frac{c_{jk}}{\sqrt{c_{jj}c_{kk}}} ``` ## Konfidenzintervalle bei unbekannter Varianz Ist $$\sigma^2$$ unbekannt und gilt $$m>p$$, schätzen wir sie aus den Residuen: Visible text: Ist unbekannt und gilt , schätzen wir sie aus den Residuen: ```math s^2=\frac{\lVert y-X\hat\beta\rVert_2^2}{m-p} ``` Unter dem gaußschen Modell lautet ein exaktes zweiseitiges $$100(1-\alpha)\%$$-Konfidenzintervall für den Koeffizienten $$\beta_j$$ Visible text: Unter dem gaußschen Modell lautet ein exaktes zweiseitiges -Konfidenzintervall für den Koeffizienten ```math \hat\beta_j\pm t_{m-p,\,1-\alpha/2}\,s\sqrt{[(X^TX)^{-1}]_{jj}} ``` Das Intervall beschreibt die Überdeckungsrate des Verfahrens bei wiederholten Stichproben. Es ist nicht die Wahrscheinlichkeit, dass ein fester Parameter in einem bereits berechneten Intervall liegt. ## Stabile Berechnung mit QR Sei $$X=QR$$ die reduzierte QR-Zerlegung mit $$Q^TQ=I_p$$ und einer regulären oberen Dreiecksmatrix $$R$$. Dann gilt Visible text: Sei die reduzierte QR-Zerlegung mit und einer regulären oberen Dreiecksmatrix . Dann gilt Component: MathContainer Children: ```math \hat\beta=R^{-1}Q^Ty ``` ```math \operatorname{Cov}(\hat\beta)=\sigma^2R^{-1}R^{-T} ``` In numerischem Code löst man das Dreieckssystem $$R\hat\beta=Q^Ty$$, statt $$R^{-1}$$ explizit zu bilden. QR vermeidet außerdem, dass sich die Konditionszahl durch die allein zum Lösen des Kleinste-Quadrate-Problems gebildete Matrix $$X^TX$$ quadriert. Visible text: In numerischem Code löst man das Dreieckssystem , statt explizit zu bilden. QR vermeidet außerdem, dass sich die Konditionszahl durch die allein zum Lösen des Kleinste-Quadrate-Problems gebildete Matrix quadriert. ## Gewichtete und verallgemeinerte kleinste Quadrate Nehmen wir nun an, die Fehler hätten die bekannte positiv definite Kovarianzmatrix $$\Omega$$: Visible text: Nehmen wir nun an, die Fehler hätten die bekannte positiv definite Kovarianzmatrix : ```math \varepsilon\sim\mathcal N(0,\Omega) ``` Verallgemeinerte kleinste Quadrate minimieren ```math (y-X\beta)^T\Omega^{-1}(y-X\beta) ``` und liefern Component: MathContainer Children: ```math \hat\beta_{\mathrm{GLS}}=(X^T\Omega^{-1}X)^{-1}X^T\Omega^{-1}y ``` ```math \mathcal I(\beta)=X^T\Omega^{-1}X ``` ```math \operatorname{Cov}(\hat\beta_{\mathrm{GLS}})=(X^T\Omega^{-1}X)^{-1} ``` Für unabhängige Fehler mit Varianzen $$\sigma_i^2$$ gilt $$\Omega=\operatorname{diag}(\sigma_1^2,\ldots,\sigma_m^2)$$. Die Zielfunktion wird dann zu Visible text: Für unabhängige Fehler mit Varianzen gilt . Die Zielfunktion wird dann zu ```math \sum_{i=1}^m\frac{(y_i-x_i^T\beta)^2}{\sigma_i^2} ``` und Beobachtung $$i$$ erhält das Gewicht $$1/\sigma_i^2$$. Das Whitening mit $$W=\Omega^{-1/2}$$ verwandelt die Aufgabe in gewöhnliche kleinste Quadrate für $$\widetilde X=WX$$ und $$\widetilde y=Wy$$. Visible text: und Beobachtung erhält das Gewicht . Das Whitening mit verwandelt die Aufgabe in gewöhnliche kleinste Quadrate für und . ## Vollständig gerechnetes gewichtetes Beispiel Betrachten wir drei Beobachtungen für einen Achsenabschnitt und eine Steigung: Component: MathContainer Children: ```math X=\begin{pmatrix}1&0\\1&1\\1&2\end{pmatrix},\qquad y=\begin{pmatrix}1\\2\\5\end{pmatrix} ``` ```math \Omega=\operatorname{diag}(1,1,4),\qquad \Omega^{-1}=\operatorname{diag}\left(1,1,\frac14\right) ``` Die dritte Beobachtung hat die Standardabweichung $$2$$ und erhält daher nur ein Viertel des Gewichts der beiden ersten Beobachtungen. Die gewichteten Normalgleichungen lauten Visible text: Die dritte Beobachtung hat die Standardabweichung und erhält daher nur ein Viertel des Gewichts der beiden ersten Beobachtungen. Die gewichteten Normalgleichungen lauten Component: MathContainer Children: ```math X^T\Omega^{-1}X=\begin{pmatrix}\frac94&\frac32\\\frac32&2\end{pmatrix} ``` ```math X^T\Omega^{-1}y=\begin{pmatrix}\frac{17}4\\\frac92\end{pmatrix} ``` und damit Component: MathContainer Children: ```math \hat\beta_{\mathrm{GLS}}=\begin{pmatrix}\frac79\\\frac53\end{pmatrix} ``` ```math \operatorname{Cov}(\hat\beta_{\mathrm{GLS}})=\begin{pmatrix}\frac89&-\frac23\\-\frac23&1\end{pmatrix} ``` Die Gewichtung hat nur dann eine probabilistische Bedeutung, wenn das Varianzmodell begründet ist. Falsche Gewichte können irreführende Standardfehler erzeugen. Exakte gaußsche Konfidenzintervalle setzen außerdem ein angemessenes lineares Mittelwertmodell, eine passende Kovarianz und normalverteilte Fehler voraus.