Statistische Analyse

Die Methode der kleinsten Quadrate wird erst dann zu einem statistischen Schätzer, wenn feststeht, wie die Beobachtungen entstanden sind. Sei

wobei $X\in\mathbb{R}^{m\times p}$ eine feste Designmatrix, $\beta\in\mathbb{R}^p$ der unbekannte Parametervektor und $y\in\mathbb{R}^m$ der Beobachtungsvektor ist. Für gewöhnliche gaußsche kleinste Quadrate nehmen wir an,

und dass $X$ vollen Spaltenrang besitzt. Nicht die Beobachtungen sind standardnormalverteilt. Der zufällige Fehlervektor ist zentriert gaußverteilt und hat die Varianz $\sigma^2$.

Fisher-Information und Kovarianz des Schätzers

Bis auf eine von $\beta$ unabhängige Konstante lautet die Log-Likelihood

Score, Hesse-Matrix und Fisher-Information sind

Somit ist $X^TX$ allein nur im standardisierten Fall $\sigma^2=1$ die Fisher-Information. Das Lösen der Score-Gleichung ergibt

Da eine lineare Transformation eines gaußschen Vektors wieder gaußverteilt ist, gilt

Die Kovarianz ist unter diesem Modell exakt die inverse Fisher-Information:

Der Diagonaleintrag $c_{jj}$ ist die Varianz von $\hat\beta_j$. Ein Eintrag $c_{jk}$ außerhalb der Diagonalen misst, wie zwei Koeffizientenschätzer gemeinsam schwanken. Ihre Korrelation ist

Konfidenzintervalle bei unbekannter Varianz

Ist $\sigma^2$ unbekannt und gilt $m>p$, schätzen wir sie aus den Residuen:

Unter dem gaußschen Modell lautet ein exaktes zweiseitiges $100(1-\alpha)\%$-Konfidenzintervall für den Koeffizienten $\beta_j$

Das Intervall beschreibt die Überdeckungsrate des Verfahrens bei wiederholten Stichproben. Es ist nicht die Wahrscheinlichkeit, dass ein fester Parameter in einem bereits berechneten Intervall liegt.

Stabile Berechnung mit QR

Sei $X=QR$ die reduzierte QR-Zerlegung mit $Q^TQ=I_p$ und einer regulären oberen Dreiecksmatrix $R$. Dann gilt

In numerischem Code löst man das Dreieckssystem $R\hat\beta=Q^Ty$, statt $R^{-1}$ explizit zu bilden. QR vermeidet außerdem, dass sich die Konditionszahl durch die allein zum Lösen des Kleinste-Quadrate-Problems gebildete Matrix $X^TX$ quadriert.

Gewichtete und verallgemeinerte kleinste Quadrate

Nehmen wir nun an, die Fehler hätten die bekannte positiv definite Kovarianzmatrix $\Omega$:

Verallgemeinerte kleinste Quadrate minimieren

und liefern

Für unabhängige Fehler mit Varianzen $\sigma_i^2$ gilt $\Omega=\operatorname{diag}(\sigma_1^2,\ldots,\sigma_m^2)$. Die Zielfunktion wird dann zu

und Beobachtung $i$ erhält das Gewicht $1/\sigma_i^2$. Das Whitening mit $W=\Omega^{-1/2}$ verwandelt die Aufgabe in gewöhnliche kleinste Quadrate für $\widetilde X=WX$ und $\widetilde y=Wy$.

Vollständig gerechnetes gewichtetes Beispiel

Betrachten wir drei Beobachtungen für einen Achsenabschnitt und eine Steigung:

Die dritte Beobachtung hat die Standardabweichung $2$ und erhält daher nur ein Viertel des Gewichts der beiden ersten Beobachtungen. Die gewichteten Normalgleichungen lauten

und damit

Die Gewichtung hat nur dann eine probabilistische Bedeutung, wenn das Varianzmodell begründet ist. Falsche Gewichte können irreführende Standardfehler erzeugen. Exakte gaußsche Konfidenzintervalle setzen außerdem ein angemessenes lineares Mittelwertmodell, eine passende Kovarianz und normalverteilte Fehler voraus.