Methode der kleinsten Quadrate

Die am besten passende Gerade durch eine Punktwolke finden

Angenommen, Beobachtungs- oder Versuchsdaten bestehen aus Wertepaaren $(x, y)$ . Folgt ihr Streudiagramm einem annähernd geradlinigen Trend, lassen sich viele verschiedene Geraden durch die Punktwolke legen.

Nun gibt es viele Geraden, die wir durch die Punktwolke legen könnten. Welche davon beschreibt den gesamten Datensatz $am besten$ ?

Die $Methode der kleinsten Quadrate$ beantwortet diese Frage mit einem eindeutigen Kriterium: $Die Summe der quadrierten vertikalen Residuen$ soll möglichst klein sein. Die dadurch bestimmte Steigung ist eindeutig, solange die beobachteten $x$ -Werte nicht alle gleich sind.

Minimierung quadrierter Residuen

Die angepasste Gerade wird über das vertikale $Residuum$ an jedem beobachteten Punkt festgelegt:

$Vorhersagegerade$ : Wir betrachten eine Gerade der Form $\hat{y} = a + bx$ .
$Residuum$ : Für jeden beobachteten Wert $y_i$ liefert die Gerade einen vorhergesagten Wert $\hat{y}_i$ . Ihre vorzeichenbehaftete vertikale Differenz heißt $Residuum$ :

$e_i = y_i - \hat{y}_i$
$Quadratsumme minimieren$ : Gesucht ist die Gerade, für die die $Summe aller quadrierten Residuen$ $\sum e_i^2$ $so klein wie möglich$ wird. Daher stammt der Name der Methode.

Warum die Residuen quadrieren?

Durch das Quadrieren können sich positive und negative Residuen nicht gegenseitig aufheben.
Ein Residuum mit doppeltem Betrag trägt das Vierfache zur Quadratsumme bei. Große Abweichungen erhalten dadurch mehr Gewicht.

Werbekosten und Verkaufszahlen anpassen

Ein Unternehmen untersucht beispielsweise den Zusammenhang zwischen $Werbekosten$ in Millionen Rupiah und Verkaufszahlen in Tausend Stück. Das Streudiagramm zeigt die erhobenen Daten, die Regressionsgerade und die vertikalen Residuen.

Regressionsgerade für Werbekosten und Verkaufszahlen

Die Gerade beschreibt den linearen Trend und minimiert die Summe der quadrierten vertikalen Residuen.

Die eingezeichnete Gerade ist die mit der Methode der kleinsten Quadrate bestimmte Regressionsgerade. Sie fasst den allgemeinen linearen Trend zusammen. Die gestrichelten Strecken sind die Residuen, deren Quadratsumme minimiert wird.

Die Gerade durch Minimierung quadrierter Residuen bestimmen

Mathematisch suchen wir eine Gerade der Form:

\hat{y} = a + bx

Der Achsenabschnitt $a$ und die Steigung $b$ werden so gewählt, dass sie die folgende $Summe der quadrierten Residuen$ minimieren:

\begin{aligned} \sum e_i^2 &= \sum (y_i - \hat{y}_i)^2 \\ &= \sum (y_i - (a + bx_i))^2 \end{aligned}

Die Koeffizienten, die die Quadratsumme der Residuen minimieren, werden aus Summen, Produkten und Quadraten der Beobachtungswerte berechnet:

b = \frac{n(\sum xy) - (\sum x)(\sum y)}{n(\sum x^2) - (\sum x)^2}

Dabei bedeutet:

$n$ = Anzahl der Datenpaare.
$\sum x$ , $\sum y$ = Summe aller $x$ - beziehungsweise $y$ -Werte.
$\sum xy$ = Summe der Produkte der zusammengehörigen $x$ - und $y$ -Werte.
$\sum x^2$ = Summe der quadrierten $x$ -Werte.
$\bar{x}$ = Mittelwert von $x$ ( $\frac{\sum x}{n}$ ).
$\bar{y}$ = Mittelwert von $y$ ( $\frac{\sum y}{n}$ ).

Die Methode der kleinsten Quadrate bestimmt damit systematisch die Gerade, die den linearen Trend nach einem klaren Kriterium am besten beschreibt: Ihre Summe quadrierter Residuen ist minimal.

Sind alle $x$ -Werte gleich, gilt dagegen $n(\sum x^2)-(\sum x)^2=0$ . Der Nenner der Steigungsformel ist dann null, und die Daten bestimmen keine eindeutige Regressionssteigung.

Die Koeffizienten aus den Daten berechnen

Verwende alle Datenpaare des Diagramms. Mit den Produkt- und Quadratspalten geht jede Beobachtung genau einmal in die Rechnung ein. Die $Summe jeder Spalte$ wird dann in die Steigungsformel eingesetzt.

$x$	$y$	$xy$	$x^2$
$2$	$50$	$100$	$4$
$3$	$65$	$195$	$9$
$4$	$42$	$168$	$16$
$4{,}5$	$75$	$337{,}5$	$20{,}25$
$5$	$70$	$350$	$25$
$6$	$90$	$540$	$36$
$7$	$85$	$595$	$49$
$7{,}5$	$65$	$487{,}5$	$56{,}25$
$8$	$112$	$896$	$64$
$9$	$115$	$1035$	$81$
$10$	$105$	$1050$	$100$
$11$	$125$	$1375$	$121$
$\sum x=77$	$\sum y=999$	$\sum xy=7129$	$\sum x^2=581{,}5$

\begin{aligned}b&=\frac{12(7129)-(77)(999)}{12(581{,}5)-(77)^2} \\ &=\frac{8625}{1049} \\ &=\frac{8625}{1049}\approx8{,}222\end{aligned}

Verwende für Vorhersagen die ungerundeten Koeffizienten. Mit gerundeten Anzeigewerten lautet die Geradengleichung:

\hat y\approx30{,}491+8{,}222x