Grundidee der linearen Regression

Den Trend einer Punktwolke durch eine Gerade beschreiben

Ein Streudiagramm zeigt, ob die Werte zweier Variablen $X$ und $Y$ ein gemeinsames Muster bilden.

Wenn die Punktwolke ungefähr einem ansteigenden oder fallenden geradlinigen Trend folgt, können wir $diesen Trend durch eine passende Gerade zusammenfassen$ . Sie heißt $lineare Regressionsgerade$ . Das Verfahren zu ihrer Bestimmung heißt $lineare Regression$ .

Die Ausgleichsgerade

Die Regressionsgerade wird auch als Best-Fit-Gerade bezeichnet. Nach dem Kriterium der kleinsten Quadrate wird die Gerade mit der kleinsten möglichen Summe quadrierter vertikaler Residuen gewählt. Datenpunkte können oberhalb oder unterhalb der Geraden liegen. Die Regressionsgerade fasst den linearen Trend der Daten zusammen.

Für jede Beobachtung ist das $Residuum$ der beobachtete Wert minus dem vorhergesagten Wert. Ein Punkt oberhalb der Geraden hat ein positives Residuum, ein Punkt unterhalb ein negatives.

e_i=y_i-\hat y_i

Beispiel einer Regressionslinie

Vergleiche bei jedem Datenpaar die Lernzeit mit dem Prüfungsergebnis. Mit längerer Lernzeit liegen die Punkte tendenziell höher. Dieses Muster bildet einen positiven linearen Trend.

Regressionslinie für den Zusammenhang zwischen Lernzeit und Prüfungsergebnissen

Die Linie zeigt den linearen Trend (Regressionslinie) der Daten.

Die eingezeichnete Regressionsgerade zeigt den $allgemeinen Trend$ : Mit längerer Lernzeit steigt das vorhergesagte Prüfungsergebnis tendenziell an. Einzelne Ergebnisse können trotzdem oberhalb oder unterhalb der Geraden liegen.

Methode der kleinsten Quadrate

Die lineare Regressionsgerade, also die Best-Fit-Gerade, wird mit der $Methode der kleinsten Quadrate$ bestimmt. Gesucht ist die Gerade, welche die $Summe der quadrierten vertikalen Residuen$ zwischen beobachteten und vorhergesagten Werten minimiert.

Mathematisch hat sie die Form:

\hat{y} = a + bx

Dabei gilt:

$\hat{y}$ (gesprochen: $y$ -Dach) ist der von der Regressionsgeraden $y$ .
$x$ ist der Wert der unabhängigen Variablen.
$b$ ist die $Steigung$ . Sie gibt an, um wie viel sich $\hat{y}$ bei einer Erhöhung von $x$ um eine Einheit verändert.
$a$ ist der $y$ , also der vorhergesagte $y$ -Wert bei $x = 0$ . Diese Deutung ist nur sinnvoll, wenn $x = 0$ im Sachzusammenhang eine Bedeutung hat.

Die Werte von $b$ und $a$ werden aus den beobachteten $(x, y)$ -Paaren berechnet:

b = \frac{n(\sum xy) - (\sum x)(\sum y)}{n(\sum x^2) - (\sum x)^2}

Dabei bedeutet:

$n$ ist die Anzahl der Datenpaare.
$\sum x$ ist die Summe aller $x$ -Werte.
$\sum y$ ist die Summe aller $y$ -Werte.
$\sum xy$ ist die Summe der Produkte der zusammengehörigen $x$ - und $y$ -Werte.
$\sum x^2$ ist die Summe der quadrierten $x$ -Werte.
$\bar{x}$ ist der Mittelwert der $x$ -Werte ( $\frac{\sum x}{n}$ ).
$\bar{y}$ ist der Mittelwert der $y$ -Werte ( $\frac{\sum y}{n}$ ).

Diese Formeln bestimmen eine eindeutige Kleinste-Quadrate-Gerade, solange die beobachteten $x$ -Werte nicht alle gleich sind. Sind alle $x$ -Werte identisch, ist der Nenner der Steigungsformel null und die Daten bestimmen keine eindeutige Regressionssteigung.

Die Koeffizienten aus den Daten berechnen

Verwende alle Datenpaare des Diagramms. Mit den Produkt- und Quadratspalten geht jede Beobachtung genau einmal in die Rechnung ein. Die $Summe jeder Spalte$ wird dann in die Steigungsformel eingesetzt.

$x$	$y$	$xy$	$x^2$
$1$	$60$	$60$	$1$
$1{,}5$	$68$	$102$	$2{,}25$
$2$	$65$	$130$	$4$
$2{,}5$	$75$	$187{,}5$	$6{,}25$
$3$	$72$	$216$	$9$
$3{,}5$	$80$	$280$	$12{,}25$
$4$	$85$	$340$	$16$
$4$	$82$	$328$	$16$
$4{,}5$	$90$	$405$	$20{,}25$
$5$	$88$	$440$	$25$
$5{,}5$	$95$	$522{,}5$	$30{,}25$
$6$	$92$	$552$	$36$
$\sum x=42{,}5$	$\sum y=952$	$\sum xy=3563$	$\sum x^2=178{,}25$

\begin{aligned}b&=\frac{12(3563)-(42{,}5)(952)}{12(178{,}25)-(42{,}5)^2} \\ &=\frac{2296}{332{,}75} \\ &=\frac{9184}{1331}\approx6{,}900\end{aligned}

Verwende für Vorhersagen die ungerundeten Koeffizienten. Mit gerundeten Anzeigewerten lautet die Geradengleichung:

\hat y\approx54{,}896+6{,}900x

Vorhersagen innerhalb und außerhalb des Datenbereichs

Setze für eine Lernzeit von $4\text{ Stunden}$ den Wert $x=4$ in die Geradengleichung ein. Dieser Wert liegt im beobachteten Bereich. Die Vorhersage ist daher eine $Interpolation$ .

\hat y(4)=\frac{73066+9184(4)}{1331}=\frac{109802}{1331}\approx82{,}50

Für $7\text{ Stunden}$ ergibt dieselbe Rechnung:

\hat y(7)=\frac{73066+9184(7)}{1331}=\frac{137354}{1331}\approx103{,}20

Die beobachteten Lernzeiten reichen nur von $1$ bis $6\text{ Stunden}$ . Die zweite Vorhersage ist eine $Extrapolation$ . Die vorhandenen Daten prüfen nicht, ob der lineare Trend außerhalb dieses Bereichs anhält. Falls die Prüfung höchstens $100$ Punkte zulässt, überschreitet die zweite Vorhersage sogar diese Grenze. Prüfe eine Regressionsgerade sowohl am beobachteten Bereich als auch an den Grenzen der vorhergesagten Größe.