Grundidee der linearen Regression

Wenn die Punktwolke ungefähr einem ansteigenden oder fallenden geradlinigen Trend folgt, können wir diesen Trend durch eine passende Gerade zusammenfassen. Sie heißt lineare Regressionsgerade. Das Verfahren zu ihrer Bestimmung heißt lineare Regression.

Die „Best-Fit“-Linie

Die Regressionsgerade wird auch als Best-Fit-Gerade bezeichnet. Das bedeutet nicht, dass sie durch jeden Datenpunkt verläuft. Nach dem Kriterium der kleinsten Quadrate ist es die Gerade mit der kleinsten möglichen Summe quadrierter vertikaler Residuen. So fasst sie den linearen Trend der Daten zusammen.

Beispiel einer Regressionslinie

Betrachten wir erneut Lernzeiten und Prüfungsergebnisse. Die Punktwolke zeigt einen positiven linearen Trend.

Die eingezeichnete Regressionsgerade zeigt den allgemeinen Trend: Mit längerer Lernzeit steigt das vorhergesagte Prüfungsergebnis tendenziell an. Einzelne Ergebnisse können trotzdem oberhalb oder unterhalb der Geraden liegen.

Wozu dient diese Regressionslinie?

Eine wichtige Anwendung ist die Vorhersage. Wir könnten mit der Geraden zum Beispiel das Ergebnis eines Schülers schätzen, der $7 \text{Stunden}$ lernt. Die beobachteten Lernzeiten reichen jedoch nur von $1$ bis $6$ Stunden. Eine Vorhersage für $7 \text{Stunden}$ ist daher eine Extrapolation und weniger verlässlich als eine Schätzung innerhalb des beobachteten Bereichs.

Mathematisches Konzept

Die lineare Regressionsgerade, also die Best-Fit-Gerade, wird mit der Methode der kleinsten Quadrate bestimmt. Gesucht ist die Gerade, welche die Summe der quadrierten vertikalen Residuen zwischen beobachteten und vorhergesagten Werten minimiert.

Mathematisch hat sie die Form:

Dabei gilt:

• $\hat{y}$ (gesprochen: $y$-Dach) ist der von der Regressionsgeraden vorhergesagte $y$-Wert.
• $x$ ist der Wert der unabhängigen Variablen.
• $b$ ist die Steigung. Sie gibt an, um wie viel sich $\hat{y}$ bei einer Erhöhung von $x$ um eine Einheit verändert.
• $a$ ist der $y$-Achsenabschnitt, also der vorhergesagte $y$-Wert bei $x = 0$. Diese Deutung ist nur sinnvoll, wenn $x = 0$ im Sachzusammenhang eine Bedeutung hat.

Die Werte von $b$ und $a$ werden aus den beobachteten $(x, y)$-Paaren berechnet:

Dabei bedeutet:

• $n$ ist die Anzahl der Datenpaare.
• $\sum x$ ist die Summe aller $x$-Werte.
• $\sum y$ ist die Summe aller $y$-Werte.
• $\sum xy$ ist die Summe der Produkte der zusammengehörigen $x$- und $y$-Werte.
• $\sum x^2$ ist die Summe der quadrierten $x$-Werte.
• $\bar{x}$ ist der Mittelwert der $x$-Werte ($\frac{\sum x}{n}$ ).
• $\bar{y}$ ist der Mittelwert der $y$-Werte ($\frac{\sum y}{n}$ ).

Diese Formeln bestimmen eine eindeutige Kleinste-Quadrate-Gerade, solange die beobachteten $x$-Werte nicht alle gleich sind. Sind alle $x$-Werte identisch, ist der Nenner der Steigungsformel null und die Daten bestimmen keine eindeutige Regressionssteigung.