Was ist die Methode der kleinsten Quadrate?
Angenommen, Beobachtungs- oder Versuchsdaten bestehen aus Wertepaaren . Folgt ihr Streudiagramm einem annähernd geradlinigen Trend, lassen sich viele verschiedene Geraden durch die Punktwolke legen.
For AI agents: use /llms.txt for the Nakafa content index.
Angenommen, Beobachtungs- oder Versuchsdaten bestehen aus Wertepaaren . Folgt ihr Streudiagramm einem annähernd geradlinigen Trend, lassen sich viele verschiedene Geraden durch die Punktwolke legen.
Nun gibt es viele Geraden, die wir durch die Punktwolke legen könnten. Welche davon beschreibt den gesamten Datensatz am besten?
Die Methode der kleinsten Quadrate beantwortet diese Frage mit einem eindeutigen Kriterium: Die Summe der quadrierten vertikalen Residuen soll möglichst klein sein. Die dadurch bestimmte Steigung ist eindeutig, solange die beobachteten -Werte nicht alle gleich sind.
Die angepasste Gerade wird über das vertikale Residuum an jedem beobachteten Punkt festgelegt:
Vorhersagegerade: Wir betrachten eine Gerade der Form .
Residuum: Für jeden beobachteten Wert liefert die Gerade einen vorhergesagten Wert . Ihre vorzeichenbehaftete vertikale Differenz heißt Residuum:
Quadratsumme minimieren: Gesucht ist die Gerade, für die die Summe aller quadrierten Residuen so klein wie möglich wird. Daher stammt der Name der Methode.
Warum die Residuen quadrieren?
Ein Unternehmen untersucht beispielsweise den Zusammenhang zwischen Werbekosten in Millionen Rupiah und Verkaufszahlen in Tausend Stück. Das Streudiagramm zeigt die erhobenen Daten, die Regressionsgerade und die vertikalen Residuen.
Die eingezeichnete Gerade ist die mit der Methode der kleinsten Quadrate bestimmte Regressionsgerade. Sie fasst den allgemeinen linearen Trend zusammen. Die gestrichelten Strecken sind die Residuen, deren Quadratsumme minimiert wird.
Mathematisch suchen wir eine Gerade der Form:
Der Achsenabschnitt und die Steigung werden so gewählt, dass
möglichst klein wird.
Mit Differenzialrechnung lassen sich daraus Formeln für und ableiten. Die Herleitung benötigen wir an dieser Stelle noch nicht:
Dabei bedeutet:
Die Methode der kleinsten Quadrate bestimmt damit systematisch die Gerade, die den linearen Trend nach einem klaren Kriterium am besten beschreibt: Ihre Summe quadrierter Residuen ist minimal.
Sind alle -Werte gleich, gilt dagegen . Der Nenner der Steigungsformel ist dann null, und die Daten bestimmen keine eindeutige Regressionssteigung.