For AI agents: use /llms.txt for the Nakafa content index.
Für und löst die gewöhnliche Methode der kleinsten Quadrate
Ein Minimierer existiert immer, auch wenn die Gleichungen nicht konsistent sind. Das eigentliche Problem ist ein anderes: Bei einer rangdefizienten Matrix muss der Minimierer nicht eindeutig sein. Ist nahezu rangdefizient, können kleine Störungen in große Änderungen der angepassten Parameter verursachen.
Die Singulärwertzerlegung erklärt diese Verstärkung. Für enthält die Ausgleichslösung Faktoren . Eine Datenkomponente in Richtung eines sehr kleinen Singulärwerts wird daher stark vergrößert.
Die Tikhonov-Regularisierung wägt Datentreue gegen eine gewählte Vorstellung plausibler Parameter ab:
Dabei ist ein Referenzwert, legt fest, welche Größe klein oder glatt bleiben soll, und steuert die Abwägung.
Die Strafe erzeugt keine neuen Informationen in den Beobachtungen. Sie macht die gewählte Vorstruktur ausdrücklich sichtbar und führt zu einem stabilen Optimierungsproblem.
Die Zielfunktion ist exakt das Ausgleichsproblem
Die Ableitung liefert die Normalgleichung
Die Lösung ist genau dann eindeutig, wenn
Für die gewöhnliche Ridge-Regularisierung mit gilt diese Bedingung für jedes , denn ist positiv definit.
Für und sei . Dann gilt
Der Faktor liegt nahe bei , wenn , und nahe bei , wenn . Die Regularisierung erhält somit gut bestimmte Richtungen und dämpft Richtungen, die Rauschen verstärken würden.
Wir betrachten
Der zweite Singulärwert beträgt nur . Eine Änderung der zweiten Beobachtung um ändert den zweiten unregularisierten Parameter um .
Mit , und folgt
Dieselbe Störung um verändert den zweiten Parameter nun nur um . Diese Stabilität kostet Verzerrung: Der Schätzwert liegt weiter vom unregularisierten Wert entfernt.
Es gibt keinen universell besten Wert für . Er hängt vom Rauschniveau, von der Parameterskalierung, von der Strafe und vom Zweck des Modells ab.
| Methode | Geeignete Evidenz | Entscheidung |
|---|---|---|
| Validierung oder Kreuzvalidierung | Vorhersagemodell mit zurückgehaltenen Beobachtungen | Den Wert mit der besten Leistung außerhalb der Trainingsdaten wählen |
| Diskrepanzprinzip | Belastbare Schätzung der Norm des Beobachtungsrauschens | Residualnorm an das erwartete Rauschniveau anpassen |
| Verallgemeinerte Kreuzvalidierung | Lineares inverses Problem ohne eigenen Validierungssatz | Einen aus dem angepassten System berechneten Vorhersagewert minimieren |
| L-Kurve | Explorative Analyse inverser Probleme | Die Ecke der Kurve aus Residualnorm und Strafnorm untersuchen |
Ein kleines betont die Datentreue und kann Rauschverstärkung bestehen lassen. Ein großes betont die Strafe und kann die Lösung zu stark glätten oder schrumpfen. Auch Parameterspalten und Strafzeilen müssen sinnvoll skaliert sein. Andernfalls lässt sich der Zahlenwert von kaum interpretieren.
Eine Diagonalmatrix erzeugt parameterspezifische Strafen:
Ein größeres bedeutet eine stärkere Schrumpfung in Richtung . Die Gewichte sollten jedoch Einheiten und eine begründbare Vorstruktur widerspiegeln, nicht bloß kennzeichnen, welche Koeffizienten schwer zu schätzen sind.
Eine Gleichung wie sollte als ausdrückliche Gleichungsnebenbedingung modelliert werden, wenn sie exakt gelten muss. Schranken wie erfordern ein beschränktes Ausgleichsproblem. Eine extrem große Strafe kann eine Gleichung annähern, ersetzt aber keine exakte Nebenbedingung und kann die numerische Skalierung verschlechtern.
Die Normalgleichung ist für die Analyse nützlich, doch das ausdrückliche Bilden von quadriert die Konditionszahl. In numerischem Code sollte das erweiterte Ausgleichssystem mit QR oder SVD gelöst werden, wenn Stabilität wichtig ist. Dokumentiert werden sollten , , die Parameterskalierung, die Residualnorm und die Strafnorm. So bleibt die Abwägung nachvollziehbar, statt den regularisierten Schätzwert als reine Aussage der Daten zu behandeln.
