Regularisierung nach Tikhonov

Warum Ausgleichsprobleme instabil sein können

Für $A\in\mathbb{R}^{m\times n}$ und $b\in\mathbb{R}^m$ löst die gewöhnliche Methode der kleinsten Quadrate

\min_x\|Ax-b\|_2^2

Ein Minimierer existiert immer, auch wenn die Gleichungen $Ax=b$ nicht konsistent sind. Bei einer rangdefizienten Matrix $A$ muss dieser Minimierer nicht eindeutig sein. Ist $A$ nahezu rangdefizient, können kleine Störungen in $b$ große Änderungen der angepassten Parameter verursachen.

Die $Singulärwertzerlegung$ erklärt die Verstärkung. In der Ausgleichslösung kleinster Norm wird jede Datenkomponente durch den zugehörigen $positiven Singulärwert$ geteilt. Singulärwerte null tragen über die Pseudoinverse null bei. Ein sehr kleiner positiver Singulärwert verstärkt deshalb Fehler in seiner Datenrichtung.

Problem nach Tikhonov

Die Tikhonov-Regularisierung wägt $Datentreue$ gegen eine gewählte Vorstellung plausibler Parameter ab:

Minimiere für $\alpha>0$ :

\min_x\left(\|Ax-b\|_2^2+\alpha^2\|L(x-x_0)\|_2^2\right)

Dabei ist $x_0$ ein Referenzwert und $L$ legt fest, welche Größe klein oder glatt bleiben soll. Der Wert $\alpha$ bestimmt, wie stark die Lösung den Daten und wie stark sie der durch $L$ beschriebenen Einschränkung folgt.

$L=I$ bestraft den Abstand zu $x_0$ .
Eine Matrix erster Differenzen bestraft schnelle Änderungen benachbarter Parameter.
Eine Matrix zweiter Differenzen bestraft Krümmung und begünstigt glattere Profile.

Der Strafterm fügt eine ausdrückliche Modellannahme über die Lösung hinzu und kann die numerische Kondition des Optimierungsproblems verbessern. Die Beobachtungsdaten enthalten weiterhin dieselben Informationen.

Erweitertes Ausgleichsproblem

Das regularisierte Problem lässt sich als folgendes Ausgleichsproblem schreiben:

\min_x\left\|\begin{pmatrix}A\\\alpha L\end{pmatrix}x-\begin{pmatrix}b\\\alpha Lx_0\end{pmatrix}\right\|_2^2

Die Ableitung dieser Zielfunktion nach $x$ liefert die Normalgleichung:

(A^TA+\alpha^2L^TL)x =A^Tb +\alpha^2L^TLx_0

Diese Normalgleichung hat genau dann eine $eindeutige Lösung$ , wenn die folgende Bedingung erfüllt ist:

\operatorname{null}(A)\cap\operatorname{null}(L)=\{0\}

Für die gewöhnliche Ridge-Regularisierung mit $L=I$ gilt diese Bedingung für jedes $\alpha>0$ , denn $A^TA+\alpha^2I$ ist positiv definit.

Spektrale Filterung

Für $L=I$ und $x_0=0$ sei $A=U\Sigma V^T$ . Dann gilt

x_\alpha=\sum_i\frac{\sigma_i}{\sigma_i^2+\alpha^2}(u_i^Tb)v_i

Ist $\sigma_i$ deutlich größer als $\alpha$ , liegt der Faktor $\phi_i(\alpha)$ nahe bei $1$ . Die Regularisierung verändert den $zugehörigen Anteil$ der Lösung daher kaum. Ist $\sigma_i$ deutlich kleiner als $\alpha$ , liegt der Faktor nahe bei $0$ und der zugehörige Anteil wird kleiner. So führt ein kleiner Messfehler nicht zu einer großen Änderung der angepassten Lösung.

Gerechnetes Sensitivitätsbeispiel

Wir betrachten

A=\begin{pmatrix}1&0\\0&0{,}1\end{pmatrix},\qquad b=\begin{pmatrix}1\\0{,}2\end{pmatrix}

Der zweite Singulärwert beträgt nur $0{,}1$ . Eine Änderung der zweiten Beobachtung um $0{,}01$ ändert den zweiten unregularisierten Parameter um $0{,}1$ .

Mit $L=I$ , $x_0=0$ und $\alpha=0{,}2$ folgt

(A^TA+0{,}2^2I)x=A^Tb

Dieselbe Störung um $0{,}01$ verändert den zweiten Parameter nun nur um $0{,}02$ . Die Schätzung ist $weniger empfindlich gegenüber dieser Störung$ . Zugleich zieht der Strafterm den zweiten Parameter zum Referenzwert null. Der Unterschied zur unregularisierten Schätzung allein verrät nicht, welcher Wert näher am unbekannten wahren Parameter liegt.

Vergleiche den zweiten Parameter vor und nach derselben Datenänderung. Der erste Parameter bleibt bei dieser Störung unverändert.

Verfahren	Vorher	Nachher	Änderung
Unregularisiert	$2$	$21/10$	$1/10$
$\alpha=1/5$	$2/5$	$21/50$	$1/50$

\Delta x_2=\frac{(1/10)(1/100)}{(1/10)^2+(1/5)^2}=\frac{1/1000}{1/20}=\frac1{50}

Wahl des Regularisierungsparameters

Es gibt $keinen universell besten Wert$ für $\alpha$ . Er hängt vom Rauschniveau, von der Parameterskalierung, von der Strafe und vom Zweck des Modells ab.

Methode	Geeignete Evidenz	Entscheidung
Validierung oder Kreuzvalidierung	Vorhersagemodell mit zurückgehaltenen Beobachtungen	Den Wert mit der besten Leistung außerhalb der Trainingsdaten wählen
Diskrepanzprinzip	Belastbare Schätzung der Norm des Beobachtungsrauschens	Residualnorm an das erwartete Rauschniveau anpassen
Verallgemeinerte Kreuzvalidierung	Lineares inverses Problem ohne eigenen Validierungssatz	Einen aus dem angepassten System berechneten Vorhersagewert minimieren
L-Kurve	Explorative Analyse inverser Probleme	Die Ecke der Kurve aus Residualnorm und Strafnorm untersuchen

Ein kleines $\alpha$ betont die Datentreue und kann Rauschverstärkung bestehen lassen. Ein großes $\alpha$ betont die Strafe und kann die Lösung zu stark glätten oder schrumpfen. Auch Parameterspalten und Strafzeilen müssen sinnvoll skaliert sein. Andernfalls lässt sich der Zahlenwert von $\alpha$ kaum interpretieren.

Allgemeine Gewichte und Nebenbedingungen

Eine Diagonalmatrix $L=\operatorname{diag}(\omega_1,\ldots,\omega_n)$ erzeugt parameterspezifische Strafen:

\|L(x-x_0)\|_2^2=\sum_{i=1}^n\omega_i^2(x_i-x_{0i})^2

Ein größeres $\omega_i$ bedeutet eine stärkere Schrumpfung in Richtung $x_{0i}$ . Wähle die Gewichte anhand der Einheiten und konkreter Vorinformationen, etwa der plausiblen Skala jedes Parameters oder einer erwarteten glatten Änderung zwischen benachbarten Parametern. Die Schwierigkeit einer Schätzung reicht als Begründung nicht aus.

Eine Gleichung wie $x_i=c$ sollte als $ausdrückliche Gleichungsnebenbedingung$ modelliert werden, wenn sie exakt gelten muss. Schranken wie $l_i\le x_i\le u_i$ erfordern ein beschränktes Ausgleichsproblem. Eine extrem große Strafe kann eine Gleichung annähern, ersetzt aber keine exakte Nebenbedingung und kann die numerische Skalierung verschlechtern.

Das erweiterte System stabil lösen

Verwende die Normalgleichung, um den regularisierten Schätzer herzuleiten und den Einfluss von $\alpha$ und $L$ zu untersuchen. Bilde $A^TA$ für die numerische Berechnung nicht ausdrücklich, weil dieser Schritt die Konditionszahl quadriert. Löse stattdessen das $erweiterte Ausgleichssystem$ mit $\mathrm{QR}$ oder $\mathrm{SVD}$ . Dokumentiere $\alpha$ , $L$ , die Parameterskalierung, die Residualnorm und die Strafnorm, damit andere die Rechnung wiederholen und die Abwägung zwischen Datentreue und Strafe prüfen können.