Identifizierbarkeit und Matrixrang

Identifizierbarkeit in einem linearen Modell

Ein Parameter ist identifizierbar, wenn die verfügbaren Daten ihn $eindeutig bestimmen$ . Seien $A \in \mathbb{R}^{m \times n}$ , $b \in \mathbb{R}^m$ und $m \geq n$ gegeben. Das lineare Ausgleichsproblem lautet

\min_{x \in \mathbb{R}^n} \|Ax-b\|_2^2

Die zugehörigen Normalgleichungen sind

A^T A x = A^T b

Der Parametervektor $x$ ist genau dann eindeutig identifizierbar, wenn $A$ vollen Spaltenrang hat:

\operatorname{rank}(A)=n

Diese Aussagen sind äquivalent. Gibt es ein $z \in \ker(A)$ ungleich null, dann gilt

A(x+z)=Ax

Diese Gleichheit zeigt, dass die Daten $x$ nicht von $x+z$ unterscheiden können. Gilt $\ker(A)=\{0\}$ , dann ist $A^TA$ positiv definit und das Ausgleichsproblem besitzt genau einen Minimierer.

Bei der folgenden Matrix sind beide Spalten identisch. Nur die Summe der Parameter beeinflusst die Vorhersage.

A=\begin{pmatrix}1&1\\2&2\end{pmatrix},\qquad Ax=\begin{pmatrix}x_1+x_2\\2(x_1+x_2)\end{pmatrix}

Parametervektor	Vorhersage
$(1,0)^T$	$(1,2)^T$
$(0,1)^T$	$(1,2)^T$
$(1/2,1/2)^T$	$(1,2)^T$

A\begin{pmatrix}1\\-1\end{pmatrix}=\begin{pmatrix}0\\0\end{pmatrix}

Eindeutigkeit der Lösung und numerische Stabilität

Voller Spaltenrang $garantiert einen eindeutigen Ausgleichsminimierer$ , aber noch keine numerisch verlässliche. Ein sehr kleiner positiver Singulärwert kann die Schätzung gegenüber kleinen Datenänderungen äußerst empfindlich machen.

Frage	Diagnose	Bedeutung
Ist der Parameter strukturell identifizierbar?	$\operatorname{rank}(A)=n$	Keine zwei Parametervektoren erzeugen dieselbe Vorhersage.
Ist die Schätzung numerisch gut bestimmt?	$\sigma_n$ ist im Verhältnis zu $\sigma_1$ nicht sehr klein	Kleine Störungen bewirken keine großen Parameteränderungen.
Wie empfindlich ist das Problem?	$\kappa_2(A)=\sigma_1/\sigma_n$	Eine große Konditionszahl weist auf hohe Empfindlichkeit hin.

Strukturelle Identifizierbarkeit ist eine exakte algebraische Eigenschaft. Praktische Identifizierbarkeit hängt zusätzlich von Skalierung, Rauschen und numerischer Toleranz ab.

Faktorisierungen zur Rangbestimmung

Mit zwei verbreiteten $Faktorisierungen lässt sich der Rang bestimmen$ , ohne Determinanten zu berechnen, die empfindlich auf numerische Fehler reagieren:

Methode	Stärke	Typischer Einsatz
$\mathrm{QR}$ -Zerlegung mit Spaltenpivotisierung	Meist günstiger als eine vollständige $\mathrm{SVD}$	Schnelle Ausgleichsrechnung und praktische Rangbestimmung
Singulärwertzerlegung	Trennt die unabhängigen Richtungen und die Skala jeder Richtung	Erkennt kleine Singulärwerte, die auf ein beinahe vorhandenes Rangdefizit hinweisen

Die gewöhnliche $\mathrm{LU}$ -Zerlegung ist vor allem für quadratische Systeme bestimmt. Bei einer rechteckigen Entwurfsmatrix wird der Rang meist mit pivotisiertem $\mathrm{QR}$ oder einer $\mathrm{SVD}$ bestimmt.

Singulärwertzerlegung

Sei $q=\min(m,n)$ . Jede Matrix $A \in \mathbb{R}^{m \times n}$ besitzt eine Singulärwertzerlegung

A=U\Sigma V^T

In dieser Zerlegung sind $U \in \mathbb{R}^{m \times m}$ und $V \in \mathbb{R}^{n \times n}$ orthogonal. Die Matrix $\Sigma \in \mathbb{R}^{m \times n}$ hat nichtnegative Diagonaleinträge mit

\sigma_1 \geq \sigma_2 \geq \cdots \geq \sigma_q \geq 0

Der exakte Rang ist die $Anzahl der positiven Singulärwerte$ :

\operatorname{rank}(A)=\#\{i:\sigma_i>0\}

Für $m \geq n$ ist voller Spaltenrang daher äquivalent zu $\sigma_n>0$ . Die aus den Daten nicht identifizierbaren Parameterrichtungen werden von den rechten Singulärvektoren zu Singulärwert null aufgespannt. Diese Vektoren bilden eine Basis von $\ker(A)$ .

Exakter und numerischer Rang

Ist der exakte Rang $r$ mit $0<r<q$ , dann gilt

\sigma_r>0=\sigma_{r+1}=\cdots=\sigma_q

Gleitkommadaten enthalten nur selten exakte Nullen. Ein numerischer Rang zählt deshalb die Singulärwerte oberhalb eines $skalenabhängigen Schwellenwerts$ $\tau$ :

\tau=c\,\max(m,n)\,\varepsilon_{\mathrm{mach}}\,\sigma_1

Der Faktor $c$ richtet sich nach Anwendung und Rauschmodell. Deshalb gibt es keinen universellen Dezimalgrenzwert. Ist $A$ rangdefizient, existiert das Minimum des Ausgleichsproblems weiterhin, aber der minimierende Parametervektor ist nicht eindeutig. Die Moore-Penrose-Pseudoinverse wählt die Lösung mit minimaler Norm:

x^{\dagger}=V\Sigma^{\dagger}U^T b

Numerische Verfahren zur Bestimmung des Matrixrangs

Die Identität

A^TA=V(\Sigma^T\Sigma)V^T

Diese Identität zeigt, warum die quadrierten Singulärwerte Eigenwerte von $A^TA$ sind. Bei numerischen Berechnungen mit vollem Spaltenrang $quadriert das explizite Bilden$ von $A^TA$ die Konditionszahl:

\kappa_2(A^TA)=\kappa_2(A)^2

Numerische Software verwendet deshalb meist $\mathrm{SVD}$ oder rangoffenlegendes $\mathrm{QR}$ , um den Matrixrang zu schätzen. Beide Verfahren arbeiten direkt mit $A$ und quadrieren daher die Konditionszahl nicht wie beim Bilden von $A^TA$ .