Positiv definite Matrizen

Für eine reelle symmetrische Matrix $A\in\mathbb{R}^{n\times n}$ betrachten wir die quadratische Form

Die komplexe Variante verwendet eine hermitesche Matrix und $q(x)=x^HAx$. Das Vorzeichen dieses Skalars klassifiziert die Matrix:

Symmetrie gehört zur üblichen Definition. Für eine nicht symmetrische reelle Matrix gilt

Die quadratische Form sieht also nur den symmetrischen Anteil.

Spektralkriterium

Nach dem Spektralsatz lässt sich eine reelle symmetrische Matrix schreiben als

mit orthogonalem $Q$ und reeller Diagonalmatrix $\Lambda=\operatorname{diag}(\lambda_1,ldots,lambda_n)$. Mit $y=Q^Tx$ folgt

Daher gilt:

• $A$ ist genau dann positiv definit, wenn jedes $\lambda_i>0$ ist.
• $A$ ist genau dann positiv semidefinit, wenn jedes $\lambda_i\ge0$ ist.
• $A$ ist genau dann indefinit, wenn sie positive und negative Eigenwerte besitzt.

Jeder Diagonaleintrag einer positiv definiten Matrix ist positiv, denn

Die Umkehrung ist falsch. Positive Diagonaleinträge allein kontrollieren die gemischten Terme nicht.

Ellipsoidgeometrie

Ist $A$ positiv definit, dann ist

ein Ellipsoid mit Mittelpunkt im Ursprung. In Eigenvektorkoordinaten gilt

Die Hauptachsen sind also die Eigenvektoren von $A$, und ihre Halbachsenlängen betragen $1/\sqrt{\lambda_i}$. Kleine Eigenwerte gehören zu langen, große Eigenwerte zu kurzen Richtungen.

Hauptminorentests

Sei $A_k$ der linke obere $k\times k$-Block einer reellen symmetrischen oder komplexen hermiteschen Matrix. Das Sylvester-Kriterium lautet

Dieser Test der führenden Hauptminoren lässt sich nicht durch bloßes Ersetzen von $>$ durch $\ge$ erweitern. Positive Semidefinitheit ist gleichbedeutend damit, dass alle Hauptminoren nichtnegativ sind, nicht nur die führenden.

Prüfungen für Zwei-mal-zwei-Matrizen

Betrachte

Die führenden Hauptminoren sind

Somit ist $A$ positiv definit. Die Eigenwerte bestätigen dies:

Vergleiche nun

Obwohl beide Diagonaleinträge positiv sind, gilt

Die beiden Eigenwerte haben daher verschiedene Vorzeichen und $B$ ist indefinit.

Cholesky-Charakterisierung

Eine reelle symmetrische Matrix ist genau dann positiv definit, wenn sie eine Cholesky-Faktorisierung

mit unterer Dreiecksmatrix $L$ und ausschließlich positiven Diagonaleinträgen besitzt. Dann gilt

Umgekehrt läuft der Cholesky-Algorithmus für jede positiv definite Matrix ohne nichtpositiven Pivot vollständig durch. Dies liefert sowohl einen Test als auch einen effizienten Weg zum Lösen von $Ax=b$.

Gram-Matrizen und $A^TA$

Für jede reelle Matrix $M\in\mathbb{R}^{m\times n}$ gilt

Daher ist $M^TM$ immer positiv semidefinit. Sie ist genau dann positiv definit, wenn

Voller Spaltenrang impliziert automatisch $m\ge n$. Dies muss für die Aussage über Semidefinitheit nicht vorab angenommen werden.

Allgemeiner ist eine Gram-Matrix $G_{ij}=\langle v_i,v_j\rangle$ positiv semidefinit. Sie ist genau dann positiv definit, wenn die Vektoren $v_i$ linear unabhängig sind.

Bedeutung für die Optimierung

Betrachte die quadratische Zielfunktion

Ihr Gradient und ihre Hesse-Matrix sind

Ist $A$ positiv definit, dann ist $F$ streng konvex und besitzt den eindeutigen Minimierer

Positive Definitheit allein garantiert keine einfache oder numerisch stabile Berechnung. Das Krümmungsverhältnis

kann dennoch sehr groß sein. Dadurch wird die Zielfunktion langgestreckt und Algorithmen können langsam oder empfindlich werden.

Spektralverschiebungen und Inversen

Für eine hermitesche Matrix $A$ sind die Eigenwerte von $A-tI$ gleich $\lambda_i(A)-t$. Folglich

Aus $A\succ0$ folgt außerdem $A^{-1}\succ0$ mit Eigenwerten $1/\lambda_i(A)$. Diese Tatsachen sind nützlich. Ein numerischer Algorithmus sollte lineare Gleichungssysteme trotzdem lösen, statt eine Inverse explizit zu bilden.