# Positiv definite Matrizen > For AI agents: use [llms.txt](https://nakafa.com/llms.txt) for the site index. Markdown versions are available by appending `.md` to content URLs or sending `Accept: text/markdown`. URL: https://nakafa.com/de/faecher/ki-und-data-science/lineare-methoden-der-ki/positiv-definite-matrizen Source: https://raw.githubusercontent.com/nakafaai/aksara/16d6b8e869d1a277313c65bbfc4b4a83efe77a46/packages/corpus/material/lesson/ai-ds/linear-methods/positive-definite-matrix/de.mdx Klassifiziere symmetrische und hermitesche Matrizen mithilfe quadratischer Formen, Eigenwerte, Hauptminoren, Cholesky-Faktoren und der Optimierungsgeometrie. --- ## Definition über quadratische Formen Für eine reelle symmetrische Matrix $$A\in\mathbb{R}^{n\times n}$$ betrachten wir die quadratische Form Visible text: Für eine reelle symmetrische Matrix betrachten wir die quadratische Form ```math q(x)=x^TAx ``` Die komplexe Variante verwendet eine hermitesche Matrix und $$q(x)=x^HAx$$. Das Vorzeichen dieses Skalars klassifiziert die Matrix: Visible text: Die komplexe Variante verwendet eine hermitesche Matrix und . Das Vorzeichen dieses Skalars klassifiziert die Matrix: | Klasse | Bedingung für jedes $$x$$ ungleich null | | --- | --- | | Positiv definit | $$x^TAx>0$$ | | Positiv semidefinit | $$x^TAx\ge0$$ | | Negativ definit | $$x^TAx<0$$ | | Negativ semidefinit | $$x^TAx\le0$$ | | Indefinit | die quadratische Form nimmt positive und negative Werte an | Visible text: | Klasse | Bedingung für jedes ungleich null | | --- | --- | | Positiv definit | | | Positiv semidefinit | | | Negativ definit | | | Negativ semidefinit | | | Indefinit | die quadratische Form nimmt positive und negative Werte an | Symmetrie gehört zur üblichen Definition. Für eine nicht symmetrische reelle Matrix gilt ```math x^TAx=x^T\left(\frac{A+A^T}{2}\right)x ``` Die quadratische Form sieht also nur den symmetrischen Anteil. ## Spektralkriterium Nach dem Spektralsatz lässt sich eine reelle symmetrische Matrix schreiben als ```math A=Q\Lambda Q^T ``` mit orthogonalem $$Q$$ und reeller Diagonalmatrix $$\Lambda=\operatorname{diag}(\lambda_1,ldots,lambda_n)$$. Mit $$y=Q^Tx$$ folgt Visible text: mit orthogonalem und reeller Diagonalmatrix . Mit folgt ```math x^TAx=\sum_{i=1}^n\lambda_i y_i^2 ``` Daher gilt: - $$A$$ ist genau dann positiv definit, wenn jedes $$\lambda_i>0$$ ist. - $$A$$ ist genau dann positiv semidefinit, wenn jedes $$\lambda_i\ge0$$ ist. - $$A$$ ist genau dann indefinit, wenn sie positive und negative Eigenwerte besitzt. Visible text: - ist genau dann positiv definit, wenn jedes ist. - ist genau dann positiv semidefinit, wenn jedes ist. - ist genau dann indefinit, wenn sie positive und negative Eigenwerte besitzt. Jeder Diagonaleintrag einer positiv definiten Matrix ist positiv, denn ```math a_{ii}=e_i^TAe_i>0 ``` Die Umkehrung ist falsch. Positive Diagonaleinträge allein kontrollieren die gemischten Terme nicht. ## Ellipsoidgeometrie Ist $$A$$ positiv definit, dann ist Visible text: Ist positiv definit, dann ist ```math E=\{x\in\mathbb{R}^n:x^TAx=1\} ``` ein Ellipsoid mit Mittelpunkt im Ursprung. In Eigenvektorkoordinaten gilt ```math \sum_{i=1}^n\lambda_i y_i^2=1 ``` Die Hauptachsen sind also die Eigenvektoren von $$A$$, und ihre Halbachsenlängen betragen $$1/\sqrt{\lambda_i}$$. Kleine Eigenwerte gehören zu langen, große Eigenwerte zu kurzen Richtungen. Visible text: Die Hauptachsen sind also die Eigenvektoren von , und ihre Halbachsenlängen betragen . Kleine Eigenwerte gehören zu langen, große Eigenwerte zu kurzen Richtungen. ## Hauptminorentests Sei $$A_k$$ der linke obere $$k\times k$$-Block einer reellen symmetrischen oder komplexen hermiteschen Matrix. Das Sylvester-Kriterium lautet Visible text: Sei der linke obere -Block einer reellen symmetrischen oder komplexen hermiteschen Matrix. Das Sylvester-Kriterium lautet ```math A\text{ ist positiv definit}\quad\Longleftrightarrow\quad\det(A_k)>0\text{ für }k=1,ldots,n ``` Dieser Test der führenden Hauptminoren lässt sich nicht durch bloßes Ersetzen von $$>$$ durch $$\ge$$ erweitern. Positive Semidefinitheit ist gleichbedeutend damit, dass alle Hauptminoren nichtnegativ sind, nicht nur die führenden. Visible text: Dieser Test der führenden Hauptminoren lässt sich nicht durch bloßes Ersetzen von durch erweitern. Positive Semidefinitheit ist gleichbedeutend damit, dass alle Hauptminoren nichtnegativ sind, nicht nur die führenden. ## Prüfungen für Zwei-mal-zwei-Matrizen Betrachte ```math A=\begin{pmatrix}5&1\\1&4\end{pmatrix} ``` Die führenden Hauptminoren sind Component: MathContainer Children: ```math \det(A_1)=5>0 ``` ```math \det(A)=20-1=19>0 ``` Somit ist $$A$$ positiv definit. Die Eigenwerte bestätigen dies: Visible text: Somit ist positiv definit. Die Eigenwerte bestätigen dies: ```math \lambda_1=\frac{9+\sqrt5}{2}\approx5{,}61803,\qquad \lambda_2=\frac{9-\sqrt5}{2}\approx3{,}38197 ``` Vergleiche nun ```math B=\begin{pmatrix}1&5\\5&4\end{pmatrix} ``` Obwohl beide Diagonaleinträge positiv sind, gilt ```math \det(B)=4-25=-21<0 ``` Die beiden Eigenwerte haben daher verschiedene Vorzeichen und $$B$$ ist indefinit. Visible text: Die beiden Eigenwerte haben daher verschiedene Vorzeichen und ist indefinit. ## Cholesky-Charakterisierung Eine reelle symmetrische Matrix ist genau dann positiv definit, wenn sie eine Cholesky-Faktorisierung ```math A=LL^T ``` mit unterer Dreiecksmatrix $$L$$ und ausschließlich positiven Diagonaleinträgen besitzt. Dann gilt Visible text: mit unterer Dreiecksmatrix und ausschließlich positiven Diagonaleinträgen besitzt. Dann gilt ```math x^TAx=x^TLL^Tx=\|L^Tx\|_2^2>0\qquad(x\ne0) ``` Umgekehrt läuft der Cholesky-Algorithmus für jede positiv definite Matrix ohne nichtpositiven Pivot vollständig durch. Dies liefert sowohl einen Test als auch einen effizienten Weg zum Lösen von $$Ax=b$$. Visible text: Umgekehrt läuft der Cholesky-Algorithmus für jede positiv definite Matrix ohne nichtpositiven Pivot vollständig durch. Dies liefert sowohl einen Test als auch einen effizienten Weg zum Lösen von . ## Gram-Matrizen und $$A^TA$$ Visible text: ## Gram-Matrizen und Für jede reelle Matrix $$M\in\mathbb{R}^{m\times n}$$ gilt Visible text: Für jede reelle Matrix gilt ```math x^TM^TMx=\|Mx\|_2^2\ge0 ``` Daher ist $$M^TM$$ immer positiv semidefinit. Sie ist genau dann positiv definit, wenn Visible text: Daher ist immer positiv semidefinit. Sie ist genau dann positiv definit, wenn ```math \ker(M)=\{0\}\quad\Longleftrightarrow\quad\operatorname{rank}(M)=n ``` Voller Spaltenrang impliziert automatisch $$m\ge n$$. Dies muss für die Aussage über Semidefinitheit nicht vorab angenommen werden. Visible text: Voller Spaltenrang impliziert automatisch . Dies muss für die Aussage über Semidefinitheit nicht vorab angenommen werden. Allgemeiner ist eine Gram-Matrix $$G_{ij}=\langle v_i,v_j\rangle$$ positiv semidefinit. Sie ist genau dann positiv definit, wenn die Vektoren $$v_i$$ linear unabhängig sind. Visible text: Allgemeiner ist eine Gram-Matrix positiv semidefinit. Sie ist genau dann positiv definit, wenn die Vektoren linear unabhängig sind. ## Bedeutung für die Optimierung Betrachte die quadratische Zielfunktion ```math F(x)=\frac12x^TAx-b^Tx+c ``` Ihr Gradient und ihre Hesse-Matrix sind Component: MathContainer Children: ```math \nabla F(x)=Ax-b ``` ```math \nabla^2F(x)=A ``` Ist $$A$$ positiv definit, dann ist $$F$$ streng konvex und besitzt den eindeutigen Minimierer Visible text: Ist positiv definit, dann ist streng konvex und besitzt den eindeutigen Minimierer ```math x_*=A^{-1}b ``` Positive Definitheit allein garantiert keine einfache oder numerisch stabile Berechnung. Das Krümmungsverhältnis ```math \kappa_2(A)=\frac{\lambda_{\max}(A)}{\lambda_{\min}(A)} ``` kann dennoch sehr groß sein. Dadurch wird die Zielfunktion langgestreckt und Algorithmen können langsam oder empfindlich werden. ## Spektralverschiebungen und Inversen Für eine hermitesche Matrix $$A$$ sind die Eigenwerte von $$A-tI$$ gleich $$\lambda_i(A)-t$$. Folglich Visible text: Für eine hermitesche Matrix sind die Eigenwerte von gleich . Folglich ```math A-tI\succ0\quad\Longleftrightarrow\quad t<\lambda_{\min}(A) ``` Aus $$A\succ0$$ folgt außerdem $$A^{-1}\succ0$$ mit Eigenwerten $$1/\lambda_i(A)$$. Diese Tatsachen sind nützlich. Ein numerischer Algorithmus sollte lineare Gleichungssysteme trotzdem lösen, statt eine Inverse explizit zu bilden. Visible text: Aus folgt außerdem mit Eigenwerten . Diese Tatsachen sind nützlich. Ein numerischer Algorithmus sollte lineare Gleichungssysteme trotzdem lösen, statt eine Inverse explizit zu bilden.