Orthogonale Projektion

Satz über die beste Approximation

Sei $V$ ein reeller Skalarproduktraum und $S\subseteq V$ ein endlichdimensionaler Unterraum. Zu jedem $f\in V$ gibt es genau einen Vektor $g\in S$ mit

\|f-g\|=\min_{\varphi\in S}\|f-\varphi\|

Der Vektor $g$ ist die orthogonale Projektion von $f$ auf $S$ und wird als $g=P_Sf$ geschrieben. Er wird durch zwei Bedingungen charakterisiert:

g\in S

Äquivalent dazu gilt

\begin{aligned} &\langle f-g,\varphi\rangle=0 \\ &\text{für jedes }\varphi\in S \end{aligned}

In einem Hilbert-Raum gilt derselbe Satz für $jeden abgeschlossenen Unterraum$ . Ein endlichdimensionaler Unterraum ist automatisch abgeschlossen.

Warum Orthogonalität das Minimum liefert

Sei $g=P_Sf$ und $\varphi\in S$ beliebig. Wegen $g-\varphi\in S$ und $f-g\perp S$ liefert der $Satz des Pythagoras$

f-\varphi=(f-g)+(g-\varphi)

Gleichheit gilt nur für $\varphi=g$ . Damit sind sowohl die Optimalität als auch die Eindeutigkeit bewiesen.

Formel für eine orthonormale Basis

Ist $\varphi_1,\ldots,\varphi_n$ eine orthonormale Basis von $S$ , dann gilt

P_Sf=\sum_{i=1}^n\langle f,\varphi_i\rangle\varphi_i

Die zweite Zeile folgt aus der Zerlegung von $f$ in die $senkrechten Komponenten$ $P_Sf$ und $f-P_Sf$ .

Für eine reelle Matrix $Q\in\mathbb{R}^{m\times n}$ mit orthonormalen Spalten gilt

P=QQ^T

Die Matrix $P$ projiziert Vektoren aus $\mathbb{R}^m$ auf $\operatorname{col}(Q)$ .

Einen Vektor auf einen eindimensionalen Unterraum projizieren

Die beiden Vektoren sind

f=\begin{pmatrix}1\\3\end{pmatrix}

Projiziere den Vektor $f$ auf $S=\operatorname{span}\{u\}$ . Der $Projektionskoeffizient$ ist

\frac{\langle f,u\rangle}{\langle u,u\rangle}=\frac{1\cdot2+3\cdot1}{2^2+1^2}=1

Daher gilt

g=P_Sf=u=\begin{pmatrix}2\\1\end{pmatrix}

Projektion von

f

auf

\operatorname{span}\{u\}

Der cyanfarbene Vektor ist

f

, der orangefarbene Vektor ist

g=P_Sf

, und die violette Strecke ist das senkrechte Residuum

r=f-g

$x$: $[0; 2]$
$y$: $[0; 3]$

Konstruktion aus einer beliebigen Basis

Sei $\psi_1,\ldots,\psi_n$ eine beliebige Basis von $S$ und

g=\sum_{i=1}^n\alpha_i\psi_i

Die Orthogonalitätsbedingungen ergeben das $Gram-System$

\begin{aligned} &\sum_{i=1}^n\langle\psi_i,\psi_k\rangle\alpha_i=\langle f,\psi_k\rangle, \\ &k=1,\ldots,n \end{aligned}

In diesem System gilt $G_{ki}=\langle\psi_i,\psi_k\rangle$ und $c_k=\langle f,\psi_k\rangle$ . Da die Basisvektoren linear unabhängig sind, gilt

\begin{aligned} &z^TGz=\left\|\sum_{i=1}^nz_i\psi_i\right\|^2>0 \\ &\text{für }z\ne0 \end{aligned}

Die Ungleichung zeigt, dass $G$ symmetrisch positiv definit ist. Deshalb sind die Projektionskoeffizienten eindeutig.

Sind die Spalten einer Matrix $A$ mit vollem Spaltenrang die Basisvektoren, dann ist

P=A(A^TA)^{-1}A^T

Die Matrix $P$ ist derselbe orthogonale Projektor. Die Formel gibt die algebraische Form des Projektors an. Berechne die Projektion numerisch mit $\mathrm{QR}$ oder $\mathrm{SVD}$ , weil die Bildung von $A^TA$ die Konditionszahl quadriert.

Beispiel aus einem Funktionenraum

Projiziere $f(x)=x^2$ auf $S=\operatorname{span}\{1,x\}$ bezüglich

\langle f,g\rangle=\int_{-1}^{1}f(x)g(x)\,dx

Die Funktionen $1$ und $x$ sind orthogonal. Ihre Koeffizienten lauten

c_0=\frac{\langle x^2,1\rangle}{\langle1,1\rangle}=\frac{2/3}{2}=\frac13

Damit gilt

P_Sf(x)=\frac13

Der lineare Term verschwindet, weil $x^3$ auf dem symmetrischen Intervall $ungerade$ ist.

Eigenschaften eines orthogonalen Projektors

Eigenschaft	Bedeutung
$P^2=P$	eine zweite Projektion ändert nichts
$P^T=P$	Bild und Kern stehen senkrecht aufeinander
$\operatorname{range}(P)=S$	jede Ausgabe liegt im Zielunterraum
$\ker(P)=S^\perp$	senkrechte Komponenten werden entfernt

Auch ein schiefer Projektor kann $P^2=P$ erfüllen. Da er nicht symmetrisch sein muss, kennzeichnet die Bedingung $P^T=P$ $den euklidischen orthogonalen Projektor$ .