Hauptkomponentenanalyse

Mit zentrierten Daten beginnen

Es gelte $m\ge2$ , damit der Nenner der Stichprobenkovarianz nicht null ist.

Sei $X\in\mathbb{R}^{m\times n}$ eine Matrix mit $m$ Beobachtungen und $n$ Merkmalen. Die $\mathrm{PCA}$ beginnt damit, von jedem Merkmal seinen Mittelwert abzuziehen:

\mu_j=\frac1m\sum_{i=1}^m X_{ij}

Die Stichprobenkovarianzmatrix lautet

C=\frac{1}{m-1}X_c^TX_c

Sie ist $symmetrisch positiv semidefinit$ . Sie kann singulär sein, wenn Merkmale linear abhängig sind oder $n>m-1$ gilt.

Die Zentrierung ist zwingend. Jedes Merkmal auf Varianz eins zu standardisieren ist eine eigene Modellierungsentscheidung, die bei nicht vergleichbaren Einheiten oft sinnvoll ist. Dadurch ändert sich die Frage von den Richtungen größter absoluter Varianz zu den Richtungen größter standardisierter Varianz.

Hauptkomponentenrichtungen

Nach dem Spektralsatz gilt

Cv_i=\lambda_i v_i

Die erste Hauptkomponentenrichtung löst

v_1=\underset{\|v\|_2=1}{\operatorname{argmax}}\;v^TCv

Jede weitere Richtung maximiert dieselbe Varianz unter der Bedingung, $zu allen vorherigen Richtungen orthogonal$ zu sein. Die transformierten Koordinaten oder Scores sind

Z=X_cV

Die Stichprobenkovarianz der Scores $Z$ ist diagonal:

\frac{1}{m-1}Z^TZ=V^TCV=\Lambda

Die Hauptkomponenten sind daher unkorreliert. Im Allgemeinen sind sie nicht unabhängig. Bei einem gemeinsam gaußverteilten Zufallsvektor liefert eine feste Eigenbasis seiner Populationskovarianz unabhängige transformierte Komponenten. Stichprobenkorrelationen null allein beweisen keine Unabhängigkeit in der Population.

Erklärte Varianz und Dimensionsreduktion

Die Anteile setzen $positive Gesamtvarianz$ voraus: $\operatorname{tr}(C)>0$ . Sind alle zentrierten Beobachtungen null, sind sämtliche Eigenwerte null und die erklärten Varianzanteile nicht definiert.

Der Anteil der gesamten Stichprobenvarianz, den Komponente $j$ erklärt, ist

\operatorname{EVR}_j=\frac{\lambda_j}{\sum_{i=1}^n\lambda_i}=\frac{\lambda_j}{\operatorname{tr}(C)}

Behält man die ersten $k$ Eigenvektoren in $V_k$ , erhält man Scores und Rekonstruktion

Z_k=X_cV_k

Unter allen linearen Rekonstruktionen vom Rang höchstens $k$ $minimiert diese Wahl den quadratischen Rekonstruktionsfehler$ . Mit der obigen Konvention für die Stichprobenkovarianz gilt

\|X_c-\widehat{X}_c\|_F^2=(m-1)\sum_{j=k+1}^n\lambda_j

Gleichwertige Berechnung mit der Singulärwertzerlegung

Die $\mathrm{PCA}$ kann auch mit der folgenden dünnen Singulärwertzerlegung berechnet werden:

X_c=U\Sigma V^T

Die $rechten Singulärvektoren$ liefern die Hauptkomponentenrichtungen, während für die Eigenwerte gilt:

\lambda_j=\frac{\sigma_j^2}{m-1}

Die Verwendung der $\mathrm{SVD}$ vermeidet die Bildung von $X_c^TX_c$ , durch die sich die Konditionszahl quadrieren würde. Die $\mathrm{SVD}$ eignet sich auch, wenn $X_c$ rechteckig oder rangdefizient ist.

Beispiel einer zweidimensionalen Kovarianz

Die Kovarianzellipse wird um den folgenden Winkel gedreht:

\theta=\frac{\pi}{6}

Die Varianzen entlang der beiden Hauptachsen betragen $9$ und $2{,}25$ . Rotations- und Kovarianzmatrix lauten:

R=\begin{pmatrix}\cos\theta&-\sin\theta\\\sin\theta&\cos\theta\end{pmatrix}

Die Hauptkomponentenrichtungen sind die Spalten von $R$ :

v_1=\begin{pmatrix}\sqrt3/2\\1/2\end{pmatrix},\qquad\lambda_1=9

Der von der ersten Komponente $erklärte Varianzanteil$ wird aus den beiden Eigenwerten berechnet:

\frac{9}{9+2{,}25}=0{,}8=80\%

Das Ergebnis $80\%$ ist der Anteil der Gesamtvarianz, den die erste Komponente erklärt.

Kovarianzellipse und Hauptkomponentenrichtungen

v_1,v_2

Die cyanfarbene Ellipse hat die Halbachsenlängen

\sqrt{\lambda_1}=3

und

\sqrt{\lambda_2}=1{,}5

. Die orangefarbenen Richtungen sind ihre Eigenvektoren.

$x$: $[-4; 4]$
$y$: $[-3; 3]$

Grenzen der Interpretation

Prüfung	Begründung
Nur mit Mittelwerten der Trainingsdaten zentrieren	verhindert Datenleckage und erhält das gelernte Koordinatensystem
Einheiten und Skalierung der Merkmale prüfen	große numerische Varianz kann sonst aus dem falschen Grund dominieren
$k$ nach dem Validierungsziel statt nach einer festen Schwelle wählen	erklärte Varianz misst keine prädiktive Relevanz
Beliebiges Vorzeichen der Eigenvektoren beachten	$v_j$ und $-v_j$ definieren dieselbe Komponente
Nichtlineare Struktur und Ausreißer untersuchen	Die $\mathrm{PCA}$ ist eine lineare, varianzbasierte Zusammenfassung und gegenüber beiden empfindlich

Die $\mathrm{PCA}$ bestimmt Richtungen mit großer Varianz. Aus der Varianz allein $lässt sich keine Ursache ableiten$ . Eine Hauptkomponente kann viele ursprüngliche Merkmale mischen. Eine Richtung mit kleiner Varianz kann trotzdem ein Signal enthalten, das eine spätere Vorhersage oder Klassifikation benötigt.