For AI agents: use /llms.txt for the Nakafa content index.
Sei eine Matrix mit Beobachtungen und Merkmalen. Die PCA beginnt damit, von jedem Merkmal seinen Mittelwert abzuziehen:
Die Stichprobenkovarianzmatrix lautet
Sie ist symmetrisch positiv semidefinit. Sie kann singulär sein, wenn Merkmale linear abhängig sind oder gilt.
Die Zentrierung ist zwingend. Jedes Merkmal auf Varianz eins zu standardisieren ist eine eigene Modellierungsentscheidung, die bei nicht vergleichbaren Einheiten oft sinnvoll ist. Dadurch ändert sich die Frage von den Richtungen größter absoluter Varianz zu den Richtungen größter standardisierter Varianz.
Nach dem Spektralsatz gilt
Die erste Hauptkomponentenrichtung löst
Jede weitere Richtung maximiert dieselbe Varianz unter der Bedingung, zu allen vorherigen Richtungen orthogonal zu sein. Die transformierten Koordinaten oder Scores sind
und ihre Stichprobenkovarianz ist diagonal:
Die Hauptkomponenten sind daher unkorreliert. Im Allgemeinen sind sie nicht unabhängig. Unabhängigkeit folgt in besonderen Modellen, darunter eine gemeinsame Gauß-Verteilung.
Der Anteil der gesamten Stichprobenvarianz, den Komponente erklärt, ist
Behält man die ersten Eigenvektoren in , erhält man Scores und Rekonstruktion
Unter allen linearen Rekonstruktionen vom Rang minimiert diese Wahl den quadratischen Rekonstruktionsfehler. Mit der obigen Konvention für die Stichprobenkovarianz gilt
Berechne die dünne Singulärwertzerlegung
Dann sind die rechten Singulärvektoren die Hauptkomponentenrichtungen und
Die SVD vermeidet die explizite Bildung von , die die Konditionszahl quadriert. Sie ist außerdem der natürliche Weg, wenn rechteckig ist oder keinen vollen Rang besitzt.
Betrachte eine Kovarianzellipse, die um
gedreht ist und entlang ihrer Hauptachsen die Varianzen und besitzt. Sei
Die Hauptkomponentenrichtungen sind die Spalten von :
Die erste Komponente erklärt
der Gesamtvarianz.
| Prüfung | Warum sie wichtig ist |
|---|---|
| Nur mit Mittelwerten der Trainingsdaten zentrieren | verhindert Datenleckage und erhält das gelernte Koordinatensystem |
| Einheiten und Skalierung der Merkmale prüfen | große numerische Varianz kann sonst aus dem falschen Grund dominieren |
| nach dem Validierungsziel statt nach einer festen Schwelle wählen | erklärte Varianz misst keine prädiktive Relevanz |
| Beliebiges Vorzeichen der Eigenvektoren beachten | und definieren dieselbe Komponente |
| Nichtlineare Struktur und Ausreißer untersuchen | PCA ist eine lineare, varianzbasierte Zusammenfassung und gegenüber beiden empfindlich |
PCA findet Varianzrichtungen und keine kausalen Faktoren. Eine Hauptkomponente kann viele ursprüngliche Merkmale mischen. Eine Richtung mit kleiner Varianz kann für eine nachgelagerte Aufgabe trotzdem wichtig sein.
