Analisis Komponen Utama

Contoh Analisis Komponen Utama

Bayangkan kamu memiliki sebuah vektor acak $x \in \mathbb{R}^n$ yang terdistribusi normal. Vektor ini memiliki nilai harapan nol $0 \in \mathbb{R}^n$ dan matriks kovarians positif definit $C \in \mathbb{R}^{n \times n}$. Kita dapat menuliskannya sebagai distribusi normal seperti ini:

Setiap parameter individual $x_i$ merepresentasikan karakteristik dari proses yang sedang kita amati. Dalam praktiknya, hampir semua entri dari matriks kovarians $C$ bisa bernilai tidak nol. Ini artinya parameter-parameter tersebut saling berkorelasi kuat karena adanya kovarians pada elemen diagonal samping.

Melalui analisis komponen utama, kita bisa menentukan faktor-faktor pengaruh utama yang mempengaruhi proses tersebut.

Diagonalisasi Matriks Kovarians

Untuk mengidentifikasi faktor pengaruh utama, kita perlu melakukan diagonalisasi pada matriks kovarians $C$. Misalkan $\lambda_1 \geq \ldots \geq \lambda_n > 0$ adalah nilai eigen dari $C$ dengan vektor eigen ortonormal yang bersesuaian $v_1, \ldots, v_n$.

Berdasarkan teorema spektral, kita dapat membentuk matriks diagonal dan matriks vektor eigen:

Kemudian berlaku hubungan fundamental:

Transformasi ke Koordinat Baru

Berkaitan dengan basis $v_1, \ldots, v_n$, koordinat baru didefinisikan sebagai $y = S^T x$. Yang menarik adalah variabel $y_i$ menjadi independen dan terdistribusi normal dengan varians $\lambda_i$:

Variabel $y_i$ inilah yang disebut komponen utama dari $x$. Komponen utama dengan varians $\lambda_i$ yang paling besar menggambarkan faktor pengaruh utama dari proses yang diamati.

Analoginya seperti ketika kamu mengamati gerak awan di langit. Ada banyak faktor yang mempengaruhi pergerakan awan, tapi angin barat mungkin memberikan pengaruh paling besar. Komponen utama pertama seperti arah angin utama yang memberikan kontribusi terbesar terhadap pola pergerakan awan.

Visualisasi Geometris

Secara geometris, analisis komponen utama dapat dipahami sebagai cara mencari arah yang paling optimal untuk merepresentasikan data. Bayangkan data tersebar seperti awan titik-titik dalam ruang dua dimensi. Komponen utama menunjukkan arah dimana data memiliki variabilitas maksimum.

Dalam visualisasi di atas, Variable 1 dan Variable 2 merepresentasikan koordinat asli data kamu. Sementara Faktor 1 dan Faktor 2 menunjukkan arah komponen utama yang baru. Perhatikan bagaimana arah faktor tidak sejajar dengan sumbu asli, melainkan mengikuti pola sebaran data yang sebenarnya.

Faktor 1 menunjukkan arah dengan variabilitas terbesar dari data, sedangkan Faktor 2 menunjukkan arah variabilitas terbesar kedua yang tegak lurus terhadap Faktor 1. Transformasi ini memungkinkan kita memahami struktur data dengan lebih baik karena komponen utama menangkap pola variabilitas yang sesungguhnya ada dalam data.