Analisis Komponen Utama

Mulai dengan Data Terpusat

Asumsikan $m\ge2$ agar penyebut kovarians sampel tidak nol.

Misalkan $X\in\mathbb{R}^{m\times n}$ memuat $m$ pengamatan dari $n$ fitur. $\mathrm{PCA}$ dimulai dengan mengurangi setiap fitur dengan nilai rata-ratanya:

\mu_j=\frac1m\sum_{i=1}^m X_{ij}

Matriks kovarians untuk data yang sudah dipusatkan adalah:

C=\frac{1}{m-1}X_c^TX_c

Matriks $C$ simetris positif semidefinit. Matriks $C$ dapat singular ketika fitur saling bergantung linear atau ketika $n>m-1$ .

Data harus dipusatkan sebelum $\mathrm{PCA}$ . $Standardisasi setiap fitur agar variansnya satu$ adalah $pilihan model$ , dan biasanya berguna ketika fitur memakai satuan yang tidak sebanding. Standardisasi mengubah pertanyaan dari arah dengan varians absolut terbesar menjadi arah dengan varians terstandardisasi terbesar.

Arah Komponen Utama

Berdasarkan teorema spektral,

Cv_i=\lambda_i v_i

Arah komponen utama pertama menyelesaikan

v_1=\underset{\|v\|_2=1}{\operatorname{argmax}}\;v^TCv

Setiap arah berikutnya memaksimumkan varians yang sama dengan syarat $tegak lurus terhadap semua arah sebelumnya$ . Koordinat baru, atau skor, adalah

Z=X_cV

Kovarians sampel dari skor $Z$ berbentuk diagonal:

\frac{1}{m-1}Z^TZ=V^TCV=\Lambda

Jadi, komponen utama tidak berkorelasi. Komponen tersebut tidak selalu independen. Untuk vektor acak Gaussian bersama, basis eigen tetap dari kovarians populasi menghasilkan komponen transformasi yang independen. Korelasi sampel nol saja tidak membuktikan independensi populasi.

Varians Terjelaskan dan Reduksi Dimensi

Rasio memerlukan $varians total positif$ , yaitu $\operatorname{tr}(C)>0$ . Jika semua pengamatan terpusat bernilai nol, seluruh nilai eigen nol dan rasio varians terjelaskan tidak terdefinisi.

Proporsi varians sampel total yang dijelaskan komponen $j$ adalah

\operatorname{EVR}_j=\frac{\lambda_j}{\sum_{i=1}^n\lambda_i}=\frac{\lambda_j}{\operatorname{tr}(C)}

Mempertahankan $k$ vektor eigen pertama dalam $V_k$ menghasilkan skor dan rekonstruksi

Z_k=X_cV_k

Di antara semua rekonstruksi linear dengan rank paling tinggi $k$ , pilihan ini $meminimumkan galat rekonstruksi kuadrat$ . Dengan konvensi kovarians sampel di atas,

\|X_c-\widehat{X}_c\|_F^2=(m-1)\sum_{j=k+1}^n\lambda_j

Perhitungan Ekuivalen dengan Dekomposisi Nilai Singular

$\mathrm{PCA}$ juga dapat dihitung melalui dekomposisi nilai singular tipis berikut:

X_c=U\Sigma V^T

$Vektor singular kanan$ memberi arah komponen utama, sedangkan nilai eigen memenuhi hubungan berikut:

\lambda_j=\frac{\sigma_j^2}{m-1}

Menggunakan $\mathrm{SVD}$ menghindari pembentukan $X_c^TX_c$ , yang akan menguadratkan bilangan kondisi. $\mathrm{SVD}$ juga cocok ketika $X_c$ berbentuk persegi panjang atau memiliki rank yang tidak penuh.

Contoh Kovarians Dua Dimensi

Elips kovarians diputar sebesar sudut berikut:

\theta=\frac{\pi}{6}

Varians pada kedua sumbu utama adalah $9$ dan $2{,}25$ . Matriks rotasi dan matriks kovariansnya adalah:

R=\begin{pmatrix}\cos\theta&-\sin\theta\\\sin\theta&\cos\theta\end{pmatrix}

Arah komponen utama adalah kolom $R$ :

v_1=\begin{pmatrix}\sqrt3/2\\1/2\end{pmatrix},\qquad\lambda_1=9

$Rasio varians$ yang dijelaskan komponen pertama dapat dihitung dari kedua nilai eigen:

\frac{9}{9+2{,}25}=0{,}8=80\%

Hasil $80\%$ adalah bagian dari varians total yang dijelaskan oleh komponen pertama.

Elips kovarians dan arah komponen utama

v_1,v_2

Elips sian memiliki panjang semisumbu

\sqrt{\lambda_1}=3

dan

\sqrt{\lambda_2}=1{,}5

. Garis jingga menunjukkan arah kedua vektor eigen.

$x$: $[-4; 4]$
$y$: $[-3; 3]$

Batas Penggunaan PCA

Pemeriksaan	Alasan
Pusatkan hanya dengan rata-rata data latih	mencegah kebocoran data dan mempertahankan sistem koordinat yang dipelajari
Tinjau satuan dan skala fitur	fitur dengan rentang nilai numerik yang besar dapat mendominasi perhitungan meskipun perbedaan itu hanya berasal dari satuan
Pilih $k$ berdasarkan kebutuhan validasi	varians terjelaskan tidak mengukur relevansi prediktif
Tanda vektor eigen bersifat sembarang	$v_j$ dan $-v_j$ mendefinisikan komponen yang sama
Periksa struktur nonlinear dan pencilan	$\mathrm{PCA}$ merupakan ringkasan linear berbasis varians dan peka terhadap keduanya

$\mathrm{PCA}$ menemukan arah dengan variasi data terbesar. $Nilai varians saja tidak menjelaskan penyebab$ . Satu komponen utama dapat mencampurkan banyak fitur asli. Arah dengan varians rendah tetap dapat membawa sinyal yang dibutuhkan oleh tugas prediksi atau klasifikasi berikutnya.