Pertanyaan penting yang muncul adalah apakah pendekatan terbaik itu benar-benar ada dan apakah solusinya unik? Jawabannya adalah ya. Misalkan V adalah ruang vektor euklidean dan S⊂V adalah subruang vektor berdimensi hingga. Maka untuk setiap f∈V terdapat pendekatan terbaik yang tunggal dengan
g∈S
∥f−g∥=φ∈Smin∥f−φ∥
Teorema ini memberikan jaminan bahwa pendekatan terbaik selalu ada dan bersifat unik. Seperti mencari titik terdekat dari sebuah lokasi ke jalan raya, selalu ada satu titik yang memberikan jarak terpendek.
Misalkan n adalah dimensi dari S dan ψ1,…,ψn adalah basis dari S. Dengan menggunakan proses Gram-Schmidt, kita dapat menghitung basis ortonormal φ1,…,φn dari S dengan ⟨φi,φk⟩=δik.
Setiap g∈S memiliki representasi tunggal sebagai g=∑i=1nαiφi. Kemudian berlaku
∥f−g∥2=⟨f−g,f−g⟩=⟨f−i=1∑nαiφi,f−k=1∑nαkφk⟩
=⟨f,f⟩−2i=1∑nαi⟨f,φi⟩+i,k=1∑nαiαk⟨φi,φk⟩
=∥f∥2−2i=1∑nαi⟨f,φi⟩+i=1∑nαi2
Dengan menggunakan identitas (αi−⟨f,φi⟩)2=αi2−2αi⟨f,φi⟩+⟨f,φi⟩2, kita peroleh
∥f−g∥2=∥f∥2−i=1∑n⟨f,φi⟩2+i=1∑n(αi−⟨f,φi⟩)2
Fungsi g∈S adalah pendekatan terbaik dari f jika dan hanya jika αi=⟨f,φi⟩ untuk i=1,…,n.
Untuk basis ortonormal φ1,…,φn dari S, pendekatan terbaik diberikan oleh
g=i=1∑n⟨f,φi⟩φi
Pendekatan terbaik memenuhi rumus jarak
∥f−g∥=(∥f∥2−i=1∑n⟨f,φi⟩2)21
Pendekatan terbaik g dari f dalam S adalah proyeksi ortogonal dari f pada S. Hal ini berarti
⟨f−g,φ⟩=0 untuk semua φ∈S
Secara geometris, vektor dari g ke f tegak lurus terhadap subruang S. Bayangkan seperti menjatuhkan bola dari udara ke lantai, titik jatuhnya adalah proyeksi ortogonal bola tersebut pada lantai.
Ketika basis ortonormal dari S tidak diketahui, kita dapat menggunakan basis sembarang ψ1,…,ψn dari S. Misalkan g=∑i=1nαiψi adalah representasi unik dari g terhadap basis ini.
Karena ψk∈S, maka kondisi ortogonalitas memberikan
⟨f−i=1∑nαiψi,ψk⟩=0,k=1,…,n
Ini menghasilkan sistem persamaan linear
i=1∑nαi⟨ψi,ψk⟩=⟨f,ψk⟩,k=1,…,n
Matriks koefisien A=(⟨ψi,ψk⟩)i=1,…,n,k=1,…,n disebut matriks Gram dari basis ψ1,…,ψn. Matriks ini bersifat simetris dan positif definit. Untuk α=0 berlaku
αTAα=i,k=1∑n⟨ψi,ψk⟩αiαk=i=1∑nαiψi2>0
Namun, matriks A dapat menjadi sangat buruk kondisinya dalam praktik. Sebagai contoh, untuk basis monomial 1,x,…,xn, matriks menjadi sangat tidak stabil sehingga perhitungan g menjadi sulit dilakukan untuk n yang besar.
Pendekatan Gauss dengan basis ortonormal dari S memiliki keunggulan karena kemudahan perhitungan pendekatan terbaik
g(x)=k=1∑n⟨f,φk⟩φk(x)
=k=1∑n∫abf(t)φk(t)dtφk(x)
tanpa perlu menyelesaikan sistem persamaan linear. Dengan basis ortonormal, kita dapat langsung menghitung koefisien proyeksi seperti menggunakan sistem koordinat yang sudah tersusun rapi dan saling tegak lurus.