Matriks ATA memiliki nama khusus dalam konteks masalah kuadrat terkecil. Matriks ini disebut sebagai matriks informasi Fisher, sesuai dengan nama ahli statistik terkenal.
Bayangkan seperti mengukur seberapa tajam puncak sebuah gunung. Semakin tajam puncaknya, semakin mudah kita menentukan lokasi puncak yang tepat. Begitu juga dengan matriks informasi Fisher, ia memberikan ukuran seberapa baik kita dapat menentukan parameter yang optimal.
Matriks C=(ATA)−1 merupakan matriks kovarian dari penduga parameter x^=(ATA)−1ATb. Matriks ini berlaku ketika kita mengasumsikan bahwa komponen bi untuk i=1,…,n adalah nilai bebas yang terdistribusi normal standar.
Dengan asumsi tersebut, penduga x^ mengikuti distribusi normal multivariat
x^∼N(xtrue,C)
dimana xtrue∈Rn adalah parameter sebenarnya yang tidak diketahui sebagai nilai harapan dan C∈Rn×n sebagai matriks kovarian.
Elemen diagonal cii menggambarkan varian dari parameter, seperti mengukur seberapa jauh estimasi parameter bisa meleset dari nilai sebenarnya. Dari nilai ini dapat dihitung interval kepercayaan untuk parameter tersebut. Elemen di luar diagonal cij dengan i=j adalah kovarian yang menunjukkan bagaimana ketidakpastian dua parameter saling berkaitan. Dari kovarian ini dapat diperoleh korelasi cij/cii⋅cjj antar parameter.
Yang penting dalam estimasi parameter bukan hanya penduga x^ itu sendiri, tetapi juga signifikansi statistiknya yang dijelaskan melalui matriks kovarian C. Seperti seorang dokter yang tidak hanya memberikan hasil tes, tetapi juga menjelaskan tingkat kepercayaan terhadap hasil tersebut. Dalam kuliah statistik, konsep-konsep ini dibahas secara lebih rinci.
Untuk memenuhi persyaratan terhadap kesalahan pengukuran dan memberikan bobot yang sesuai pada data pengukuran, biasanya digunakan masalah kuadrat terkecil berbobot
xmini=1∑mσi2(h(ti)⋅x−yi)2
=∥Ax−b∥22
Masalah ini dapat ditransformasi dengan mendefinisikan
A=Σ−1h(t1)⋮h(tm)
b=Σ−1y1⋮ym
dengan
Σ−1=1/σ10⋮0⋱⋯1/σm
Di sini σi2 adalah varian dari kesalahan pengukuran yi yang bebas dan terdistribusi normal. Selain itu diasumsikan bahwa kesalahan pengukuran memiliki nilai harapan 0, sehingga tidak ada kesalahan sistematis. Dengan demikian bi terdistribusi normal standar.
Dalam fungsi kuadrat terkecil berbobot, nilai pengukuran dengan kesalahan pengukuran besar diberi bobot yang lebih lemah dibandingkan nilai pengukuran dengan kesalahan pengukuran kecil. Analoginya seperti ketika kita mendengarkan pendapat dari berbagai sumber, kita akan memberikan bobot lebih besar pada sumber yang lebih dapat dipercaya dan bobot lebih kecil pada sumber yang kurang akurat.