Model Linear

Linear terhadap Parameter

Model linear menghubungkan masukan yang diketahui $t \in \mathbb{R}^k$ dengan respons yang diamati $y \in \mathbb{R}^d$ melalui parameter yang belum diketahui $x \in \mathbb{R}^n$ :

y=h(t)x,\qquad h(t)\in\mathbb{R}^{d\times n}

Model ini $linear terhadap parameter$ . Untuk $t$ yang tetap, pemetaan dari $x$ ke $y$ bersifat linear. Ketergantungan pada $t$ boleh memuat pangkat, logaritma, sinus, atau fungsi basis nonlinear lainnya.

Dari pengukuran ke matriks desain

Misalkan kita mengumpulkan $M$ pasangan masukan-respons $(t_i,y_i)$ dan memodelkan setiap pengamatan sebagai

y_i=h(t_i)x+\varepsilon_i,\qquad i=1,\ldots,M

Galat $\varepsilon_i$ mencakup kesalahan acak pada pengukuran dan selisih antara model dengan kondisi sebenarnya. Setelah seluruh respons dan blok model disusun, kita memperoleh

b=\begin{pmatrix}y_1\\\vdots\\y_M\end{pmatrix}\in\mathbb{R}^{Md}

Matriks $A$ disebut $matriks desain$ . Jika seluruh pengamatan tidak dapat dipenuhi secara eksak oleh satu vektor parameter, nilai $x$ dapat diperkirakan dengan kuadrat terkecil atau model residual lain. Data menentukan parameter secara unik jika $A$ memiliki rank kolom penuh. Bilangan kondisi $A$ menunjukkan seberapa peka hasil perkiraan terhadap perubahan kecil pada data.

Fungsi basis membentuk beragam model

Misalkan $\phi_1(t),\ldots,\phi_n(t)$ adalah fungsi-fungsi basis yang diketahui. Model dengan respons skalar dapat ditulis sebagai

\begin{aligned} y(t) &=\sum_{j=1}^{n}x_j\phi_j(t) \\ &=\begin{pmatrix}\phi_1(t)&\cdots&\phi_n(t)\end{pmatrix}x \end{aligned}

Pilihan fungsi basis yang berbeda menghasilkan bentuk model yang berbeda tanpa menghilangkan linearitas terhadap $x$ .

Garis afin:

\begin{aligned} y&=a+bt\\&=\begin{pmatrix}1&t\end{pmatrix}\begin{pmatrix}a\\b\end{pmatrix}\end{aligned}

Polinomial berderajat $p$ :

\begin{aligned} y&=\sum_{j=0}^{p}a_jt^j\\&=\begin{pmatrix}1&t&\cdots&t^p\end{pmatrix}\begin{pmatrix}a_0\\a_1\\\vdots\\a_p\end{pmatrix}\end{aligned}

Basis Fourier:

\begin{aligned} y&=a_0+\sum_{j=1}^{p}a_j\cos(jt)\\&\quad+\sum_{j=1}^{p}b_j\sin(jt)\end{aligned}

Interaksi antara dua masukan:

\begin{aligned} y&=a+bt+cs+dts\\&=\begin{pmatrix}1&t&s&ts\end{pmatrix}\begin{pmatrix}a\\b\\c\\d\end{pmatrix}\end{aligned}

Suku seperti $t^p$ , $\sin(jt)$ , dan $ts$ boleh bersifat nonlinear terhadap masukan. Setelah masukannya diamati, suku-suku tersebut menjadi koefisien yang diketahui, sehingga $model tetap linear terhadap parameter yang belum diketahui$ .

Ambil pengamatan $(t,y)=(0,1),(1,3),(2,5)$ dengan basis $1,t$ . Setiap masukan yang diamati memberikan satu baris matriks desain.

\begin{pmatrix}1&0\\1&1\\1&2\end{pmatrix}\begin{pmatrix}a\\b\end{pmatrix}=\begin{pmatrix}1\\3\\5\end{pmatrix}

Pengamatan ketiga sesuai dengan dua pengamatan pertama. Satu vektor parameter $(a,b)=(1,2)$ menjelaskan ketiga nilai.

Respons berganda

Jika setiap masukan menghasilkan beberapa respons, letakkan vektor-vektor parameternya dalam matriks $B$ . Untuk baris nilai basis $\phi(t)^{\mathsf T}$ ,

y(t)^{\mathsf T}=\phi(t)^{\mathsf T}B

$Setiap kolom$ $B$ menjelaskan satu respons. Bentuk ini tetap merupakan model linear karena setiap keluaran adalah kombinasi linear dari nilai basis yang sama dan telah diketahui.

Hukum Gas Ideal

pV=nRT

Pada suhu $T$ dan volume $V$ yang diketahui, penyelesaian untuk tekanan memberikan

p=\frac{RT}{V}n

Tekanan $p$ bersifat linear terhadap $jumlah zat yang belum diketahui$ $n$ . Besaran $n$ menyatakan jumlah zat dalam mol, sedangkan jumlah molekul atau partikel dihitung dengan $N=nN_A$ .

Pengukuran tekanan berulang pada beberapa nilai $(T_i,V_i)$ yang diketahui menghasilkan satu baris matriks desain $RT_i/V_i$ untuk setiap pengamatan.

Linearisasi lokal model nonlinear

Model parameter yang benar-benar nonlinear berbentuk

y=g(t,x)

Dalam model ini, parameter dapat muncul di dalam fungsi eksponensial, pangkat, atau hasil kali antarsesama parameter. Di sekitar nilai parameter $x_0$ , $aproksimasi Taylor orde pertama$ memberikan

g(t,x) \approx g(t,x_0) +J_xg(t,x_0)(x-x_0)

Jacobian $J_xg(t,x_0)$ diketahui setelah $x_0$ dipilih, sehingga koreksi $x-x_0$ muncul secara linear. Aproksimasi ini akurat di sekitar $x_0$ . Metode iteratif seperti Gauss-Newton memperbarui titik linearisasi secara berulang.

Pemeriksaan sebelum pencocokan

Sebelum menjelaskan arti setiap parameter hasil pencocokan, periksa hal-hal berikut:

kolom matriks desain merepresentasikan fungsi basis dan satuan yang dimaksud
data memuat $cukup informasi bebas$ untuk menentukan parameter, biasanya $\operatorname{rank}(A)=n$
skala fitur dan bilangan kondisi masih memungkinkan hasil hitung yang stabil
cara mengukur residual sesuai dengan asumsi tentang kesalahan pengukuran dan pencilan
linearisasi lokal diperiksa kembali terhadap model nonlinear aslinya

Basis yang fleksibel dapat mencocokkan banyak bentuk. Kita tetap perlu memastikan bahwa parameter dapat ditentukan secara unik, hasil hitung tidak berubah drastis akibat gangguan kecil pada data, dan galat prediksi cukup kecil untuk tujuan model.