Lineare Modelle

Linearität in den Modellparametern

Ein lineares Modell verbindet eine bekannte Eingabe $t \in \mathbb{R}^k$ mit einer beobachteten Antwort $y \in \mathbb{R}^d$ über unbekannte Parameter $x \in \mathbb{R}^n$ :

y=h(t)x,\qquad h(t)\in\mathbb{R}^{d\times n}

Entscheidend ist die Formulierung $linear in den Parametern$ . Bei festem $t$ ist die Abbildung von $x$ nach $y$ linear. Die Abhängigkeit von $t$ darf Potenzen, Logarithmen, Sinusfunktionen oder andere nichtlineare Basisfunktionen enthalten.

Von Messungen zur Designmatrix

Wir erfassen $M$ Eingabe-Antwort-Paare $(t_i,y_i)$ und modellieren jede Beobachtung als

y_i=h(t_i)x+\varepsilon_i,\qquad i=1,\ldots,M

Der Fehler $\varepsilon_i$ enthält Messrauschen und Modellabweichungen. Durch Stapeln aller Antworten und Modellblöcke erhält man

b=\begin{pmatrix}y_1\\\vdots\\y_M\end{pmatrix}\in\mathbb{R}^{Md}

Die Matrix $A$ heißt $Designmatrix$ . Lassen sich die Beobachtungen nicht durch einen einzigen Parametervektor exakt erfüllen, schätzt man $x$ mit kleinsten Quadraten oder einem anderen Residualmodell. Die Daten bestimmen die Parameter eindeutig, wenn $A$ vollen Spaltenrang hat. Die Konditionszahl von $A$ beschreibt getrennt davon, wie empfindlich diese Schätzung auf kleine Änderungen der Daten reagiert.

Basisfunktionen erzeugen verschiedene Modellformen

Seien $\phi_1(t),\ldots,\phi_n(t)$ bekannte Basisfunktionen. Ein Modell mit skalarer Antwort lässt sich schreiben als

\begin{aligned} y(t) &=\sum_{j=1}^{n}x_j\phi_j(t) \\ &=\begin{pmatrix}\phi_1(t)&\cdots&\phi_n(t)\end{pmatrix}x \end{aligned}

Verschiedene Basisfunktionen erzeugen verschiedene Formen, ohne die Linearität in $x$ aufzugeben.

Eine affine Gerade:

\begin{aligned} y&=a+bt\\&=\begin{pmatrix}1&t\end{pmatrix}\begin{pmatrix}a\\b\end{pmatrix}\end{aligned}

Ein Polynom vom Grad $p$ :

\begin{aligned} y&=\sum_{j=0}^{p}a_jt^j\\&=\begin{pmatrix}1&t&\cdots&t^p\end{pmatrix}\begin{pmatrix}a_0\\a_1\\\vdots\\a_p\end{pmatrix}\end{aligned}

Eine Fourier-Basis:

\begin{aligned} y&=a_0+\sum_{j=1}^{p}a_j\cos(jt)\\&\quad+\sum_{j=1}^{p}b_j\sin(jt)\end{aligned}

Eine Wechselwirkung zweier Eingaben:

\begin{aligned} y&=a+bt+cs+dts\\&=\begin{pmatrix}1&t&s&ts\end{pmatrix}\begin{pmatrix}a\\b\\c\\d\end{pmatrix}\end{aligned}

Terme wie $t^p$ , $\sin(jt)$ und $ts$ dürfen in den Eingaben nichtlinear sein. Nach der Beobachtung der Eingaben sind sie bekannte Koeffizienten. Das Modell bleibt daher $in seinen unbekannten Parametern linear$ .

Betrachte die Beobachtungen $(t,y)=(0,1),(1,3),(2,5)$ und die Basis $1,t$ . Jede beobachtete Eingabe liefert eine Zeile der Designmatrix.

\begin{pmatrix}1&0\\1&1\\1&2\end{pmatrix}\begin{pmatrix}a\\b\end{pmatrix}=\begin{pmatrix}1\\3\\5\end{pmatrix}

Die dritte Beobachtung stimmt mit den ersten beiden überein. Ein Parametervektor $(a,b)=(1,2)$ erklärt alle drei Werte.

Mehrere Antworten

Liefert jede Eingabe mehrere Antworten, ordnet man ihre Parametervektoren in einer Matrix $B$ an. Für eine Zeile von Basiswerten $\phi(t)^{\mathsf T}$ gilt

y(t)^{\mathsf T}=\phi(t)^{\mathsf T}B

$Jede Spalte$ von $B$ beschreibt eine Antwort. Auch dies ist ein lineares Modell, weil jede Ausgabe eine lineare Kombination derselben bekannten Basiswerte ist.

Das ideale Gasgesetz

Das ideale Gasgesetz lautet

pV=nRT

Bei bekannter Temperatur $T$ und bekanntem Volumen $V$ ergibt das Auflösen nach dem Druck

p=\frac{RT}{V}n

Der Druck $p$ hängt linear von der $unbekannten Stoffmenge$ $n$ ab, die in Mol gemessen wird. Die Größe $n$ ist nicht selbst die Anzahl der Moleküle. Die Anzahl der angegebenen Teilchen ist $N=nN_A$ .

Wiederholte Druckmessungen bei mehreren bekannten Werten $(T_i,V_i)$ liefern für jede Beobachtung eine Designmatrixzeile $RT_i/V_i$ .

Lokale Linearisierung eines nichtlinearen Modells

Ein tatsächlich nichtlineares Parametermodell hat die Form

y=g(t,x)

In diesem Modell können Parameter in Exponentialfunktionen, Potenzen oder Produkten miteinander auftreten. In der Nähe eines aktuellen Parameterwerts $x_0$ liefert eine $Taylor-Näherung erster Ordnung$

g(t,x) \approx g(t,x_0) +J_xg(t,x_0)(x-x_0)

Die Jacobi-Matrix $J_xg(t,x_0)$ ist nach der Wahl von $x_0$ bekannt. Dadurch tritt die Korrektur $x-x_0$ linear auf. Diese Näherung ist lokal und keine exakte Umwandlung des nichtlinearen Modells. Iterative Verfahren wie Gauss-Newton aktualisieren den Linearisierungspunkt wiederholt.

Prüfungen vor der Anpassung

Vor der Interpretation angepasster Parameter sollte man prüfen, dass:

die Spalten der Designmatrix die vorgesehenen Basisfunktionen und Einheiten darstellen
die Daten genügend $unabhängige Information$ für die Parameter enthalten, typischerweise $\operatorname{rank}(A)=n$
Merkmalsskalen und Konditionszahl die Lösung nicht numerisch empfindlich machen
die gewählte Residualfunktion zu den Annahmen über Rauschen und Ausreißer passt
eine lokale Linearisierung anschließend am ursprünglichen nichtlinearen Modell geprüft wird

Eine flexible Basis kann viele Formen anpassen. Flexibilität allein garantiert jedoch weder Identifizierbarkeit noch numerische Stabilität oder nützliche Vorhersagen.