Lineare Modelle

Ein lineares Modell verbindet eine bekannte Eingabe $t \in \mathbb{R}^k$ mit einer beobachteten Antwort $y \in \mathbb{R}^d$ über unbekannte Parameter $x \in \mathbb{R}^n$:

Entscheidend ist die Formulierung linear in den Parametern. Bei festem $t$ ist die Abbildung von $x$ nach $y$ linear. Die Abhängigkeit von $t$ darf Potenzen, Logarithmen, Sinusfunktionen oder andere nichtlineare Basisfunktionen enthalten.

Diese Unterscheidung verhindert ein häufiges Missverständnis: Ein lineares Modell muss als Funktion seiner Eingabe keine Gerade zeichnen. Es muss die unbekannten Parameter linear kombinieren.

Von Messungen zur Designmatrix

Wir erfassen $M$ Eingabe-Antwort-Paare $(t_i,y_i)$ und modellieren jede Beobachtung als

wobei $\varepsilon_i$ Messrauschen und Modellabweichungen enthält. Durch Stapeln aller Antworten und Modellblöcke erhält man

Die Matrix $A$ heißt Designmatrix. Lassen sich die Beobachtungen nicht durch einen einzigen Parametervektor exakt erfüllen, schätzt man $x$ mit kleinsten Quadraten oder einem anderen Residualmodell. Ob die Parameter identifizierbar sind, hängt außerdem vom Rang und von der Kondition von $A$ ab.

Basisfunktionen erzeugen verschiedene Modellformen

Seien $\phi_1(t),\ldots,\phi_n(t)$ bekannte Basisfunktionen. Ein Modell mit skalarer Antwort lässt sich schreiben als

Verschiedene Basisfunktionen erzeugen verschiedene Formen, ohne die Linearität in $x$ aufzugeben.

Terme wie $t^p$, $\sin(jt)$ und $ts$ dürfen in den Eingaben nichtlinear sein. Nach der Beobachtung der Eingaben sind sie bekannte Koeffizienten. Das Modell bleibt daher in seinen unbekannten Parametern linear.

Mehrere Antworten

Liefert jede Eingabe mehrere Antworten, ordnet man ihre Parametervektoren in einer Matrix $B$ an. Für eine Zeile von Basiswerten $\phi(t)^{\mathsf T}$ gilt

Jede Spalte von $B$ beschreibt eine Antwort. Auch dies ist ein lineares Modell, weil jede Ausgabe eine lineare Kombination derselben bekannten Basiswerte ist.

Physikalisches Beispiel: das ideale Gasgesetz

Für ein ideales Gas gilt

und damit bei bekannter Temperatur $T$ und bekanntem Volumen $V$

Der Druck $p$ hängt linear von der unbekannten Stoffmenge $n$ ab, die in Mol gemessen wird. Die Größe $n$ ist nicht selbst die Anzahl der Moleküle. Die Anzahl der angegebenen Teilchen ist $N=nN_A$.

Wiederholte Druckmessungen bei mehreren bekannten Werten $(T_i,V_i)$ liefern für jede Beobachtung eine Designmatrixzeile $RT_i/V_i$.

Lokale Linearisierung eines nichtlinearen Modells

Ein tatsächlich nichtlineares Parametermodell hat die Form

wobei Parameter in Exponentialfunktionen, Potenzen oder Produkten miteinander auftreten können. In der Nähe eines aktuellen Parameterwerts $x_0$ liefert eine Taylor-Näherung erster Ordnung

Die Jacobi-Matrix $J_xg(t,x_0)$ ist nach der Wahl von $x_0$ bekannt. Dadurch tritt die Korrektur $x-x_0$ linear auf. Diese Näherung ist lokal und keine exakte Umwandlung des nichtlinearen Modells. Iterative Verfahren wie Gauss-Newton aktualisieren den Linearisierungspunkt wiederholt.

Prüfungen vor der Anpassung

Vor der Interpretation angepasster Parameter sollte man prüfen, dass:

• die Spalten der Designmatrix die vorgesehenen Basisfunktionen und Einheiten darstellen
• die Daten genügend unabhängige Information für die Parameter enthalten, typischerweise $\operatorname{rank}(A)=n$
• Merkmalsskalen und Konditionszahl die Lösung nicht numerisch empfindlich machen
• die gewählte Residualfunktion zu den Annahmen über Rauschen und Ausreißer passt
• eine lokale Linearisierung anschließend am ursprünglichen nichtlinearen Modell geprüft wird

Eine flexible Basis kann viele Formen anpassen. Flexibilität allein garantiert jedoch weder Identifizierbarkeit noch numerische Stabilität oder nützliche Vorhersagen.