# Lineare Modelle

> For AI agents: use [llms.txt](https://nakafa.com/llms.txt) for the site index. Markdown versions are available by appending `.md` to content URLs or sending `Accept: text/markdown`.

URL: https://nakafa.com/de/faecher/ki-und-data-science/lineare-methoden-der-ki/lineares-modell
Source: https://raw.githubusercontent.com/nakafaai/aksara/16d6b8e869d1a277313c65bbfc4b4a83efe77a46/packages/corpus/material/lesson/ai-ds/linear-methods/linear-model/de.mdx

Erstelle parameterlineare Modelle aus Basisfunktionen, fasse Messungen in einer Designmatrix zusammen und unterscheide exakte lineare Modelle von lokaler Linearisierung.

---

## Was linear hier bedeutet

Ein lineares Modell verbindet eine bekannte Eingabe $$t \in \mathbb{R}^k$$ mit einer beobachteten Antwort $$y \in \mathbb{R}^d$$ über unbekannte Parameter $$x \in \mathbb{R}^n$$:

Visible text: Ein lineares Modell verbindet eine bekannte Eingabe mit einer beobachteten Antwort über unbekannte Parameter :

```math
y=h(t)x,\qquad h(t)\in\mathbb{R}^{d\times n}
```

Entscheidend ist die Formulierung **linear in den Parametern**. Bei festem $$t$$ ist die Abbildung von $$x$$ nach $$y$$ linear. Die Abhängigkeit von $$t$$ darf Potenzen, Logarithmen, Sinusfunktionen oder andere nichtlineare Basisfunktionen enthalten.

Visible text: Entscheidend ist die Formulierung **linear in den Parametern**. Bei festem ist die Abbildung von nach linear. Die Abhängigkeit von darf Potenzen, Logarithmen, Sinusfunktionen oder andere nichtlineare Basisfunktionen enthalten.

Diese Unterscheidung verhindert ein häufiges Missverständnis: Ein lineares Modell muss als Funktion seiner Eingabe keine Gerade zeichnen. Es muss die unbekannten Parameter linear kombinieren.

## Von Messungen zur Designmatrix

Wir erfassen $$M$$ Eingabe-Antwort-Paare $$(t_i,y_i)$$ und modellieren jede Beobachtung als

Visible text: Wir erfassen Eingabe-Antwort-Paare und modellieren jede Beobachtung als

```math
y_i=h(t_i)x+\varepsilon_i,\qquad i=1,\ldots,M
```

wobei $$\varepsilon_i$$ Messrauschen und Modellabweichungen enthält. Durch Stapeln aller Antworten und Modellblöcke erhält man

Visible text: wobei Messrauschen und Modellabweichungen enthält. Durch Stapeln aller Antworten und Modellblöcke erhält man

Component: MathContainer
Children:

```math
b=\begin{pmatrix}y_1\\\vdots\\y_M\end{pmatrix}\in\mathbb{R}^{Md}
```

```math
A=\begin{pmatrix}h(t_1)\\\vdots\\h(t_M)\end{pmatrix}\in\mathbb{R}^{Md\times n}
```

```math
b=Ax+\varepsilon
```

Die Matrix $$A$$ heißt **Designmatrix**. Lassen sich die Beobachtungen nicht durch einen einzigen Parametervektor exakt erfüllen, schätzt man $$x$$ mit kleinsten Quadraten oder einem anderen Residualmodell. Ob die Parameter identifizierbar sind, hängt außerdem vom Rang und von der Kondition von $$A$$ ab.

Visible text: Die Matrix heißt **Designmatrix**. Lassen sich die Beobachtungen nicht durch einen einzigen Parametervektor exakt erfüllen, schätzt man mit kleinsten Quadraten oder einem anderen Residualmodell. Ob die Parameter identifizierbar sind, hängt außerdem vom Rang und von der Kondition von ab.

## Basisfunktionen erzeugen verschiedene Modellformen

Seien $$\phi_1(t),\ldots,\phi_n(t)$$ bekannte Basisfunktionen. Ein Modell mit skalarer Antwort lässt sich schreiben als

Visible text: Seien bekannte Basisfunktionen. Ein Modell mit skalarer Antwort lässt sich schreiben als

```math
y(t)=\sum_{j=1}^{n}x_j\phi_j(t)=\begin{pmatrix}\phi_1(t)&\cdots&\phi_n(t)\end{pmatrix}x
```

Verschiedene Basisfunktionen erzeugen verschiedene Formen, ohne die Linearität in $$x$$ aufzugeben.

Visible text: Verschiedene Basisfunktionen erzeugen verschiedene Formen, ohne die Linearität in aufzugeben.

| Modell | Basisdarstellung |
| --- | --- |
| Affine Gerade | $$y=a+bt=\begin{pmatrix}1&t\end{pmatrix}\begin{pmatrix}a\\b\end{pmatrix}$$ |
| Polynom vom Grad $$p$$ | $$y=\sum_{j=0}^{p}a_jt^j=\begin{pmatrix}1&t&\cdots&t^p\end{pmatrix}\begin{pmatrix}a_0\\a_1\\\vdots\\a_p\end{pmatrix}$$ |
| Fourier-Basis | $$y=a_0+\sum_{j=1}^{p}\bigl(a_j\cos(jt)+b_j\sin(jt)\bigr)$$ |
| Wechselwirkung zweier Eingaben | $$y=a+bt+cs+dts=\begin{pmatrix}1&t&s&ts\end{pmatrix}\begin{pmatrix}a\\b\\c\\d\end{pmatrix}$$ |

Visible text: | Modell | Basisdarstellung |
| --- | --- |
| Affine Gerade | |
| Polynom vom Grad | |
| Fourier-Basis | |
| Wechselwirkung zweier Eingaben | |

Terme wie $$t^p$$, $$\sin(jt)$$ und $$ts$$ dürfen in den Eingaben nichtlinear sein. Nach der Beobachtung der Eingaben sind sie bekannte Koeffizienten. Das Modell bleibt daher in seinen unbekannten Parametern linear.

Visible text: Terme wie , und dürfen in den Eingaben nichtlinear sein. Nach der Beobachtung der Eingaben sind sie bekannte Koeffizienten. Das Modell bleibt daher in seinen unbekannten Parametern linear.

## Mehrere Antworten

Liefert jede Eingabe mehrere Antworten, ordnet man ihre Parametervektoren in einer Matrix $$B$$ an. Für eine Zeile von Basiswerten $$\phi(t)^{\mathsf T}$$ gilt

Visible text: Liefert jede Eingabe mehrere Antworten, ordnet man ihre Parametervektoren in einer Matrix an. Für eine Zeile von Basiswerten gilt

```math
y(t)^{\mathsf T}=\phi(t)^{\mathsf T}B
```

Jede Spalte von $$B$$ beschreibt eine Antwort. Auch dies ist ein lineares Modell, weil jede Ausgabe eine lineare Kombination derselben bekannten Basiswerte ist.

Visible text: Jede Spalte von beschreibt eine Antwort. Auch dies ist ein lineares Modell, weil jede Ausgabe eine lineare Kombination derselben bekannten Basiswerte ist.

## Physikalisches Beispiel: das ideale Gasgesetz

Für ein ideales Gas gilt

```math
pV=nRT
```

und damit bei bekannter Temperatur $$T$$ und bekanntem Volumen $$V$$

Visible text: und damit bei bekannter Temperatur und bekanntem Volumen

```math
p=\frac{RT}{V}n
```

Der Druck $$p$$ hängt linear von der unbekannten Stoffmenge $$n$$ ab, die in Mol gemessen wird. Die Größe $$n$$ ist nicht selbst die Anzahl der Moleküle. Die Anzahl der angegebenen Teilchen ist $$N=nN_A$$.

Visible text: Der Druck hängt linear von der unbekannten Stoffmenge ab, die in Mol gemessen wird. Die Größe ist nicht selbst die Anzahl der Moleküle. Die Anzahl der angegebenen Teilchen ist .

Wiederholte Druckmessungen bei mehreren bekannten Werten $$(T_i,V_i)$$ liefern für jede Beobachtung eine Designmatrixzeile $$RT_i/V_i$$.

Visible text: Wiederholte Druckmessungen bei mehreren bekannten Werten liefern für jede Beobachtung eine Designmatrixzeile .

## Lokale Linearisierung eines nichtlinearen Modells

Ein tatsächlich nichtlineares Parametermodell hat die Form

```math
y=g(t,x)
```

wobei Parameter in Exponentialfunktionen, Potenzen oder Produkten miteinander auftreten können. In der Nähe eines aktuellen Parameterwerts $$x_0$$ liefert eine Taylor-Näherung erster Ordnung

Visible text: wobei Parameter in Exponentialfunktionen, Potenzen oder Produkten miteinander auftreten können. In der Nähe eines aktuellen Parameterwerts liefert eine Taylor-Näherung erster Ordnung

```math
g(t,x)\approx g(t,x_0)+J_xg(t,x_0)(x-x_0)
```

Die Jacobi-Matrix $$J_xg(t,x_0)$$ ist nach der Wahl von $$x_0$$ bekannt. Dadurch tritt die Korrektur $$x-x_0$$ linear auf. Diese Näherung ist lokal und keine exakte Umwandlung des nichtlinearen Modells. Iterative Verfahren wie Gauss-Newton aktualisieren den Linearisierungspunkt wiederholt.

Visible text: Die Jacobi-Matrix ist nach der Wahl von bekannt. Dadurch tritt die Korrektur linear auf. Diese Näherung ist lokal und keine exakte Umwandlung des nichtlinearen Modells. Iterative Verfahren wie Gauss-Newton aktualisieren den Linearisierungspunkt wiederholt.

## Prüfungen vor der Anpassung

Vor der Interpretation angepasster Parameter sollte man prüfen, dass:

- die Spalten der Designmatrix die vorgesehenen Basisfunktionen und Einheiten darstellen
- die Daten genügend unabhängige Information für die Parameter enthalten, typischerweise $$\operatorname{rank}(A)=n$$
- Merkmalsskalen und Konditionszahl die Lösung nicht numerisch empfindlich machen
- die gewählte Residualfunktion zu den Annahmen über Rauschen und Ausreißer passt
- eine lokale Linearisierung anschließend am ursprünglichen nichtlinearen Modell geprüft wird

Visible text: - die Spalten der Designmatrix die vorgesehenen Basisfunktionen und Einheiten darstellen
- die Daten genügend unabhängige Information für die Parameter enthalten, typischerweise 
- Merkmalsskalen und Konditionszahl die Lösung nicht numerisch empfindlich machen
- die gewählte Residualfunktion zu den Annahmen über Rauschen und Ausreißer passt
- eine lokale Linearisierung anschließend am ursprünglichen nichtlinearen Modell geprüft wird

Eine flexible Basis kann viele Formen anpassen. Flexibilität allein garantiert jedoch weder Identifizierbarkeit noch numerische Stabilität oder nützliche Vorhersagen.