Lineær regresjon

Eksempel på en linje (rød) bygget ved hjelp av lineær regresjon

Innenfor matematikken betyr lineær regresjon at man ønsker å finne den lineære funksjonen hvis kurve/graf passer best med innsamlede data, som inneholder en eller annen statistisk feilkilde også kalt residual. Lineær regresjon brukes ofte for å lage prognoser.

Gitte opplysninger og antagelser

Man har gitt en mengde datapunkter på formen $(x_1,y_1),(x_2,y_2),...,(x_n,y_n)$ hvor minst 2 x_i er forskjellige og man ønsker å finne en funksjon $y=f(x)$ som på best mulig måte passer med de gitte datapunktene. For denne oppgaven formulerer man Gauss' minste kvadraters metode som følger:

Minste kvadraters prinsipp. [...] linjen skal trekkes gjennom de gitte punktene slik at summen av kvadratene av avstandene fra disse punktene til linjen minimeres, hvor avstanden måles i vertikalretningen (y-retningen).

Funksjonen man søker antas å være lineær, hvilket betyr at den uttrykkes matematisk som

$f(x)=\sum _{i=0}^n{a}_i{x}^i=a_0+a_{1}x+\dots +a_n{x}^n$

og det er koeffisientene a_i som man ønsker å bestemme. Hvis man ønsker en rett linje betyr at alle koeffisientene unntatt a₀ og a₁ er 0.

Minste kvadraters metode for rett linje

For n gitte datapunkter ønsker man å finne en linje på formen

$y=a_0+a_{1}x$

Som angitt i minste kvadraters prinsipp ovenfor ønsker man å beregne

$|y_j-(a_0+a_1{x}_j)|$

for alle j, og deretter bestemnme a₀ og a₁ slik at man minimaliserer summen av kvadratene av disse, dvs

$\underset{a_0,a_1}{\min }q=(\sum _{j=1}^n(y_j-a_0-a_1{x}_j{)}^2)$

Fra elementær analyse er det kjent at de nødvendige kravene for at dette er et bunnpunkt er

$\frac{\partial q}{\partial a_0}=0og\frac{\partial q}{\partial a_1}=0$

Ved å derivere uttrykket for q med hensyn på a₀ og a₁ (se detaljer i underavsnittet) kommer man til slutt frem til at regresjonslinjen har formelen

$y-\overline{y}=k_1(x-\overline{x})$

hvor

$\overline{x}=\frac{1}{n}\sum _{i=1}^n{x}_i,\overline{y}=\frac{1}{n}\sum _{i=1}^n{y}_i,og{k}_1=\frac{s_{xy}}{s_{x^2}}$

Teller og nevner i regresjonskoeffisienten til linjen kalles utvalgets kovarians

$s_{xy}=\frac{1}{n-1}\sum _{i=1}^n(x_i-\overline{x})(y_i-\overline{y})=\frac{1}{n-1}[\sum _{i=1}^n{x}_i{y}_i-\frac{1}{n}\left(\sum _{i=1}^n{x}_i\right)\left(\sum _{j=1}^n{y}_j\right)]$

og variansen til x verdiene (merk at dette ikke er helt riktig da x er å betrakte som en ordinær og ikke tilfeldig variabel)

$s_x^2=\frac{1}{n-1}\sum _{i=1}^n(x_i-\overline{x}{)}^2=\frac{1}{n-1}[\sum _{i=1}^n{x}_i^2-\frac{1}{n}{\left(\sum _{i=1}^n{x}_i\right)}^2]$

Utledning av formelen for regresjonslinjen

Ved å utføre de to derivasjonene får man

$\frac{\partial q}{\partial a_0}=-2\sum _{i=1}^n(y_i-a_0-a_1{x}_i)og\frac{\partial q}{\partial a_1}=-2\sum _{i=1}^n{x}_i(y_i-a_0-a_1{x}_i)$

Ved å dividere på 2 skrive ut hver sum for seg og stokke om på uttrykkene får man de såkalte normalligningene

$\begin{array}{c}{a}_{0}n+a_1\sum x_i=\sum y_i\\ a_0\sum x_i+a_1\sum x_i^2=\sum x_i{y}_i\end{array}$

Dette systemet av to ukjente har en determinant

$\left|\begin{array}{cc}n& \sum x_i\\ \sum x_i& \sum x_i^2\end{array}\right|=n\sum x_i^2-{(\sum x_i)}^2=n(n-1)s_x^2=n\sum (x_i-\overline{x}{)}^2$

som er ulik 0 på grunn av antakelsen om minst to forskjellige x_i og garanterer derfor at løsningen eksisterer og er unik. Ved å dividere den første ligningen med n og omskriving ved hjelp av gjennomsnittsformlene får man $a_0=\overline{y}-a_1\overline{x}$ som sammen med $y=a_0+a_{1}x$ gir den ønskede regresjonskurven

$y-\overline{y}=a_1(x-\overline{x})$

Eliminasjonsmetoden gir uttrykket

$a_1=k_1=\frac{n\sum x_i{y}_i-\sum x_i\sum y_j}{n(n-1)s_x^2}$

Hvor godt passer linjen til punktene

Når man har funnet den regresjonslinjen som passer best til punktene, bør man beregne hvor godt den passer. Det enkleste målet som er vanlig å benytte er korrelasjonskoeffisienten R². En R²-verdi nær 1 (nær 100 %) angir at regresjonslinjen passer veldig bra, mens en verdi nær null angir at linjen ikke passer. Pearsons korrelasjonskoeffisient er et annet mye brukt mål.