Legkisebb négyzetek módszerével
Legkisebb négyzetek módszerével # 151; módszert kell találni az optimális paramétereket a lineáris regresszió. oly módon, hogy az összeg a négyzetes hiba (a regressziós maradékok) minimális. A módszer lényege, hogy minimálisra csökkentsék az euklideszi távolságot - \ mathbf \ | „> két vektor - vektor rekonstruált értékeket a függő változó, és a vektor a tényleges értékek a függő változó.
Nyilatkozat a problémát
A feladat a legkisebb négyzetek módszer abban áll, vektor kiválasztása „>, hogy minimalizálja a hibát - \ mathbf \ | ^ 2” >. Ez a hiba a távolság a vektor „> a vektor” >. Vektor „> rejlik prostanstvo mátrix oszlopait, mint” > egy lineáris kombinációja az oszlopok e mátrix együtthatók. Megtalálása megoldások „> a legkisebb négyzetek módszerével egyenértékű a problémát találni egy pont = A \ mathbf” >, amely a legközelebb fekszik „> és tárolt, így a tér mátrix oszlopait. Tehát a vektor” > legyen vetítési " > a tér az oszlop és a reziduális - \ mathbf „> kell lennie merőleges erre a helyre. Ortogonalitása hogy minden vektor a térben az oszlop egy lineáris kombinációja oszlopok egyes együtthatók, tehát a vektor „> Minden a térben.” >, Ezek a vektorok merőleges legyen az eltérés> - \ mathbf „>:Mivel ez az egyenlet kell tartani minden olyan vektor „>, a
A döntés a legkisebb négyzetek módszerével inkonzisztens rendszer = \ mathbf „>, amely egyenletek ismeretlenek egy egyenlet
amely az úgynevezett normális egyenlet. Ha a mátrix oszlopait lineárisan függetlenek, akkor a mátrix reverzibilis és az egyetlen megoldás
A vetítés a vektor „> a térben formájában oszlopok
A mátrix A ^ T „> nevezett mátrix kialakítás vektor” >, hogy a teret mátrix oszlopokat. Ez a mátrix két fő tulajdonságai: ez idempotens, és szimmetrikus. Ennek a fordítottja is igaz: egy olyan mátrix, ez a két tulajdonság egy mátrix kialakítása annak teret oszlopok.
Példa építése lineáris regresszió
Kitűzött mintavételi # 151; táblázat
Mivel regressziós modell # 151; másodfokú polinom
A hozzárendelt modell lineáris. Ahhoz, hogy megtalálja az optimális paraméter értékét vektor = \ Langle alagútrendszert \ rangle ^ T „> végre az alábbi helyettesítéseket:
Ezután a szabad változó mátrixa permutációk a értékek lesznek formájában
Állítsa minőségi kritériumok modell: a hiba függvény
Itt a vektor = \ Langle alagútrendszert „>. Köteles találni olyan paraméterek” >, ami szállít minimum ennek a funkcionális,
Ez szükséges, hogy megtalálják ezeket a paramétereket „>, amely szállít egy minimális # 151; normál maradványok - \ mathbf „>.
Ahhoz, hogy megtalálja a minimális reziduális funkció igényli egyenlővé származékok nullára. Származékok funkció „> make up
Ez a kifejezés egybeesik a normál egyenlet. A megoldás erre a problémára kell felelniük a lineáris egyenletrendszer
Kézhezvételét követően a mérleg megadhatók a funkció található.
Amikor felveszi a kapcsolatot a mátrix „> azt feltételezzük, hogy a mátrix nem szinguláris és rosszul kondicionált. További információ arról, hogyan működnek rosszul kondicionált mátrixok, lásd. Cikk Singular bomlás.