Metoda nejmenších čtverců je jednou z nejdůležitějších aplikací při aproximaci funkcí. Záměrem je najít křivku tak, aby vzhledem k sadě uspořádaných párů tato funkce nejlépe aproximovala data. Funkce může být přímka, kvadratická křivka, krychlová atd.
Myšlenka metody spočívá v minimalizaci součtu čtverců rozdílů v souřadnici (složka Y), mezi body generovanými vybranou funkcí a body patřícími do datové sady.
Metoda nejmenších čtverců
Než uvedeme metodu, musíme si nejprve ujasnit, co znamená „lepší přístup“. Předpokládejme, že hledáme přímku y = b + mx, která je tou, která nejlépe představuje množinu n bodů, konkrétně {(x1, y1), (x2, y2)…, (xn, yn)}.
Jak je ukázáno na předchozím obrázku, pokud by proměnné x a y byly vztaženy přímkou y = b + mx, pak pro x = x1 by odpovídající hodnota y byla b + mx1. Tato hodnota se však liší od skutečné hodnoty y, která je y = y1.
Pamatujte, že v rovině je vzdálenost mezi dvěma body dána následujícím vzorcem:
S ohledem na to, aby se určil způsob, jak zvolit čáru y = b + mx, která nejlépe aproximuje dané údaje, se zdá logické použít jako kritérium výběr čáry, která minimalizuje součet čtverců vzdáleností mezi body a rovný.
Protože vzdálenost mezi body (x1, y1) a (x1, b + mx1) je y1- (b + mx1), náš problém se snižuje na nalezení čísel maab tak, že následující součet je minimální:
Čára, která splňuje tuto podmínku, je známa jako «aproximace linie nejmenších čtverců k bodům (x1, y1), (x2, y2),…, (xn, yn)».
Jakmile je problém získán, zbývá jen vybrat metodu pro nalezení aproximace nejmenších čtverců. Pokud jsou body (x1, y1), (x2, y2),…, (xn, yn) všechny na přímce y = mx + b, měli bychom, že jsou kolineární y:
V tomto výrazu:
Konečně, pokud body nejsou kolineární, pak y-Au = 0 a problém lze převést do nalezení vektoru u tak, že euklidovská norma je minimální.
Najít minimalizační vektor u není tak obtížné, jak si možná myslíte. Protože A je matice nx2 a u je matice 2 × 1, máme, že vektor Au je vektor v R n a patří k obrazu A, což je subprostor R n s rozměrem ne větším než dva.
Budeme předpokládat, že n = 3, abychom ukázali, který postup se má dodržet. Pokud n = 3, bude obrazem A rovina nebo přímka procházející počátkem.
Nechť v je vektor minimalizující. Na obrázku vidíme, že y-Au je minimalizován, když je ortogonální k obrazu A. To znamená, že pokud v je minimalizační vektor, pak se stane, že:
Poté můžeme výše uvedené vyjádřit takto:
K tomu může dojít, pouze pokud:
Nakonec, řešení pro v, máme:
Je to možné, protože A t A je nevratné, pokud n body dané jako data nejsou kolineární.
Nyní, pokud bychom místo hledání linie chtěli najít parabolu (jejíž výraz by měl tvar y = a + bx + cx 2), který by byl lepší aproximací k n datovým bodům, postup by byl popsán níže.
Pokud by n datové body byly v této parabole, měli bychom:
Pak:
Podobně můžeme napsat y = Au. Pokud všechny body nejsou v parabole, máme, že y-Au se liší od nuly pro jakýkoli vektor u a náš problém je znovu: najděte vektor u v R3 tak, aby jeho norma - y-Au - byla co nejmenší.
Opakováním předchozího postupu můžeme dojít k tomu, že hledaný vektor je:
Řešená cvičení
Cvičení 1
Najděte řádek, který nejlépe odpovídá bodům (1,4), (-2,5), (3, -1) a (4,1).
Řešení
Musíme:
Pak:
Docházíme proto k závěru, že řádek, který nejlépe odpovídá bodům, je dán:
Cvičení 2
Předpokládejme, že předmět spadl z výšky 200 metrů. Jak to padá, jsou podniknuty následující kroky:
Víme, že výška uvedeného objektu po uplynutí času t je dána:
Chceme-li získat hodnotu g, najdeme parabolu, který je lepší přiblížení k pěti bodů uvedených v tabulce, a tak bychom, že koeficient, který doprovází t 2 bude přiměřená aproximace (-1/2) G Pokud měření jsou přesná.
Musíme:
A později:
Datové body se tedy hodí k následujícímu kvadratickému výrazu:
Takže musíte:
Jedná se o hodnotu, která je přiměřeně blízká správné hodnotě, která je g = 9,81 m / s 2. Aby se dosáhlo přesnější aproximace g, bylo by nutné začít od přesnějších pozorování.
K čemu to je?
V problémech, které se vyskytují v přírodních nebo společenských vědách, je vhodné psát vztahy, které existují mezi různými proměnnými, pomocí nějakého matematického vyjádření.
Například v ekonomii můžeme spojit náklady (C), příjmy (I) a zisky (U) pomocí jednoduchého vzorce:
Ve fyzice můžeme spojit zrychlení způsobené gravitací, časem, kdy předmět padal, a výškou objektu podle zákona:
V předchozím výrazu s o je počáteční výška uvedeného objektu a v o je jeho počáteční rychlost.
Najít takovéto vzorce však není snadný úkol; obvykle je na profesionálovi, který má povinnost pracovat se spoustou dat a opakovaně provádět několik experimentů (aby se ověřilo, že získané výsledky jsou konstantní), najít vztahy mezi různými daty.
Běžným způsobem, jak toho dosáhnout, je reprezentovat data získaná v rovině jako body a hledat souvislou funkci, která tyto body optimálně aproximuje.
Jedním ze způsobů, jak najít funkci, která „nejlépe aproximuje“ daná data, je metoda nejmenších čtverců.
Kromě toho, jak jsme také viděli při cvičení, díky této metodě můžeme získat poměrně blízké přiblížení k fyzikálním konstantám.
Reference
- Charles W Curtis Lineární algebra. Springer-Velarg
- Kai Lai Chung. Teorie základních schopností se stochastickými procesy. Springer-Verlag New York Inc
- Richar L Burden a J.Douglas Faires. Numerická analýza (7ed). Thompsonovo učení.
- Stanley I. Grossman. Aplikace lineární algebry. MCGRAW-HILL / INTERAMERICANA DE MEXICO
- Stanley I. Grossman. Lineární algebra. MCGRAW-HILL / INTERAMERICANA DE MEXICO