Walk-forward Analysis

Walk-forward Analysis posouvá historickou simulaci v čase: na dosavadních datech vybere nebo nastaví pravidlo a potom vyhodnotí jeho použití v následujícím úseku. QuantConnect popisuje pravidelnou optimalizaci nad koncovým oknem minulosti. Vlastní redakční rozlišení: nehodnotíme jen jednu neměnnou sadu parametrů, ale předem popsaný postup jejich obnovování. Součástí pravidla je i okamžik dalšího výběru, jeho cíl a množina kandidátů. Lepší přizpůsobení nedávným datům samo nepotvrzuje lepší budoucí výsledek. [1]

QuantConnect upozorňuje, že období použité k hledání nejlepších parametrů se stává součástí dat pro vývoj. Použít na něm zpětně vybraného vítěze není poctivé ověření tehdejšího rozhodnutí. Vlastní protokol proto uzavírá výběr před začátkem následujícího testovacího úseku. Data tohoto úseku nesmějí ovlivnit aktuálního vítěze. Jakmile úsek skončí a jeho informace jsou skutečně dostupné, mohou podle předem daného postupu vstoupit do pozdějšího výběru; tím se však nemění dříve zaznamenaná testovací rozhodnutí. [2]

TimeSeriesSplit vytváří časově uspořádané trénovací a testovací indexy; standardně postupně rozšiřuje minulou trénovací množinu a umožňuje omezit její velikost. Vlastní rozlišení: posuvné okno udržuje zvolenou délku minulosti, zatímco rozšiřující se okno ponechává pevný začátek. Délka okna a četnost obnovy jsou součást návrhu, nikoli volné úpravy po zhlédnutí výsledků. Dokumentace pro srovnatelné metriky úseků požaduje stejně vzdálené vzorky; u nepravidelných dat je třeba hlídat skutečný kalendářní rozsah. [3]

Parametr gap v TimeSeriesSplit vynechává vzorky na konci trénovací množiny před testem. Vlastní metodický požadavek je odvodit potřebný odstup od okamžiku dostupnosti vstupů a dokončení cílových výsledků. Pokud výsledek trénovacího pozorování využívá ceny z testovacího období, samotné seřazení řádků únik neodstraní. Délka mezery se proto nemá volit jen podle hezké křivky. Ani vhodná mezera neprokazuje nezávislost sousedních období nebo neodstraňuje všechny formy výběrového zkreslení. [3]

Dokumentace scikit-learn upozorňuje, že normalizace, doplňování chybějících hodnot či výběr příznaků mohou přenést informace z testu do modelu. Parametry těchto transformací se mají naučit jen na trénovací části a potom použít na testovací část. Vlastní kontrola opakuje toto oddělení při každém posunu okna. Dřívější výpočet průměru z celého souboru není napraven tím, že se až následně rozdělí hotová tabulka. Je nutné uchovat i verzi dat a jejich skutečnou časovou dostupnost. [4]

QuantConnect rozlišuje model, který určuje cenu a množství plnění a může zahrnovat spread i Slippage. Vlastní požadavek pro spojení testovacích úseků je jednotně zacházet s kapitálem, otevřenými pozicemi a náklady změny pravidla. Trénovací zisky se nepřičítají k výsledku následného testu a překrývající se testovací období se nesmějí bez vysvětlení započítat vícekrát. Pokud se přenáší pozice, musí být popsán přechod mezi konfiguracemi. Náš níže uvedený model naopak uzavírá každou periodu bez pozice. [5]

Bailey a spoluautoři popisují rostoucí riziko falešných objevů při opakovaném hledání na stejných datech. Vlastní důsledek pro Walk-forward Analysis: pokud podle výsledné testovací řady měníme délku oken, cíl či kandidáty a opakujeme celý běh, řada už ovlivňuje vývoj. Nestačí přejmenovat ji na nezávislou. Report má uvést všechny vyzkoušené protokoly a oddělit případné další dosud nepoužité ověření. Samotný časový posun není odhad pravděpodobnosti přeučení ani automatická statistická záruka. [6]

NFA zdůrazňuje, že hypotetické výsledky nezachycují skutečné obchodování ani celý dopad likvidity, skluzu a chování při skutečné ztrátě. Vlastní report Walk-forward Analysis proto uchovává hranice oken, kandidáty, výběrové skóre, zvolené konfigurace a výsledky následných úseků včetně nákladů. Součet potřebuje kontext rizika, počtu pozorování a srovnání za stejných podmínek. Záporný malý příklad nedokazuje obecnou nefunkčnost metody, stejně jako kladný součet nedokazuje budoucí obchodní výhodu. [7]