Overfitting

QuantConnect popisuje Overfitting jako příliš těsné přizpůsobení omezené trénovací množině, které zachytí její detaily a šum na úkor výsledků na nových datech. Vlastní rozlišení: problém není samotné učení z historie, ale záměna vlastnosti konkrétního vzorku za přenositelnou pravidelnost. V obchodování může být přeučený i ručně sestavený soubor podmínek, nejen složitý automatický model. Pěkná křivka nebo dobré skóre na vývojových datech proto ještě nejsou nezávislým potvrzením postupu. [1]

Dokumentace scikit-learn ukazuje rozdíl mezi příliš jednoduchým modelem, který nedokáže zachytit vztah, a modelem citlivým na konkrétní trénovací vzorky. Vlastní důsledek: počet parametrů sám nestačí k označení přeučení. Zjednodušení či omezení pružnosti modelu může pomoci, ale může také odstranit užitečný vztah. Rozhodnutí má vycházet z předem daného vyhodnocení na vhodných oddělených datech. Ani dodatečný výběr nejjednodušší varianty podle už prohlédnutého testu nevrací tomuto testu nezávislou roli. [2]

Bailey a spoluautoři upozorňují na falešné objevy při opakovaném zkoušení strategií na stejných datech. Vlastní metodický závěr: zaznamenat je třeba nejen parametry vítěze, ale i předchozí kandidáty, změny pravidel a kritérium výběru. I jednoduchá konečná strategie může být výsledkem rozsáhlého hledání. Výběrový tlak není vidět z jejího posledního zápisu. Pravděpodobnost přeučení nelze určit pouze z počtu variant; záleží také na datech, jejich závislostech a způsobu hledání. [3]

Příklad vnořené validace v scikit-learn odděluje vnitřní výběr parametrů od vnějšího hodnocení celého výběrového postupu. Použití týchž výsledků k výběru i prezentaci kvality vede k příliš optimistickému skóre. Vlastní požadavek je tuto hranici popsat před pokusem a zahrnout do výběru i předzpracování a volbu ukazatelů. Pokud podle vnějšího výsledku návrh dále měníme, i tato informace vstoupila do vývoje. Vnořená struktura není povolením opakovaně ladit proti témuž konečnému testu. [4]

Dokumentace scikit-learn upozorňuje, že běžné dělení předpokládající nezávislé vzorky může u časově závislých dat zkreslit odhad zobecnění. Vlastní kontrola obchodního testu proto zachovává pořadí informací a zkoumá, zda každý vstup použitý k rozhodnutí a každý cílový výsledek použitý k trénování či výběru pravidla byl v příslušné chvíli již dostupný. Následující období nemá vybírat pravidlo pro dřívější okamžik. Walk-forward Analysis pomáhá tuto posloupnost popsat, ale opakované úpravy jejího protokolu podle stejných výsledků jsou znovu vývojem, nikoli novým nezávislým důkazem. [5]

scikit-learn požaduje učit transformace, například normalizaci či výběr příznaků, pouze na trénovací části a teprve pak je použít na test. Vlastní rozlišení: únik nedostupných informací a přeučení jsou související, ale ne totožné problémy. Strategie se může přizpůsobit šumu i bez přístupu k budoucím řádkům; únik zase může vytvořit optimistické skóre i u jednoduchého modelu. Prověřujeme proto nejen rozdělení tabulky, ale celý postup od přípravy dat po konečné rozhodnutí. [6]

Validační a učební křivky v scikit-learn porovnávají chování na trénovací a validační části při změně nastavení nebo množství dat. Vlastní hranice interpretace: horší následný výsledek sám nedokazuje jedinou příčinu. U trhu se může změnit prostředí, kvalita dat nebo náklady provedení; krátký úsek může být ovlivněn náhodou. Zkoumáme stabilitu okolních nastavení a rozdíly podmínek, ale každé nové hledání po zhlédnutí výsledků zapisujeme. Diagnostiku nevydáváme za automatickou statistickou certifikaci. [2]

NFA upozorňuje, že hypotetické výsledky nejsou skutečným obchodováním a plně nezachycují likviditu, skluz ani reakci na skutečnou ztrátu. Vlastní report proto odděluje vývojové a následné výsledky, uvádí všechny známé pokusy, náklady a omezení dat. Případné další ověření musí mít zaznamenaná pravidla před začátkem. Nižší riziko metodické chyby není totéž jako prokázaná obchodní výhoda. Ani dosud nepoužitá data nemohou zaručit výsledek v budoucích tržních podmínkách. [7]