Overfitting

Piotr testuje regułę kupowania bitcoina. Próba historyczna przynosi stratę, więc zmienia okres średniej. Potem dodaje warunek omijający nieudane transakcje. Krzywa wygląda lepiej, ale być może tylko obchodzi znane już przypadki. QuantConnect opisuje tak dopasowanie do szczegółów i szumu danych treningowych. Problemem nie jest nauka z historii, lecz uznanie jej jednostkowych cech za prawidłowość, która przetrwa także później. [1]

Piotr mógłby usunąć wszystkie warunki, lecz utracić również użyteczną zależność. scikit-learn pokazuje oba skrajne przypadki: zbyt prosty model nie wychwytuje związku, zbyt elastyczny może podążać za przypadkowymi szczegółami. Sama liczba ustawień nie rozstrzyga więc o nadmiernym dopasowaniu. Prostą procedurę trzeba równie uczciwie ocenić na odpowiednio oddzielonych danych jak złożoną. Jeśli wybieramy ją dopiero po obejrzeniu końcowego testu, ten test już wpłynął na rozwój. [2]

Na końcu Piotr ma krótką regułę. Nie widać w niej wielu nieudanych wersji, które sprawdził wcześniej. Bailey i współautorzy opisują, jak wielokrotne testowanie tych samych danych może tworzyć fałszywe odkrycia. Zachowujemy więc kandydatów, zmiany i sposób wyboru, nie tylko ładny wykres zwycięzcy. Prosty wynik może pochodzić z szerokiego poszukiwania. Jednak sama liczba prób nie wyznacza prawdopodobieństwa nadmiernego dopasowania; znaczenie mają też dane, ich zależności oraz metoda wyboru. [3]

Piotr potrzebuje danych do rozwoju i innych do późniejszej oceny. scikit-learn ilustruje to walidacją zagnieżdżoną: wewnątrz wybiera się ustawienia, na zewnątrz ocenia cały proces wyboru. To jak przygotowanie do egzaminu i sam egzamin. Najlepszy wynik ćwiczeń nie jest niezależną oceną. Do rozwoju należą też wybór wskaźników i przygotowanie danych wejściowych. Jeśli po wyniku końcowym zmieniamy reguły, do nowej oceny potrzebujemy kolejnych odpowiednich danych; ten sam egzamin nie jest już nietknięty. [4]

Mieszanie przykładów może mieć sens przy nauce ze zdjęć. Przy kolejnych obserwacjach rynku może stworzyć nierealny test; scikit-learn podkreśla zależności czasowe. Piotr może użyć tylko informacji dostępnych w danej chwili. Dotyczy to także wyników, na których uczy lub wybiera regułę: niezakończona transakcja nie ma jeszcze znanego rezultatu. Walk-forward Analysis przechodzi od starszych danych do późniejszych. Również ona nie daje nowych dowodów, jeśli jej procedurę wielokrotnie zmieniamy pod wpływem tych samych wyników. [5]

Piotr może oddzielić wiersze testowe, ale wcześniej policzyć średnią całej tabeli do przekształcenia wejść. Test nie jest wtedy naprawdę odrębny. scikit-learn wymaga więc uczenia takich przekształceń wyłącznie na części treningowej i dopiero potem stosowania ich w teście. Przeniknięcie niedostępnej wówczas informacji to wyciek danych. Nie jest tym samym co Overfitting: reguła może nauczyć się szumu bez przyszłych wierszy, a wyciek zniekształcić nawet prosty model. Sprawdzamy cały proces, nie tylko podział tabeli. [6]

Strategia Piotra traci w kolejnym okresie. Nadmierne dopasowanie jest możliwą przyczyną, lecz nie jedyną. Mogły zmienić się rynek, koszty lub jakość danych; krótki odcinek silnie zależy od przypadku. scikit-learn oferuje krzywe walidacji i uczenia, porównujące wyniki po zmianie ustawień lub ilości danych treningowych. Pomaga też sprawdzenie, czy zbliżone ustawienia dają zbliżone wyniki. Każdą dalszą poprawkę zapisujemy jednak jako rozwój. Sama diagnoza nie potwierdza statystycznie przewagi handlowej. [2]

Przydatny wniosek mówi nie tylko o zysku, lecz także o pochodzeniu strategii, zmianach i tym, co rzeczywiście sprawdzono później. Oddzielaj wyniki rozwoju od kolejnych ocen i ujawniaj znane próby, koszty oraz ograniczenia. NFA przypomina, że hipotetyczny handel nie oddaje w pełni płynności, poślizgu cenowego ani zachowania przy prawdziwej stracie; jej zasady reklamowe dotyczą określonych członków. Dalsza ocena zaczyna się więc od wcześniej zapisanych reguł. Ograniczenie błędów metody pomaga, lecz nawet nieużywane dotąd dane nie gwarantują przyszłego zysku. [7]