Look-ahead Bias

Piotr sprawdza na komputerze, jak jego reguła handlowałaby w przeszłości. Tabela zawiera już całą historię, więc program może przypadkiem odczytać coś, czego Piotr nie mógł wtedy znać. Tak właśnie QuantConnect wyjaśnia Look-ahead Bias. Przy każdym wejściu trzeba zapytać: czy informacja była dostępna w chwili decyzji? Sama data nie zawsze wystarcza. Zdarzenie mogło nastąpić rano, wiadomość ukazać się później, a jeszcze później dotrzeć do inwestora. Test musi zachować tę kolejność, nie tylko posortować wiersze według daty. [2]

Świeca cenowa podsumowuje okres: cenę otwarcia i zamknięcia, maksimum, minimum oraz wolumen. Dopóki okres trwa, końcowe wartości nie są znane. Piotr nie może więc kupić na jego początku na podstawie ostatecznego maksimum tej samej świecy. LEAN, silnik używany przez QuantConnect, udostępnia zakończone dane zgodnie z EndTime, czyli czasem zakończenia. Przy łączeniu krótszych i dłuższych okresów dostępność trzeba sprawdzić oddzielnie dla każdej serii. Przesunięcie o wiersz pomaga tylko wtedy, gdy rzeczywiście odpowiada dostępności danych, z uwzględnieniem stref czasowych i opóźnień. [1]

Piotr pobiera dane gospodarcze oznaczone datami minionych miesięcy. Część liczb została jednak później poprawiona. Użycie dzisiejszej skorygowanej wartości we wcześniejszej decyzji dodaje do niej wiedzę, której wtedy nie było. St. Louis Fed rozróżnia dlatego dzisiejszy obraz przeszłości w FRED od historycznych wersji dostępnych przez ALFRED. Potrzebujemy wersji opublikowanej w danym czasie. Data miesiąca, którego dotyczy pomiar, nie wystarczy; nawet historyczna wersja z dzienną datą nie potwierdza dokładnej dostępności w ciągu tego dnia. [3]

Piotr oddziela starsze dane do uczenia od nowszych danych testowych. Następnie liczy jednak średnią z całej tabeli, aby przekształcić wejścia. Przyszłość wraca inną drogą. Dokumentacja biblioteki uczenia maszynowego scikit-learn wymaga więc dopasowania przekształceń wyłącznie do części treningowej, a dopiero potem zastosowania ich do testowej. Tak samo sprawdzamy uzupełnianie braków i wybór zmiennych wejściowych. Ważne są też wyniki służące do uczenia: świeżo otwarta transakcja nie ma jeszcze znanego ostatecznego wyniku. Można ją później ocenić, ale nie wolno przenieść tego wyniku wstecz do wcześniejszego uczenia. [4]

Historyczna świeca pokazuje maksimum i minimum, lecz sama nie odtwarza pełnej kolejności rzeczywistych transakcji. TradingView wyjaśnia zatem założenia symulatora dotyczące ruchu ceny wewnątrz świecy. Piotr musi rozróżnić powstanie sygnału, wysłanie zlecenia i możliwy moment jego wykonania. Sprzedaż po maksimum poznanym dopiero później nie staje się dostępną regułą tylko dlatego, że symulacja umie znaleźć tę cenę. Wyciek przyszłej informacji i zbyt korzystne założenie wykonania to różne błędy. Dokładniejsze dane mogą pomóc, ale nie gwarantują rzeczywistego wykonania. [5]

Freqtrade Lookahead Analysis porównuje powtarzane testy i szuka zmian wskaźników lub sygnałów. Może ujawnić obliczenie sięgające do przyszłych wierszy. Nie sprawdzi jednak gałęzi decyzyjnej, która podczas próby w ogóle się nie uruchomiła. Obok wyniku potrzebna jest więc wiedza o pokryciu. Dokumentacja ostrzega również przed fałszywymi alarmami, na przykład gdy strategia zachowuje się inaczej dla jednego rynku niż dla całej grupy. Czysty wynik nie potwierdza wszystkiego, a wykryta różnica wymaga wyjaśnienia. Sprawdzenie pochodzenia danych pozostaje częścią pracy. [6]

Piotr usuwa przyszłą informację i świetny wynik się pogarsza. Starego raportu nie może już przedstawiać jako wyniku poprawionej metody. Nie oznacza to jednak końca kontroli. TradingView odróżnia Look-ahead Bias od Overfitting: przeuczona reguła zbyt dobrze dopasowała się do szczególnych cech danych użytych przy jej tworzeniu. Może się tak stać bez danych z przyszłości. Z kolei błąd czasowy może wystąpić w bardzo prostej regule. Sama różnica między wynikiem historycznym i późniejszym nie wskazuje jeszcze, który problem lub jaka zmiana rynku ją spowodowały. [5]

Przydatny zapis pozwala odtworzyć wiedzę Piotra w danej chwili: wersję danych, reguły, stan rachunku, dostępne wejścia i wysłane zlecenia. Dodaje założenia wykonania i koszty. Paper Trading, czyli ćwiczenie handlu bez prawdziwych pieniędzy, może dostarczyć bieżących zapisów, ale symulacja nadal różni się od prawdziwego handlu. Amerykańska organizacja National Futures Association (NFA) wskazuje ograniczenia wyników hipotetycznych dotyczące płynności, różnicy między ceną oczekiwaną a ceną wykonania i decyzji podejmowanych pod presją straty; jej zasady promocji dotyczą określonych członków. Usunięcie błędu czasowego daje rzetelniejszy test, nie obietnicę przyszłego zysku. [7]