Survivorship Bias to zniekształcenie wynikające z wyboru przypadków, które przetrwały lub nadal dają się obserwować. Ich wyniki błędnie przedstawiamy jako wyniki całej pierwotnej grupy. Samo badanie dzisiejszej oferty nie jest błędem; liczy się pytanie, na które wybrany zbiór ma odpowiedzieć.
Anna otwiera dzisiejszą listę funduszy i porównuje ich dawne wyniki. Większość wygląda dobrze. Nie znajdzie jednak funduszy, które w międzyczasie zamknięto lub połączono z innymi. Gdyby na tej podstawie oceniła wszystkich uczestników z początku okresu, pominęłaby część historii. QuantConnect wyjaśnia ten problem na przykładzie testów historycznych obejmujących tylko ocalałe papiery wartościowe. Tak samo możemy zapytać o tabelę projektów kryptowalutowych: badamy pierwotną grupę czy tylko te projekty, o których nadal łatwo znaleźć dane? [1]
Anna może jej użyć do porównania obecnej oferty. Nie może jednak zakładać, że dokładnie tę grupę potrafiłaby wybrać już na początku badanego okresu. Nie wiedziała wtedy, kto przetrwa. Tu Survivorship Bias łączy się z Look-ahead Bias, czyli użyciem późniejszej wiedzy przy wcześniejszej decyzji. Test historyczny wymaga składu grupy z danego momentu oraz zasad włączania i wykluczania. Skład może się zmieniać, ale według dostępnych wówczas informacji, a nie dzisiejszego wyniku. [1]
Dlatego przydatne są bazy zachowujące zamknięte fundusze, na przykład baza CRSP oferowana przez Morningstar. Pobranie większej liczby wierszy nie wystarczy jednak do odpowiedzi na pytanie Anny. Musi ustalić, co liczy: odrębne fundusze czy klasy jednostek z różnymi opłatami? Uznanie kilku klas tego samego funduszu za niezależne fundusze może niechcący zwiększyć jego wagę. Najpierw definiujemy więc grupę i jednostkę porównania, a potem analizujemy wyniki, także tych funduszy, które później zniknęły z oferty. [2]
Przy łączeniu tabel Anna może zgubić kolejną część historii. Symbol giełdowy mógł się zmienić lub zostać później przypisany innemu papierowi. Łączenie wyłącznie po nazwie może pomieszać różne przypadki, a wyszukiwanie tylko dzisiejszego symbolu pominąć starsze dane. Baza akcyjna CRSP stosuje trwałe identyfikatory, na przykład PERMNO dla papieru wartościowego. Pomagają rozpoznać dane tego samego przypadku mimo zmiany oznaczenia. Trzeba przy tym zachować daty zmian i powiązania między rekordami. [3]
Brakującego kursu nie wolno po prostu zastąpić całkowitą stratą. Papier mógł zostać przejęty, rozliczony gotówkowo albo nadal istnieć poza dotychczasową giełdą. Zależy to od zdarzenia i od tego, co faktycznie otrzymał posiadacz. LEAN, silnik symulacji handlu, potrafi obsłużyć wycofanie z obrotu. Samo to nie dowodzi jednak, że określona cena sprzedaży była osiągalna na prawdziwym rynku. Anna nie może wymazać pozycji ani założyć sprzedaży po ostatnim wyświetlonym kursie. Jeśli nie zna rozliczenia, powinna ujawnić lukę i pokazać wpływ przyjętych założeń. [4]
Dobre dane wejściowe nie gwarantują poprawnego końcowego wyboru. QuantConnect podaje, że jego dane fundamentalne obejmują spółki wycofane z giełdy, lecz mają określony zakres i braki w polach. Anna może później połączyć tabele tak, że zostaną tylko kompletne przypadki, a kolejne spółki znikną bez śladu. Wybór według dostępności potrzebnej informacji może być uzasadniony, ale musi odpowiadać pytaniu i ówczesnej wiedzy. Przy każdym wykluczeniu warto znać powód, moment i wpływ na badaną grupę. [5]
Pominięcie niepowodzeń może upiększyć przeszłość, ale nie ma uniwersalnej poprawki, którą wystarczy odjąć. Po przejęciu z listy mogą zniknąć również odnoszące sukcesy spółki. Wynik zależy od tego, kogo brakuje, jak sobie radził i jaką otrzymuje wagę. Zwykła średnia stóp zwrotu nie jest też na ogół stopą zwrotu rzeczywistego portfela: znaczenie mają kwoty i daty wpłat oraz inne przepływy pieniężne. Dlatego poniższy model używa równych wpłat początkowych we wspólnym okresie. Różnica liczbowa dotyczy tego przykładu, nie wszystkich rynków. [6]
Anna powinna umieć udokumentować pierwotną listę, zasady zmian, wykluczone przypadki i ich wartości końcowe. Po poprawce oblicza wynik od nowa, zamiast przedstawiać stary raport jako poprawiony. Rozróżnia też symulację wsteczną i historię obserwowaną na bieżąco. S&P Dow Jones Indices określa historię indeksu sprzed uruchomienia jako hipotetyczną i wskazuje na wiedzę zdobytą po fakcie. Poprawny skład grupy nie rozwiązuje Overfitting, czyli nadmiernego dopasowania reguł do badanych danych, ani problemów kosztów i wykonania transakcji. Uczciwszy obraz przeszłości daje lepszą podstawę, nie gwarancję przyszłego zysku. [6]
Te same wyniki, inna lista
Pełniejszy obraz uzyskasz, czytając to hasło razem z Backtesting, Overfitting, Walk-forward Analysis, Look-ahead Bias, Paper Trading. Do tego hasła prowadzą również odsyłacze z Look-ahead Bias.
01Czy porównywanie obecnie oferowanych funduszy jest błędem?+
Nie, jeśli pytanie dotyczy dzisiejszej oferty. Problem pojawia się, gdy wyniki tej grupy przedstawiasz jako doświadczenie wszystkich funduszy dostępnych dawniej. Te, które później zamknięto, nie powinny znikać z takiej oceny.
02Czy brakujący przypadek mam uznać za całkowitą stratę?+
Nie automatycznie. Brak ceny ani usunięcie z oferty nie określają, co otrzymał posiadacz. Ustal rzeczywiste rozliczenie lub jawnie opisz założenie modelu i jego wpływ. Nie myl nieznanej wartości z zerem i nie pomijaj przypadku bez wyjaśnienia.