Survivorship Bias to zniekształcenie przez wybór ocalałych lub nadal obserwowanych jednostek, gdy ich wyniki przedstawiamy jako wyniki szerszej pierwotnej populacji. Sam opis jasno określonej dzisiejszej grupy nie jest automatycznie błędem.
QuantConnect opisuje Survivorship Bias w teście ograniczonym do papierów wartościowych, które przetrwały do końca okresu, z pominięciem walorów wycofanych z obrotu. Nasza kontrola zaczyna się od pierwotnego zbioru: które jednostki spełniały warunki w chwili włączenia? Dzisiejsza lista nie dowodzi ówczesnego składu. Kryterium uczestnictwa trzeba opisać przed wynikiem i stosować je także do jednostek, które później zniknęły. Inaczej zmienia się pytanie, na które odpowiada wyliczona średnia. [QuantConnect — Research Guide: Survivorship Bias]
QuantConnect wprost wiąże retrospektywne użycie dzisiejszych składników indeksu z Look-ahead Bias: ówczesna decyzja nie znałaby dzisiejszego składu. Nasz audyt zachowuje więc historię czasową wejść do zbioru i wyjść z niego oraz regułę ich wejścia w życie. Same historyczne ceny obecnych składników nie wystarczają. Przy dynamicznym wyborze dla każdego istotnego momentu trzeba odtworzyć dostępną wtedy listę; automatyczna zmiana członkostwa sama nie dowodzi poprawności danych. [QuantConnect — Research Guide: Survivorship Bias]
Według Morningstar baza CRSP Survivor-Bias-Free US Mutual Fund Database przechowuje także informacje o nieaktywnych już funduszach. Nasz wniosek metodologiczny: oceny pierwotnej grupy nie można zastąpić przeglądem funduszy dostępnych dziś. Trzeba podać jednostkę analizy, na przykład fundusz lub klasę jego jednostek uczestnictwa, i zapobiec niezamierzonemu wielokrotnemu zliczeniu tej samej ekspozycji. Jeśli celem jest wyłącznie opis dzisiejszej oferty, taki węższy zbiór może być odpowiedni, lecz jego zwrotu nie wolno przedstawiać jako wyniku całej pierwotnej grupy. [Morningstar — CRSP Survivor-Bias-Free US Mutual Fund Database]
Morningstar podaje, że bazy akcji CRSP obejmują aktywne i nieaktywne papiery wartościowe oraz trwałe identyfikatory do śledzenia ich historii. Nasza reguła wdrożeniowa oddziela zatem tożsamość instrumentu od wyświetlanej nazwy. Zmiana nazwy nie może tworzyć fałszywego nowego początku, a łączenie danych nie może omyłkowo sklejać różnych instrumentów. Zachowuj powiązania ze zdarzeniami, datą i pochodzeniem rekordu. Sama zgodność dzisiejszego tickera nie jest wystarczającym kluczem dla długiego szeregu historycznego. [Morningstar — CRSP US Stock Databases]
Dokumentacja LEAN opisuje zdarzenia wycofania z obrotu i ich obsługę oddzielnie od zwykłych danych cenowych. Nasza kontrola księgowa wymaga udokumentowania, co stało się z utrzymywaną pozycją, gotówką i ewentualnym późniejszym rozliczeniem. Brak ceny nie jest udowodnionym zerem ani potwierdzoną realizacją po ostatniej dostępnej cenie. Nieznany wynik końcowy oznacz jako nieznany i opisz jego wpływ lub scenariusze; nie usuwaj całej jednostki tylko dlatego, że jej historia kończy się wcześniej niż pozostałe. [QuantConnect — US Equity Corporate Actions]
QuantConnect wskazuje, że fundamentalny zbiór akcji obejmuje wycofane walory, ale jednocześnie wyklucza pewne kategorie i zawiera braki w poszczególnych polach. Nasz wniosek: oznaczenie bazy nie sprawdza samo późniejszych filtrów i łączenia tabel. Audyt powinien ewidencjonować liczbę wykluczonych rekordów, powód i czas zastosowania filtra. Uzupełnianie braków ani ich odfiltrowanie nie może po cichu tworzyć innej populacji niż obiecana w zadaniu. [QuantConnect — Fundamental Universes]
S&P Dow Jones Indices ostrzega, że wyniki obliczone wstecz mogą zawierać błąd przeżywalności lub korzystania z przyszłości i nie są rzeczywistym handlem. Nasz fikcyjny przykład poniżej izoluje zmianę wyboru przy identycznych wynikach poszczególnych jednostek. Nie pokazuje typowej wielkości błędu na rynku. W innym zbiorze mogą wypaść także jednostki skuteczne, więc kierunku różnicy nie można z góry zagwarantować. Trzeba podać wagi, okres i sposób traktowania przepływów pieniężnych; prosta średnia i zwrot rzeczywistego portfela nie są automatycznie zamienne. [S&P Dow Jones Indices — Performance Disclosure]
S&P Dow Jones Indices odróżnia hipotetyczną historię sprzed uruchomienia indeksu od wyników bieżących i odsyła do metodyki zmian jego składu. Nasz końcowy protokół zapisuje więc pierwotną populację, reguły uczestnictwa, wykluczone jednostki, źródło wartości końcowych i przeliczony wynik. Poprawiony raport musi zastąpić błędny. Usunięcie Survivorship Bias samo nie rozwiązuje dalszych Look-ahead Bias, Overfitting, kosztów transakcyjnych ani dostępności realizacji. Nawet pełniejsza historia nie obiecuje przyszłego zwrotu. [S&P Dow Jones Indices — Performance Disclosure]
Te same wyniki, inna wybrana grupa
Pełniejszy obraz uzyskasz, czytając to hasło razem z Backtesting, Overfitting, Walk-forward Analysis, Look-ahead Bias, Paper Trading. Do tego hasła prowadzą również odsyłacze z Look-ahead Bias.
01Czy lista dziś aktywnych funduszy zawsze jest błędna?+
Nie. Może prawidłowo opisywać dzisiejszą ofertę. Błąd powstaje, gdy jej historię przedstawiamy jako doświadczenie całej pierwotnej grupy, włącznie z funduszami, które później zniknęły. Zależy to od pytania i reguły wyboru.
02Czy wystarczy przypisać brakującym jednostkom całkowitą stratę?+
Nie. Usunięcie z listy ani brak ceny same nie dowodzą całkowitej straty. Trzeba udokumentować faktyczne lub modelowane rozliczenie, przyznać nieznane wartości i opisać założenia zamiast po cichu pomijać lub zastępować zerem.