602 / 691SURV

Survivorship Bias

Błąd selekcji ocalałych

Survivorship Bias powstaje, gdy ocena pierwotnej grupy pomija jednostki, które później zniknęły z dostępnego zbioru. Historia dzisiejszych zwycięzców lub aktywnych funduszy może wtedy odpowiadać na inne pytanie niż historia wszystkich ówcześnie uprawnionych uczestników. Decydują reguła wyboru, członkostwo w czasie i rozliczenie wygasłych pozycji.

Survivorship Bias to zniekształcenie przez wybór ocalałych lub nadal obserwowanych jednostek, gdy ich wyniki przedstawiamy jako wyniki szerszej pierwotnej populacji. Sam opis jasno określonej dzisiejszej grupy nie jest automatycznie błędem.

QuantConnect opisuje Survivorship Bias w teście ograniczonym do papierów wartościowych, które przetrwały do końca okresu, z pominięciem walorów wycofanych z obrotu. Nasza kontrola zaczyna się od pierwotnego zbioru: które jednostki spełniały warunki w chwili włączenia? Dzisiejsza lista nie dowodzi ówczesnego składu. Kryterium uczestnictwa trzeba opisać przed wynikiem i stosować je także do jednostek, które później zniknęły. Inaczej zmienia się pytanie, na które odpowiada wyliczona średnia. [QuantConnect — Research Guide: Survivorship Bias]

QuantConnect wprost wiąże retrospektywne użycie dzisiejszych składników indeksu z Look-ahead Bias: ówczesna decyzja nie znałaby dzisiejszego składu. Nasz audyt zachowuje więc historię czasową wejść do zbioru i wyjść z niego oraz regułę ich wejścia w życie. Same historyczne ceny obecnych składników nie wystarczają. Przy dynamicznym wyborze dla każdego istotnego momentu trzeba odtworzyć dostępną wtedy listę; automatyczna zmiana członkostwa sama nie dowodzi poprawności danych. [QuantConnect — Research Guide: Survivorship Bias]

Według Morningstar baza CRSP Survivor-Bias-Free US Mutual Fund Database przechowuje także informacje o nieaktywnych już funduszach. Nasz wniosek metodologiczny: oceny pierwotnej grupy nie można zastąpić przeglądem funduszy dostępnych dziś. Trzeba podać jednostkę analizy, na przykład fundusz lub klasę jego jednostek uczestnictwa, i zapobiec niezamierzonemu wielokrotnemu zliczeniu tej samej ekspozycji. Jeśli celem jest wyłącznie opis dzisiejszej oferty, taki węższy zbiór może być odpowiedni, lecz jego zwrotu nie wolno przedstawiać jako wyniku całej pierwotnej grupy. [Morningstar — CRSP Survivor-Bias-Free US Mutual Fund Database]

Morningstar podaje, że bazy akcji CRSP obejmują aktywne i nieaktywne papiery wartościowe oraz trwałe identyfikatory do śledzenia ich historii. Nasza reguła wdrożeniowa oddziela zatem tożsamość instrumentu od wyświetlanej nazwy. Zmiana nazwy nie może tworzyć fałszywego nowego początku, a łączenie danych nie może omyłkowo sklejać różnych instrumentów. Zachowuj powiązania ze zdarzeniami, datą i pochodzeniem rekordu. Sama zgodność dzisiejszego tickera nie jest wystarczającym kluczem dla długiego szeregu historycznego. [Morningstar — CRSP US Stock Databases]

Dokumentacja LEAN opisuje zdarzenia wycofania z obrotu i ich obsługę oddzielnie od zwykłych danych cenowych. Nasza kontrola księgowa wymaga udokumentowania, co stało się z utrzymywaną pozycją, gotówką i ewentualnym późniejszym rozliczeniem. Brak ceny nie jest udowodnionym zerem ani potwierdzoną realizacją po ostatniej dostępnej cenie. Nieznany wynik końcowy oznacz jako nieznany i opisz jego wpływ lub scenariusze; nie usuwaj całej jednostki tylko dlatego, że jej historia kończy się wcześniej niż pozostałe. [QuantConnect — US Equity Corporate Actions]

QuantConnect wskazuje, że fundamentalny zbiór akcji obejmuje wycofane walory, ale jednocześnie wyklucza pewne kategorie i zawiera braki w poszczególnych polach. Nasz wniosek: oznaczenie bazy nie sprawdza samo późniejszych filtrów i łączenia tabel. Audyt powinien ewidencjonować liczbę wykluczonych rekordów, powód i czas zastosowania filtra. Uzupełnianie braków ani ich odfiltrowanie nie może po cichu tworzyć innej populacji niż obiecana w zadaniu. [QuantConnect — Fundamental Universes]

S&P Dow Jones Indices ostrzega, że wyniki obliczone wstecz mogą zawierać błąd przeżywalności lub korzystania z przyszłości i nie są rzeczywistym handlem. Nasz fikcyjny przykład poniżej izoluje zmianę wyboru przy identycznych wynikach poszczególnych jednostek. Nie pokazuje typowej wielkości błędu na rynku. W innym zbiorze mogą wypaść także jednostki skuteczne, więc kierunku różnicy nie można z góry zagwarantować. Trzeba podać wagi, okres i sposób traktowania przepływów pieniężnych; prosta średnia i zwrot rzeczywistego portfela nie są automatycznie zamienne. [S&P Dow Jones Indices — Performance Disclosure]

S&P Dow Jones Indices odróżnia hipotetyczną historię sprzed uruchomienia indeksu od wyników bieżących i odsyła do metodyki zmian jego składu. Nasz końcowy protokół zapisuje więc pierwotną populację, reguły uczestnictwa, wykluczone jednostki, źródło wartości końcowych i przeliczony wynik. Poprawiony raport musi zastąpić błędny. Usunięcie Survivorship Bias samo nie rozwiązuje dalszych Look-ahead Bias, Overfitting, kosztów transakcyjnych ani dostępności realizacji. Nawet pełniejsza historia nie obiecuje przyszłego zwrotu. [S&P Dow Jones Indices — Performance Disclosure]

PrzykładPRZYKŁAD · SURV

Te same wyniki, inna wybrana grupa

Nasz fikcyjny model śledzi cztery równoczesne jednostki A, B, C i D przez ten sam okres. Wszystkie kwalifikowały się na jego początku i każda zaczyna ze 100 USD, bez długu, dźwigni i zewnętrznych przepływów pieniężnych. Ich udokumentowane wartości końcowe wraz z rozliczeniem wynoszą [120, 110, 80, 60] USD; ewentualne koszty są już w nich uwzględnione. Proste stopy zwrotu to [20, 10, -20, -40] %. Dzisiejsza lista zawiera tylko A i B; znaczniki przetrwania to [1, 1, 0, 0]. C i D nie ma już na liście, lecz ich wartości końcowe znamy w modelu i nie zastępujemy ich zerem. Cała pierwotna grupa ma wartość początkową 400 USD i końcową 370 USD, czyli wynik -30 USD oraz zwrot -7.5 %. Równe wpłaty początkowe zapewniają tutaj zgodność tego zwrotu z prostą średnią czterech stóp zwrotu. Wybrana wstecz grupa A i B ma wartość początkową 200 USD i końcową 230 USD, czyli wynik 30 USD oraz zwrot 15 %. Różnica wynosi 22.5 punktu procentowego, a nie procentowy wzrost jednego zwrotu względem drugiego. Wykres przedstawia zwrot każdej jednostki i odróżnia te, które zawiera dzisiejsza lista. Nie jest to szereg czasowy ani cztery powtarzane transakcje. Wybrana para nie jest wykonalną regułą opartą na znanej rzekomo wtedy przyszłej przeżywalności. Przykład nie jest historycznym wynikiem funduszy ani Bitcoin i nie określa wielkości czy kierunku zniekształcenia w innym zbiorze.

Pełniejszy obraz uzyskasz, czytając to hasło razem z Backtesting, Overfitting, Walk-forward Analysis, Look-ahead Bias, Paper Trading. Do tego hasła prowadzą również odsyłacze z Look-ahead Bias.

01Czy lista dziś aktywnych funduszy zawsze jest błędna?

Nie. Może prawidłowo opisywać dzisiejszą ofertę. Błąd powstaje, gdy jej historię przedstawiamy jako doświadczenie całej pierwotnej grupy, włącznie z funduszami, które później zniknęły. Zależy to od pytania i reguły wyboru.

02Czy wystarczy przypisać brakującym jednostkom całkowitą stratę?

Nie. Usunięcie z listy ani brak ceny same nie dowodzą całkowitej straty. Trzeba udokumentować faktyczne lub modelowane rozliczenie, przyznać nieznane wartości i opisać założenia zamiast po cichu pomijać lub zastępować zerem.

DOC · 001QuantConnect — Research Guide: Survivorship BiasDokumentacja ↗DOC · 002Morningstar — CRSP Survivor-Bias-Free US Mutual Fund DatabaseDokumentacja ↗DOC · 003Morningstar — CRSP US Stock DatabasesDokumentacja ↗DOC · 004QuantConnect — US Equity Corporate ActionsDokumentacja ↗DOC · 005QuantConnect — Fundamental UniversesDokumentacja ↗DOC · 006S&P Dow Jones Indices — Performance DisclosureDokumentacja ↗
Najpierw źródła · To nie jest porada inwestycyjna