Survivorship Bias — це викривлення через відбір випадків, які вижили або досі доступні для спостереження. Їхні результати помилково видають за результати всієї початкової групи. Саме по собі дослідження нинішньої пропозиції не є помилкою; важливо, на яке запитання має відповісти вибірка.
Яна відкриває нинішній список фондів і порівнює їхню минулу дохідність. Більшість виглядає добре. Але фондів, які відтоді закрилися або злилися з іншими, вона там не знайде. Якби за цим списком вона судила про всіх, хто починав тоді, частина історії зникла б. QuantConnect пояснює цю помилку на історичних тестах із цінними паперами, що збереглися до кінця періоду. Те саме можна запитати про таблицю криптовалютних проєктів: ми вивчаємо початкову групу чи лише тих, про кого досі легко знайти дані? [1]
Яна може використати його для порівняння нинішньої пропозиції. Але не може припускати, що саме цю групу могла вибрати ще на початку періоду. Тоді вона не знала, хто виживе. Тут Survivorship Bias перетинається з Look-ahead Bias — використанням пізнішого знання в ранішому рішенні. Історичному тесту потрібен тодішній склад групи та правила включення й виключення. Склад може змінюватися, але за інформацією, доступною в той момент, а не за результатом, відомим сьогодні. [1]
Тому корисні бази, що зберігають закриті фонди, наприклад база CRSP, яку пропонує Morningstar. Однак завантажити більше рядків замало. Яна має визначити, що рахує: окремі фонди чи класи паїв із різними комісіями? Якщо кілька класів одного фонду вважати незалежними фондами, він ненавмисно отримає більшу вагу. Спочатку визначаємо групу й одиницю порівняння, потім аналізуємо результати, зокрема тих, кого згодом перестали пропонувати. [2]
Під час об’єднання таблиць Яна може втратити ще частину історії. Біржовий символ міг змінитися або пізніше перейти до іншого цінного папера. Зіставлення лише однакових назв може поєднати різні речі; пошук тільки нинішнього символу — пропустити старі записи. База акцій CRSP використовує постійні ідентифікатори, наприклад PERMNO для цінного папера. Вони допомагають зрозуміти, які записи належать тому самому випадку попри зміну позначення. Разом із цим треба зберігати дати змін і зв’язок між записами. [3]
Відсутню ціну не можна просто замінити повною втратою. Папір могли викупити, розрахуватися за нього грошима або він міг продовжити існувати поза початковою біржею. Важливі конкретна подія й те, що фактично отримав власник. LEAN, рушій симуляції торгівлі, може обробляти виключення з біржового списку. Саме це ще не доводить, що певна ціна продажу була доступною на реальному ринку. Яна не повинна стирати позицію чи припускати продаж за останньою показаною ціною. Якщо розрахунок невідомий, слід визнати прогалину й показати вплив обраних припущень. [4]
Якісні вхідні дані не гарантують коректної кінцевої вибірки. QuantConnect зазначає, що фундаментальні дані містять і виключені з біржі компанії, проте мають визначене охоплення та пропуски в полях. Яна може згодом об’єднати таблиці так, що залишаться лише повні випадки, а інші компанії непомітно зникнуть. Відбір за наявністю потрібного показника може бути виправданим, але має відповідати запитанню й тодішнім відомостям. Для кожного виключення треба знати причину, час і вплив на досліджувану групу. [5]
Вилучення невдач може прикрасити минуле, але універсальної поправки для віднімання немає. Зі списку після придбання можуть піти й успішні компанії. Результат залежить від того, кого бракує, як вони спрацювали та яку вагу отримали. Просте середнє дохідностей також не завжди дорівнює дохідності справжнього портфеля: важливі суми й дати внесків та інші грошові потоки. Тому модель нижче використовує однакові початкові внески за спільний період. Числова різниця стосується цього прикладу, не всіх ринків. [6]
Яна повинна вміти підтвердити початковий список, правила змін, виключені випадки та їхні кінцеві вартості. Після виправлення вона обчислює результат заново, а не називає старий звіт виправленим. Також відділяє ретроспективну симуляцію від історії, яку справді спостерігали в процесі. S&P Dow Jones Indices називає історію індексу до запуску гіпотетичною та застерігає щодо знання заднім числом. Правильний склад групи ще не усуває Overfitting — надмірне пристосування правил до досліджених даних, — витрати чи проблеми виконання угод. Чесніший опис минулого дає кращу основу, а не гарантію майбутнього прибутку. [6]
Ті самі результати, інший список
Для повної картини прочитайте також Backtesting, Overfitting, Walk-forward Analysis, Look-ahead Bias, Paper Trading. На цю статтю також посилаються Look-ahead Bias.
01Чи неправильно порівнювати фонди, які пропонують зараз?+
Ні, якщо запитання стосується нинішньої пропозиції. Проблема виникає, коли результати цієї групи видають за досвід усіх фондів, доступних у минулому. Ті, що згодом закрилися, не повинні зникати з такої оцінки.
02Чи слід вважати відсутній випадок повною втратою?+
Не автоматично. Ні відсутня ціна, ні вилучення з пропозиції не визначають, що отримав власник. Знайдіть фактичний розрахунок або явно опишіть припущення моделі та його вплив. Не плутайте невідому вартість із нулем і не вилучайте випадок мовчки.