Survivorship Bias

Яна открывает сегодняшний список фондов и сравнивает их прошлую доходность. Большинство выглядит хорошо. Но фондов, которые за это время закрылись или объединились с другими, она там не найдёт. Если судить по этому списку обо всех, кто начинал тогда, часть истории потеряется. QuantConnect объясняет такую ошибку на исторических тестах с сохранившимися ценными бумагами. Тот же вопрос уместен для таблицы криптовалютных проектов: мы изучаем исходную группу или только тех, о ком до сих пор легко найти данные? [1]

Яна может использовать его для сравнения нынешнего предложения. Но нельзя считать, что именно эту группу она могла выбрать в начале периода: тогда она не знала, кто выживет. Здесь Survivorship Bias пересекается с Look-ahead Bias — использованием более позднего знания в раннем решении. Историческому тесту нужен состав группы на тот момент и правила включения и исключения. Состав может меняться, но по доступным тогда сведениям, а не по известному сегодня результату. [1]

Поэтому полезны базы, сохраняющие закрытые фонды, например база CRSP, предлагаемая Morningstar. Однако скачать больше строк недостаточно. Яна должна определить, что считает: отдельные фонды или классы паёв с разными комиссиями? Если несколько классов одного фонда считать независимыми фондами, его вес можно нечаянно увеличить. Сначала определяют группу и единицу сравнения, затем изучают результаты, включая тех, кого позднее перестали предлагать. [2]

При объединении таблиц Яна может потерять ещё часть истории. Биржевой символ мог измениться или позднее перейти к другой ценной бумаге. Соединение только по одинаковым названиям может смешать разные случаи; поиск лишь нынешнего символа — пропустить старые записи. База акций CRSP использует постоянные идентификаторы, например PERMNO для ценной бумаги. Они помогают понять, какие записи относятся к одному случаю, даже если обозначение изменилось. Вместе с этим нужно сохранять даты изменений и связь между записями. [3]

Отсутствующую цену нельзя просто заменить полным убытком. Бумага могла быть выкуплена, погашена денежной выплатой или продолжить существование вне прежней биржи. Важны конкретное событие и то, что действительно получил держатель. LEAN, движок моделирования торговли, умеет обрабатывать исключение из биржевого списка. Само по себе это не доказывает доступную цену продажи на реальном рынке. Яна не должна стирать позицию или предполагать продажу по последней показанной цене. Если расчёт неизвестен, следует признать пробел и показать влияние выбранных допущений. [4]

Хорошие исходные данные не гарантируют правильную конечную выборку. QuantConnect указывает, что фундаментальные данные включают ушедшие с биржи компании, но имеют определённое покрытие и пропуски в полях. Позднее Яна может объединить таблицы так, что останутся только полные случаи, а другие компании незаметно исчезнут. Отбор по наличию нужного показателя может быть оправданным, но должен соответствовать вопросу и тогдашним сведениям. Для каждого исключения нужно знать причину, время и влияние на исследуемую группу. [5]

Исключение неудач может приукрасить прошлое, но универсальной поправки для вычитания нет. Из списка после приобретения могут уйти и успешные компании. Результат зависит от отсутствующих случаев, их показателей и веса в расчёте. Простое среднее доходностей также не всегда является доходностью реального портфеля: важны суммы и даты вложений и другие денежные потоки. Поэтому модель ниже использует одинаковые начальные вложения за общий период. Числовая разница относится к этому примеру, а не ко всем рынкам. [6]

Яна должна уметь подтвердить исходный список, правила изменений, исключённые случаи и их конечные стоимости. После исправления она пересчитывает результат, а не выдаёт старый отчёт за исправленный. Она также отделяет ретроспективную симуляцию от истории, действительно наблюдавшейся по мере событий. S&P Dow Jones Indices называет историю индекса до запуска гипотетической и предупреждает о знании задним числом. Правильный состав ещё не устраняет Overfitting — чрезмерную подгонку правил под изученные данные, — расходы и проблемы исполнения сделок. Более честное описание прошлого даёт лучшую основу, а не гарантию будущей прибыли. [6]