Walk-forward Analysis

Walk-forward Analysis продвигает историческое моделирование во времени: по имеющимся данным выбирается или настраивается правило, затем оценивается его применение на следующем отрезке. QuantConnect описывает периодическую оптимизацию по завершающему окну прошлых данных. Наше редакционное различие: оценивается заранее описанный процесс обновления параметров, а не только один неизменный набор. В правило входят также момент следующего выбора, его цель и набор кандидатов. Более точная подгонка к недавним данным сама по себе не подтверждает лучший будущий результат. [QuantConnect — Walk Forward Optimization]

QuantConnect предупреждает, что период поиска лучших параметров становится частью данных разработки. Ретроспективное применение выбранного победителя к этому периоду не является честной проверкой тогдашнего решения. Поэтому наш протокол завершает отбор до начала следующего тестового отрезка. Его данные не должны влиять на текущего победителя. Когда отрезок закончился и информация действительно доступна, она может по заранее заданной процедуре участвовать в более позднем отборе; ранее записанные тестовые решения при этом не меняются. [QuantConnect — Optimization Parameters]

TimeSeriesSplit создаёт хронологически упорядоченные обучающие и тестовые индексы; по умолчанию он постепенно расширяет прошлую обучающую выборку и позволяет ограничить её размер. Наше различие: скользящее окно сохраняет выбранную длину истории, а расширяющееся — фиксированное начало. Длина окна и частота обновления являются частью проекта, а не свободными поправками после просмотра результатов. Для сопоставимости метрик отрезков документация требует равноотстоящих наблюдений; при нерегулярных данных нужно учитывать фактический календарный интервал. [scikit-learn — TimeSeriesSplit]

Параметр gap в TimeSeriesSplit исключает наблюдения в конце обучающей выборки перед тестом. Наше методическое требование — определять необходимый промежуток по моменту доступности входных данных и завершения целевых результатов. Если результат обучающего наблюдения использует цены тестового периода, одного упорядочивания строк недостаточно для устранения утечки. Поэтому длину промежутка нельзя выбирать только ради красивой кривой. Даже подходящий промежуток не доказывает независимость соседних периодов и не устраняет все виды смещения отбора. [scikit-learn — TimeSeriesSplit]

Документация scikit-learn предупреждает, что нормализация, заполнение пропусков или отбор признаков могут передавать тестовую информацию в модель. Параметры этих преобразований следует обучать только на обучающей части, а затем применять к тестовой. Наша проверка повторяет это разделение при каждом сдвиге окна. Предварительное вычисление среднего по всему набору не исправляется последующим разделением готовой таблицы. Необходимо сохранять также версию данных и фактический момент их доступности. [scikit-learn — Common Pitfalls: Data Leakage]

QuantConnect выделяет модель, определяющую цену и количество исполнения, которая может включать spread и Slippage. Наше требование для объединения тестовых отрезков — последовательно учитывать капитал, открытые позиции и издержки смены правила. Обучающая прибыль не прибавляется к результату последующего теста, а перекрывающиеся тестовые периоды нельзя без объяснения учитывать несколько раз. При переносе позиции нужно описать переход между конфигурациями. Наша модель ниже, напротив, завершает каждый период без позиции. [QuantConnect — Trade Fills: Key Concepts]

Бейли и соавторы описывают рост риска ложных открытий при повторном поиске на одних данных. Наш вывод для Walk-forward Analysis: если по полученной тестовой последовательности менять длину окон, цель или кандидатов и повторять весь расчёт, последовательность уже влияет на разработку. Недостаточно назвать её независимой. Отчёт должен перечислять все испытанные протоколы и отделять возможную дополнительную проверку, ещё не использованную ранее. Само продвижение во времени не является оценкой вероятности переобучения или автоматической статистической гарантией. [Bailey et al. — The Probability of Backtest Overfitting]

NFA подчёркивает, что гипотетические результаты не отражают реальную торговлю и полный эффект ликвидности, проскальзывания и поведения при реальном убытке. Поэтому наш отчёт Walk-forward Analysis сохраняет границы окон, кандидатов, оценки отбора, выбранные конфигурации и результаты последующих отрезков с учётом издержек. Сумме нужен контекст риска, числа наблюдений и сравнения в одинаковых условиях. Небольшой отрицательный пример не доказывает общую неэффективность метода, как и положительная сумма не доказывает будущее торговое преимущество. [NFA — Use of Promotional Material Containing Hypothetical Performance Results]