Walk-forward Analysis

Петро має кілька варіантів торгового правила й хоче використовувати той, що найкраще працював останнім часом. Walk-forward Analysis дозволяє пройти цю ідею крок за кроком: обрати за відомою історією, записати наступний результат і повторити вибір. QuantConnect описує таке регулярне оновлення. Отже, перевіряємо й спосіб вибору, а не лише незмінний варіант. Кандидати, критерій і час нового перегляду мають бути визначені заздалегідь. [1]

Якщо Петро обрав варіант через його минулий прибуток, цей самий прибуток не підтверджує вибір незалежно. QuantConnect пояснює, що такі дані вже належать до розробки. Чесне питання: що сталося після вибору? Поточний тест не може обирати власного переможця. Після завершення періоду й появи результатів визначена наперед процедура може використати їх для пізнішого вибору. Це не переписує попереднє зафіксоване рішення. [2]

Вікно вибору — відрізок історії, який використовуємо зараз. Ковзне вікно зберігає довжину й відкидає старі дані; розширюване зберігає початок і додає спостереження. TimeSeriesSplit зі scikit-learn типово розширює навчальну вибірку, але дозволяє обмежити її розмір. Довжину й частоту оновлень визначте до тесту. Для зіставних показників документація вимагає однакових інтервалів між спостереженнями; за нерегулярних записів перевіряйте й фактичну календарну тривалість. [3]

Уявіть, що результат останнього навчального спостереження завершується лише під час наступного тесту. На момент вибору він ще невідомий. Сортування таблиці за часом цього не виправляє. Параметр gap у TimeSeriesSplit дозволяє вилучити спостереження наприкінці навчання. Потрібний проміжок визначають доступність входів і завершення результатів, а не найгарніша крива. Навіть правильний проміжок не доводить незалежності сусідніх періодів і не усуває всіх викривлень. [3]

Витік не обов’язково прихований у торговому правилі. Середнє для зміни масштабу значень могло бути обчислене з усього файлу, включно з майбутнім тестом. scikit-learn застерігає про те саме під час заповнення пропусків або вибору вхідних ознак. Параметри перетворень слід визначати лише на навчальній частині, потім застосовувати до тестової. Повторюйте розділення на кожному кроці; пізніший поділ уже перетвореної таблиці не усуне витоку. Зберігайте й версію даних та час їх доступності. [4]

Після окремих тестів потрібно правильно об’єднати результати. QuantConnect описує моделі ціни та обсягу виконання, які можуть містити спред і Slippage. Далі в нашій оцінці потрібен послідовний облік: не зараховувати прибутки розробки на тестовий рахунок і не рахувати тести з перекриттям повторно без пояснення. Змінюючи варіант, поясніть долю відкритих позицій, капіталу й витрат переходу. У прикладі нижче кожен період для простоти завершується без позиції. [5]

Петро може змінювати вікна, цілі або кандидатів, доки тест не виглядатиме привабливо. Тоді він уже використав тестову серію для розробки. Bailey та співавтори досліджують випадкові успіхи за повторного пошуку на тих самих даних. Записуйте всі перевірені процедури й відокремлюйте подальшу перевірку на ще не використаній історії. Сам рух у часі не є статистичною гарантією чи оцінкою ймовірності перенавчання — надмірного пристосування до минулих даних. [6]

Зберігайте межі вікон, кандидатів, оцінки вибору, фактичні рішення й наступні результати після витрат. Доповніть суму збитками, кількістю спостережень і порівнянням за однакових умов. Американська NFA нагадує, що гіпотетичні результати не враховують усіх проблем ліквідності, прослизання й поведінки за справжніх втрат; її рекламні правила стосуються визначених членів. Малий збитковий приклад не спростовує всю методику. Додатна сума теж не доводить майбутньої переваги. [7]