Backtesting

Backtesting applique des règles aux données historiques et calcule le résultat qu’elles auraient produit selon les hypothèses retenues. Bailey et ses coauteurs le décrivent comme une simulation historique d’une stratégie algorithmique, tout en soulignant le risque de fausses découvertes. Notre délimitation éditoriale : le résultat correspond à une version précise des règles, des données et du modèle d’exécution. Il ne prouve pas que quelqu’un a réellement effectué ces transactions. Un calcul reproductible peut révéler une erreur ou une idée inadaptée, mais il ne transforme pas à lui seul le passé en prévision fiable. [Bailey et al. — The Probability of Backtest Overfitting]

QuantConnect décrit un biais dans lequel la simulation utilise des informations futures, comme des données comptables avant leur publication ou leurs corrections ultérieures. Notre propre convention temporelle exige, pour chaque entrée, l’instant de sa disponibilité, et pas seulement la date de la période à laquelle elle se rapporte. Un signal issu d’une bougie clôturée ne peut, sans hypothèse supplémentaire, obtenir une transaction à un prix qui n’était plus accessible. Dans notre exemple, les cours de clôture précédents ne sont utilisés que pour la période suivante, et le modèle précise explicitement son exécution à l’ouverture. [QuantConnect — Research Guide]

QuantConnect met en garde contre les tests limités aux titres ayant survécu jusqu’à la fin de la période et contre l’application rétrospective de la composition actuelle d’un indice. Notre question plus générale est de savoir si l’ensemble historique conserve aussi les instruments alors disponibles qui ont disparu par la suite. Il faut documenter les données manquantes, les changements de méthode et le choix des marchés. Pour une simulation sur le bitcoin, on ne peut pas automatiquement considérer le prix d’un service comme un prix accessible sur un autre service. Des données propres supposent des corrections traçables, pas la suppression de résultats gênants. [QuantConnect — Research Guide]

La documentation QuantConnect distingue le signal et l’ordre du modèle qui détermine le prix et la quantité exécutés. Elle souligne aussi la différence entre les exécutions partielles en négociation réelle et l’hypothèse d’exécution complète des modèles prédéfinis. Notre exigence consiste à décrire quand l’ordre peut être exécuté, ce qui se passe si la liquidité est insuffisante et comment un prix périmé est traité. Le simple fait d’atteindre un niveau de prix dans les données historiques ne prouve pas qu’une contrepartie soit disponible pour un ordre de taille quelconque. Le résultat du modèle d’exécution reste une hypothèse de simulation. [QuantConnect — Trade Fills: Key Concepts]

QuantConnect décrit Slippage comme la différence entre le prix d’exécution attendu et le prix réel, en évoquant les délais, la connexion et les conditions de marché ; l’écart peut être favorable ou défavorable. Notre contrôle des coûts distingue les commissions, le prix d’exécution et les éventuels autres coûts de détention ou de financement. Un coût déjà intégré au prix d’exécution ne doit pas être déduit une seconde fois. Une valeur nulle est une hypothèse précise du modèle, pas la preuve d’un marché sans coûts. La sensibilité à des coûts plus élevés aide à déterminer si un faible gain historique dépend d’un paramétrage optimiste. [QuantConnect — Slippage: Key Concepts]

La documentation TimeSeriesSplit explique le découpage chronologique pour éviter d’entraîner un modèle sur le futur et de l’évaluer sur le passé. Notre exigence méthodologique est de fixer une période de conception des règles et une période de validation ultérieure avant d’examiner les résultats. Si les règles sont à nouveau modifiées après un échec en fonction de la période de validation, celle-ci a déjà influencé le développement. Le seul découpage chronologique ne résout ni les fuites d’information dues au prétraitement, ni le chevauchement des cibles, ni la sélection répétée de variantes. La procédure et les frontières entre les données doivent être décrites. [scikit-learn — TimeSeriesSplit]

Bailey et ses coauteurs montrent que la recherche répétée de la meilleure configuration sur les mêmes données augmente le risque de fausses découvertes et d’ajustement au bruit passé. Notre règle de présentation impose de fournir l’historique des essais, et pas seulement la courbe gagnante. Cela comprend les changements de paramètres, de périodes et de sélection des instruments. Un résultat choisi après de nombreux essais n’a pas la même valeur informative qu’une règle fixée à l’avance et laissée inchangée. Leur méthode d’estimation de la probabilité de surajustement n’est ni appliquée dans notre exemple simple ni remplacée par un unique découpage des données. [Bailey et al. — The Probability of Backtest Overfitting]

La NFA souligne que les résultats hypothétiques ne représentent pas des transactions réelles, peuvent profiter du recul et modéliser imparfaitement la liquidité, Slippage ou le comportement face à une perte réelle. Notre rapport doit donc conserver la version des données et du code, les règles, les hypothèses d’exécution, les coûts inclus et la liste complète des transactions simulées. Le rendement total exige un contexte de risque et une comparaison dans les mêmes conditions ; un beau graphique sélectionné ne suffit pas. Même une implémentation sans erreur d’un test historique ne garantit ni sa faisabilité ni son rendement sur un marché futur. [NFA — Use of Promotional Material Containing Hypothetical Performance Results]