Backtesting

Backtesting ऐतिहासिक डेटा पर नियम दोबारा चलाता है और चुनी गई मान्यताओं के तहत मिलने वाला परिणाम गणना करता है। बेली और सहलेखक इसे एल्गोरिद्मिक रणनीति का ऐतिहासिक अनुकरण बताते हैं और साथ ही गलत खोजों के जोखिम की चेतावनी देते हैं। हमारी संपादकीय सीमा यह है कि परिणाम नियमों, डेटा और निष्पादन मॉडल के किसी खास संस्करण से जुड़ा है। यह प्रमाण नहीं है कि किसी ने वे सौदे वास्तव में किए थे। दोहराई जा सकने वाली गणना किसी गलती या अनुपयुक्त विचार को उजागर कर सकती है, लेकिन अपने आप अतीत को विश्वसनीय पूर्वानुमान में नहीं बदलती। [Bailey et al. — The Probability of Backtest Overfitting]

QuantConnect उस पूर्वाग्रह का वर्णन करता है जिसमें अनुकरण भविष्य की जानकारी इस्तेमाल करता है, जैसे प्रकाशन से पहले लेखा आँकड़े या उनमें बाद के संशोधन। हमारा अपना समय अनुबंध हर इनपुट के लिए उसकी उपलब्धता का समय माँगता है, केवल उस अवधि की तारीख नहीं जिससे वह संबंधित है। बंद हो चुकी कैंडल का संकेत, किसी अतिरिक्त मान्यता के बिना, ऐसे मूल्य पर सौदा नहीं पा सकता जो अब उपलब्ध नहीं था। हमारे उदाहरण में पिछली समापन कीमतें केवल अगली अवधि के लिए इस्तेमाल होती हैं और मॉडल उस अवधि का शुरुआती निष्पादन स्पष्ट रूप से तय करता है। [QuantConnect — Research Guide]

QuantConnect केवल अवधि के अंत तक बची प्रतिभूतियों का परीक्षण करने और आज की सूचकांक संरचना को अतीत पर लागू करने की चेतावनी देता है। हमारा व्यापक प्रश्न है कि क्या ऐतिहासिक डेटासेट उन साधनों को भी सुरक्षित रखता है जो तब उपलब्ध थे लेकिन बाद में गायब हो गए। गायब डेटा, कार्यप्रणाली में बदलाव और बाजारों का चयन दर्ज करना जरूरी है। बिटकॉइन के अनुकरण में किसी एक सेवा की कीमत को दूसरी सेवा पर उपलब्ध कीमत अपने आप नहीं माना जा सकता। साफ डेटा का अर्थ सुधारों का पता लगा पाना है, असुविधाजनक परिणाम हटा देना नहीं। [QuantConnect — Research Guide]

QuantConnect के दस्तावेज़ संकेत और ऑर्डर को उस मॉडल से अलग रखते हैं जो निष्पादन की कीमत और मात्रा निर्धारित करता है। वे वास्तविक व्यापार के आंशिक निष्पादन और तैयार मॉडलों की पूर्ण निष्पादन मान्यता के बीच अंतर भी बताते हैं। हमारी शर्त है कि बताया जाए ऑर्डर कब निष्पादित हो सकता है, अपर्याप्त तरलता पर क्या होगा और पुरानी कीमत कैसे संभाली जाएगी। ऐतिहासिक डेटा में किसी मूल्य स्तर को छूना अपने आप मनमाने आकार के ऑर्डर के लिए उपलब्ध प्रतिपक्ष साबित नहीं करता। निष्पादन मॉडल का परिणाम अनुकरण की मान्यता ही रहता है। [QuantConnect — Trade Fills: Key Concepts]

QuantConnect Slippage को अपेक्षित और वास्तविक निष्पादन कीमत के अंतर के रूप में बताता है तथा देरी, कनेक्शन और बाजार की स्थितियों का प्रभाव बताता है; विचलन अनुकूल या प्रतिकूल हो सकता है। हमारी लागत जाँच शुल्क, निष्पादन कीमत और स्थिति बनाए रखने या वित्तपोषण की संभावित अन्य लागतों को अलग करती है। निष्पादन कीमत में पहले से शामिल लागत दोबारा नहीं घटानी चाहिए। शून्य मूल्य मॉडल की विशिष्ट मान्यता है, लागत रहित बाजार का प्रमाण नहीं। बढ़ी हुई लागतों के प्रति संवेदनशीलता यह समझने में मदद करती है कि छोटा ऐतिहासिक लाभ आशावादी सेटिंग पर निर्भर तो नहीं। [QuantConnect — Slippage: Key Concepts]

TimeSeriesSplit के दस्तावेज़ समय के क्रम में विभाजन बताते हैं ताकि मॉडल भविष्य पर प्रशिक्षित होकर अतीत पर मूल्यांकित न हो। हमारी पद्धतिगत शर्त है कि परिणाम देखने से पहले नियम बनाने की अवधि और उनके बाद के सत्यापन की अवधि तय हों। विफलता के बाद यदि सत्यापन अवधि के आधार पर नियम फिर बदले जाते हैं, तो वह अवधि विकास को प्रभावित कर चुकी है। केवल कालक्रमिक विभाजन पूर्वप्रसंस्करण, अतिव्यापी लक्ष्यों या बार-बार संस्करण चुनने से होने वाला सूचना रिसाव नहीं सुलझाता। प्रक्रिया और डेटा की सीमाएँ दोनों बतानी चाहिए। [scikit-learn — TimeSeriesSplit]

बेली और सहलेखक दिखाते हैं कि उसी डेटा पर बार-बार सर्वोत्तम कॉन्फ़िगरेशन खोजने से गलत खोजों और पिछले शोर के अनुरूप ढलने का जोखिम बढ़ता है। रिपोर्ट के लिए हमारा नियम है कि प्रयासों का इतिहास दिखाएँ, केवल विजेता वक्र नहीं। इसमें पैरामीटर, अवधि और साधनों के चयन में बदलाव शामिल हैं। अनेक परीक्षणों के बाद चुने गए परिणाम की प्रमाणिक उपयोगिता पहले से निर्धारित अपरिवर्तित नियम जैसी नहीं होती। ओवरफिटिंग की प्रायिकता आँकने की उनकी विधि हमारे सरल उदाहरण में न लागू की गई है, न उसकी जगह डेटा का एकमात्र विभाजन रखा गया है। [Bailey et al. — The Probability of Backtest Overfitting]

NFA चेतावनी देता है कि काल्पनिक परिणाम वास्तविक व्यापार नहीं दर्शाते, बाद की जानकारी का लाभ उठा सकते हैं और तरलता, मूल्य फिसलन या वास्तविक नुकसान के दौरान व्यवहार का अपूर्ण मॉडल बना सकते हैं। इसलिए हमारी रिपोर्ट में डेटा और कोड के संस्करण, नियम, निष्पादन मान्यताएँ, शामिल लागतें और अनुकरण किए गए सभी सौदों की सूची सुरक्षित होनी चाहिए। कुल प्रतिफल को जोखिम का संदर्भ और समान शर्तों पर तुलना चाहिए; चुना हुआ सुंदर ग्राफ पर्याप्त नहीं है। ऐतिहासिक परीक्षण का त्रुटिहीन कार्यान्वयन भी भविष्य के बाजार में व्यवहार्यता या प्रतिफल की गारंटी नहीं देता। [NFA — Use of Promotional Material Containing Hypothetical Performance Results]