Backtesting

पीटर देखता है कि बढ़त वाले दिन के बाद कभी-कभी फिर बढ़त होती है। अनुमान के आधार पर खरीदने के बजाय वह एक नियम लिखता है और उसे पुराने भावों पर चलाता है। यही Backtesting है: अतीत पर किसी विचार की जाँच। परिणाम चुने हुए मॉडल में हुई बात बताता है, पीटर की वास्तविक कमाई नहीं। Bailey et al. समझाते हैं कि आकर्षक ऐतिहासिक नतीजे और रणनीति की भरोसेमंद जाँच में अंतर क्यों ज़रूरी है। [1]

पीटर केवल सौदे से पहले उपलब्ध जानकारी इस्तेमाल कर सकता है। यदि नियम दिन का बंद भाव लेता है, तो उसी भाव के आधार पर उसी दिन सुबह खरीद नहीं की जा सकती। QuantConnect इस गलती को Look-ahead Bias कहता है: भविष्य की जानकारी पुराने निर्णय में घुस गई। प्रकाशित आँकड़ों में प्रकाशन का समय मायने रखता है, केवल वह अवधि नहीं जिसका वे वर्णन करते हैं; बाद के संशोधन भी तब ज्ञात नहीं थे। इसलिए हमारे उदाहरण में पहले के पूरे हो चुके बंद भाव और अगली अवधि का खुलने वाला भाव लिया गया है। [2]

केवल आज तक बचे बाज़ारों या कंपनियों को चुनने से दूसरा पक्षपात पैदा होता है। QuantConnect इसे Survivorship Bias कहता है और आज के सूचकांक सदस्यों को अतीत पर लागू करने से समझाता है। Bitcoin डेटा में एक्सचेंज, सेवा में रुकावट और भाव निकालने का तरीका भी महत्त्वपूर्ण है। एक सेवा का भाव दूसरे स्थान पर मिलना ज़रूरी नहीं। गलत रिकॉर्ड सुधारे जा सकते हैं, लेकिन बदलावों का पता रहना चाहिए; असुविधाजनक गिरावटें हटाने से जाँच का सवाल ही बदल जाएगा। [2]

कार्यक्रम को तय करना पड़ता है कि ऑर्डर कब, किस भाव पर और कितनी मात्रा में पूरा होगा। QuantConnect जिन निष्पादन मॉडलों का वर्णन करता है, वे यही करते हैं। चार्ट का किसी भाव को छूना यह साबित नहीं करता कि पूरा ऑर्डर वहाँ पूरा हो सकता था। असली ऑर्डर आंशिक रूप से भर सकता है; इस प्लेटफ़ॉर्म के तैयार बैकटेस्ट मॉडल पूर्ण निष्पादन मानते हैं। भाव कितना पुराना है और तरलता कितनी है—यानी सौदे के लिए सामने वाला पक्ष मिल सकता है या नहीं—यह भी जाँचना चाहिए। [3]

Slippage अपेक्षित और प्राप्त निष्पादन भाव का अंतर है; यह ट्रेडर के पक्ष में भी हो सकता है और विरुद्ध भी। QuantConnect इसकी मॉडलिंग समझाता है। साथ में शुल्क और जहाँ लागू हों, वित्तपोषण तथा रणनीति की अन्य लागतें जोड़नी पड़ती हैं। जो लागत भाव में शामिल है, उसे दोबारा नहीं घटाना चाहिए। शून्य Slippage एक मान्यता है, वास्तविक बाज़ार के बारे में प्रमाण नहीं। खराब निष्पादन और अधिक लागत के साथ दोबारा परीक्षण करने से पता चलता है कि निष्कर्ष टिकता है या नहीं। [4]

यदि पीटर नियम को उन्हीं आँकड़ों पर ढालता है जिनसे सफलता मापता है, तो वह ज्ञात उत्तरों वाली परीक्षा दे रहा है। उसे पहले पुराने डेटा को विकास और उसके बाद के डेटा को सत्यापन के लिए तय करना चाहिए। scikit-learn का TimeSeriesSplit यह कालक्रम बनाए रखने में मदद करता है। लेकिन वह डेटा की तैयारी में सूचना का रिसाव, लक्ष्य अवधियों का आपस में मिलना या बार-बार समायोजन खुद नहीं रोकता। सत्यापन देखकर नियम बदलते ही वह डेटा भी विकास में इस्तेमाल हो जाता है। [5]

बहुत सारी सेटिंग में कोई एक संयोग से शानदार दिख सकती है। केवल विजेता दिखाने से प्रयासों की संख्या छिप जाती है। Bailey et al. Backtest Overfitting का अध्ययन करते हैं: रणनीति को किसी विशेष इतिहास की खासियतों पर ज़रूरत से ज़्यादा ढालना। इसलिए आज़माए गए मानदंड, अवधियाँ और बाज़ार लिखें, सिर्फ सबसे अच्छी रेखा नहीं। लेखक इस समस्या की संभावना आँकने की अलग प्रक्रिया देते हैं; साधारण डेटा विभाजन उसका विकल्प नहीं है। हमारा उदाहरण वह अनुमान नहीं निकालता। [1]

ईमानदार रिपोर्ट से डेटा, नियम का संस्करण, अलग-अलग सौदे, लागत और घाटे की अवधियाँ दोबारा देखी जा सकती हैं। तुलना की रणनीति के लिए भी तुलनीय मान्यताएँ चाहिए। अमेरिकी NFA भी काल्पनिक परिणामों में बाद की जानकारी के लाभ और वास्तविक आर्थिक नुकसान के अनुभव की कमी पर ध्यान दिलाता है; उसके प्रचार संबंधी नियम निर्धारित सदस्यों पर लागू होते हैं। बैकटेस्ट किसी विचार को खारिज करने या और जाँचने में मदद करता है। सही गणना भी यह साबित नहीं करती कि वह दूसरे बाज़ार या वास्तविक ट्रेडिंग में काम करेगा। [6]