Look-ahead Bias

QuantConnect, Look-ahead Bias को ऐसी जानकारी के आधार पर निर्णय लेना बताता है जो बाद में ही उपलब्ध होती। इसलिए हमारा जाँच-प्रश्न है: इस निर्णय के समय प्रक्रिया वास्तव में क्या जान सकती थी? केवल यह पर्याप्त नहीं कि डेटा उसी कैलेंडर दिन का है। घटना, प्रकाशन, प्राप्ति और ऑर्डर भेजने के समय अलग हो सकते हैं। हर इनपुट की उपलब्धता और क्रियाओं के क्रम का प्रमाण चाहिए; सही क्रम में सजी तालिका अकेले ऐसा प्रमाण नहीं देती। [QuantConnect — Custom Securities: Avoid Look-Ahead Bias]

LEAN का समय मॉडल पूरी हो चुकी डेटा इकाई को उसके EndTime के अनुसार प्रदान करता है। हमारा निष्कर्ष: पूरी अवधि का अंतिम बंद भाव, उच्चतम भाव, न्यूनतम भाव और कारोबार की मात्रा उस अवधि के भीतर किसी पहले के निर्णय को नियंत्रित नहीं कर सकते। अनेक समय-सीमाओं के मामले में हर श्रृंखला का अपना उपलब्धता नियम होना चाहिए। किसी पंक्ति को खिसकाना एक विशेष त्रुटि ठीक कर सकता है, लेकिन समय क्षेत्रों, अवधि के समापन और स्रोत की देरी की जाँच का विकल्प नहीं है। पहले से ज्ञात पिछला मान उपयोग करना, जारी कैंडल के बाद में ज्ञात होने वाले अंतिम मान का उपयोग करने से अलग है। [QuantConnect — Time Modeling: Timeslices]

FRED के दस्तावेज़ अतीत के बारे में आज उपलब्ध जानकारी और किसी ऐतिहासिक अवधि में ज्ञात जानकारी में अंतर करते हैं; ALFRED संबंधित उपलब्धता अवधि चुनने देता है। हमारी पद्धतिगत शर्त: बाद में संशोधित डेटा का उपयोग करते समय उस समय उपलब्ध संस्करण और उसके प्रकाशन का समय सुरक्षित रखें। आर्थिक अवधि की तारीख प्रकाशन की तारीख का विकल्प नहीं है। ऐतिहासिक संस्करण भी अकेले दिन के भीतर उपलब्धता का सटीक समय सिद्ध नहीं करता; उसे अलग से जाँचना होगा। बाद का संशोधन चुपचाप किसी पहले के निर्णय में वापस नहीं डाला जा सकता। [Federal Reserve Bank of St. Louis — FRED API Real-Time Periods]

scikit-learn के अनुसार रूपांतरण केवल प्रशिक्षण डेटा से सीखे जाने चाहिए और फिर वही सीखा हुआ रूपांतरण परीक्षण डेटा पर लागू होना चाहिए। हमारी समय संबंधी जाँच में सामान्यीकरण, लापता मान भरना, विशेषताओं का चयन और प्रशिक्षण के लक्ष्य शामिल हैं। भविष्य की अवधि का परिणाम बाद में पूर्वानुमान के मूल्यांकन में उपयोग हो सकता है; उसे उस पूर्वानुमान को पहले बनाने या नियम चुनने में उपयोग नहीं किया जा सकता। निरंतर पुनर्प्रशिक्षण में केवल वही लक्ष्य प्रशिक्षण में शामिल हो सकते हैं जो संबंधित क्षण तक ज्ञात हो चुके थे। [scikit-learn — Common Pitfalls: Data Leakage]

TradingView बताता है कि उसका ब्रोकर एमुलेटर ऐतिहासिक OHLC डेटा के साथ काम करते समय कैंडल के भीतर की गति के बारे में धारणाएँ उपयोग करता है। हमारा अंतर: दर्ज उच्चतम और न्यूनतम भाव अकेले सभी कीमतों और ऑर्डरों का वास्तविक क्रम नहीं बताते। परीक्षण को संकेत बनने, ऑर्डर भेजे जाने और संभावित निष्पादन को अलग रखना चाहिए। बाद में ज्ञात चरम भाव के आधार पर प्रवेश या निकास चुनना, केवल आशावादी लागत मॉडल होने से अलग समस्या है। अधिक विस्तृत डेटा जाँच को बेहतर बना सकता है, लेकिन वास्तविक निष्पादन की गारंटी नहीं देता। [TradingView — Strategies: Broker Emulator and Lookahead Bias]

Freqtrade बार-बार किए गए परीक्षणों के परिणामों और संकेतकों या संकेतों में बदलाव की तुलना करता है; वह भविष्य की पंक्तियों तक पहुँच और पूरी तालिका पर समेकित गणनाओं की ओर भी ध्यान दिलाता है। इसलिए हमारी जाँच केवल पंक्ति खिसकाने की सिंटैक्स नहीं, हर गणना का स्रोत भी देखती है। दस्तावेज़ स्पष्ट रूप से जाँच को परीक्षण में सक्रिय हुए संकेतों तक सीमित करते हैं। टूल का त्रुटिरहित परिणाम उन शाखाओं की पुष्टि नहीं करता जो चली ही नहीं थीं। परिणाम को कवरेज और सिमुलेशन सेटिंग्स के साथ पढ़ना चाहिए; लिमिट ऑर्डर की कुछ सेटिंग्स गलत सकारात्मक निष्कर्ष दे सकती हैं। [Freqtrade — Lookahead Analysis]

TradingView, Look-ahead Bias को Overfitting से अलग करता है, जिसका अर्थ नियमों को विकास के विशेष डेटा के अनुरूप ढालना है। हमारा निष्कर्ष: समय की दृष्टि से वैध परीक्षण भी व्यापक खोज से चुने गए विजेता का परिणाम हो सकता है। इसके विपरीत, एक सरल नियम में भी भविष्य की जानकारी का रिसाव हो सकता है। सुधार के बाद परिणामों की दोबारा गणना और बदलाव का रिकॉर्ड आवश्यक है; मूल लाभदायक रिपोर्ट बनाए नहीं रखी जा सकती। ऐतिहासिक और बाद के परिणामों का अंतर अकेले यह नहीं बताता कि कारण समय की त्रुटि था, बाज़ार का बदलाव था या कोई अन्य धारणा। [TradingView — Strategies: Broker Emulator and Lookahead Bias]

NFA काल्पनिक परिणामों और वास्तविक ट्रेडिंग के बीच अंतर पर ध्यान दिलाता है। इसलिए हमारे पुनरुत्पाद्य रिकॉर्ड में डेटा और नियमों के संस्करण, इनपुट उपलब्ध होने का समय, खाते की स्थिति, ऑर्डरों का क्रम और बताई गई लागतें शामिल हैं। जाँच को केवल उस समय उपलब्ध जानकारी से निर्णय दोहराने में सक्षम होना चाहिए। Paper Trading अतिरिक्त निरंतर रिकॉर्ड दे सकता है, लेकिन अपने आप डेटा की सही तैयारी या वास्तविक तरलता की गारंटी नहीं देता। सिद्ध त्रुटि हटाना भविष्य के प्रतिफल का वादा नहीं है। [NFA — Use of Promotional Material Containing Hypothetical Performance Results]