Overfitting

पीटर bitcoin खरीदने का नियम जाँचता है। ऐतिहासिक परीक्षण में नुकसान होता है, तो वह औसत की अवधि बदलता है। फिर असफल सौदे छोड़ने की शर्त जोड़ता है। ग्राफ बेहतर होता है, लेकिन शायद वह केवल पहले देखे हुए संयोगों से बच रहा है। QuantConnect इसे प्रशिक्षण डेटा के विवरण और शोर के अनुरूप ढलना बताता है। अतीत से सीखना समस्या नहीं है। उसकी खास घटनाओं को आगे भी चलने वाला पैटर्न समझ लेना समस्या है। [1]

पीटर सारी शर्तें मिटा सकता है, लेकिन उपयोगी संबंध भी खो सकता है। scikit-learn दोनों छोर दिखाता है: बहुत सरल मॉडल संबंध पकड़ नहीं पाता, बहुत लचीला मॉडल आकस्मिक विवरणों का पीछा कर सकता है। इसलिए सेटिंग की संख्या अकेले Overfitting का निदान नहीं करती। सरल तरीके का भी जटिल तरीके जितना ईमानदार मूल्यांकन उचित रूप से अलग डेटा पर होना चाहिए। अंतिम परीक्षण देखने के बाद उसे चुना, तो वह परीक्षण पहले ही विकास को प्रभावित कर चुका है। [2]

अंत में पीटर का नियम छोटा है, लेकिन उसमें पहले आजमाए असफल संस्करणों की संख्या नहीं दिखती। Bailey और सहलेखक बताते हैं कि एक ही डेटा पर बार-बार परीक्षण झूठी खोजें दे सकता है। इसलिए केवल विजेता का सुंदर ग्राफ नहीं, उम्मीदवार, बदलाव और चुनने का तरीका भी सहेजें। सरल नतीजा बड़ी खोज का परिणाम हो सकता है। पर कोशिशों की संख्या से अकेले Overfitting की संभावना नहीं निकलती; डेटा, उसकी निर्भरता और चयन प्रक्रिया भी मायने रखते हैं। [3]

पीटर को विकास के लिए कुछ डेटा और बाद के मूल्यांकन के लिए दूसरा डेटा चाहिए। scikit-learn इसे नेस्टेड वैलिडेशन से समझाता है: अंदर सेटिंग चुनी जाती है, बाहर पूरी चयन प्रक्रिया का मूल्यांकन होता है। इसे परीक्षा की तैयारी और असली परीक्षा की तरह समझें। अभ्यास का सर्वोच्च अंक स्वतंत्र ग्रेड नहीं है। संकेतक चुनना और इनपुट तैयार करना भी विकास है। अंतिम नतीजे से नियम बदले, तो नई समीक्षा के लिए दूसरा उपयुक्त डेटा चाहिए; वही परीक्षा अब अनछुई नहीं रही। [4]

तस्वीरों से सीखते समय नमूने मिलाना उचित हो सकता है। क्रमिक बाजार अवलोकनों में इससे अवास्तविक परीक्षण बन सकता है; scikit-learn उनकी समय-संबंधी निर्भरता बताता है। पीटर हर समय केवल तब उपलब्ध इनपुट इस्तेमाल कर सकता है। प्रशिक्षण या चयन के लिए परिणाम भी उपलब्ध होने चाहिए: अधूरा सौदा अभी ज्ञात परिणाम नहीं है। Walk-forward Analysis पुराने डेटा से बाद के डेटा की ओर बढ़ता है। लेकिन उन्हीं नतीजों के आधार पर प्रक्रिया बार-बार बदलें, तो इससे भी नया प्रमाण नहीं मिलता। [5]

पीटर परीक्षण की पंक्तियाँ अलग कर सकता है, लेकिन उससे पहले पूरी तालिका का औसत निकालकर इनपुट बदल चुका हो। तब परीक्षण वास्तव में अलग नहीं है। इसलिए scikit-learn ऐसे बदलाव केवल प्रशिक्षण हिस्से से सीखने और फिर परीक्षण पर लागू करने को कहता है। उस समय अनुपलब्ध जानकारी का विकास में आना डेटा लीकेज कहलाता है। यह Overfitting से अलग है: भविष्य की पंक्तियों के बिना भी नियम शोर सीख सकता है, और लीकेज सरल मॉडल को भी बिगाड़ सकता है। केवल तालिका की सीमा नहीं, पूरा तरीका जाँचें। [6]

अगली अवधि में पीटर की रणनीति घाटा देती है। Overfitting संभावित कारण है, अकेला नहीं। बाजार, लागत या डेटा की गुणवत्ता बदल सकती है; छोटे अंतराल पर संयोग का बड़ा असर हो सकता है। scikit-learn सेटिंग या प्रशिक्षण डेटा की मात्रा बदलने पर परिणाम तुलना के लिए वैलिडेशन और लर्निंग कर्व देता है। पास-पास की सेटिंग से मिलते-जुलते नतीजे आते हैं या नहीं, यह देखना भी उपयोगी है। पर हर नया बदलाव विकास के रूप में लिखें। ऐसा निदान अपने आप ट्रेडिंग बढ़त का सांख्यिकीय प्रमाण नहीं है। [2]

उपयोगी निष्कर्ष कमाई के साथ रणनीति का स्रोत, बदलाव और सचमुच बाद में जाँची गई बातें बताता है। विकास और बाद के परिणाम अलग रखें; ज्ञात कोशिशें, लागत और सीमाएँ लिखें। NFA याद दिलाता है कि काल्पनिक ट्रेडिंग तरलता, कीमत का खिसकाव और असली नुकसान के समय व्यवहार पूरी तरह नहीं दिखाती; उसके प्रचार नियम निर्धारित सदस्यों पर लागू हैं। इसलिए आगे की समीक्षा पहले से लिखे नियमों के साथ शुरू होती है। तरीके की गलतियाँ घटाना उपयोगी है, लेकिन अब तक न इस्तेमाल हुआ डेटा भी भविष्य के बाजार में लाभ की गारंटी नहीं देता। [7]