Overfitting

يجرب بيتر قاعدة لشراء bitcoin. يخسر الاختبار التاريخي، فيغيّر فترة المتوسط، ثم يضيف شرطًا يتجنب الصفقات غير الناجحة. يتحسن المنحنى، لكنه ربما يلتف فقط حول مصادفات سبق أن رآها. تصف QuantConnect ذلك بالتكيف مع تفاصيل بيانات التدريب وضجيجها. ليست المشكلة في التعلم من الماضي، بل في اعتبار خصوصياته نمطًا سيستمر لاحقًا. [1]

قد يحذف بيتر جميع الشروط، لكنه قد يفقد علاقة مفيدة أيضًا. تعرض scikit-learn الطرفين: نموذج شديد البساطة لا يلتقط العلاقة، وآخر شديد المرونة قد يتبع التفاصيل العارضة. لذلك لا يكفي عدد الإعدادات لتشخيص فرط التكيّف. الإجراء البسيط يحتاج تقييمًا أمينًا على بيانات مفصولة بصورة مناسبة مثل الإجراء المعقد. وإذا اختير بعد الاطلاع على الاختبار النهائي، فقد أصبح هذا الاختبار جزءًا من التطوير. [2]

ينتهي بيتر بقاعدة قصيرة، لكنها لا تكشف عدد النسخ الفاشلة التي جربها أولًا. يوضح Bailey وزملاؤه كيف يمكن لتكرار الاختبارات على البيانات نفسها أن ينتج اكتشافات زائفة. احتفظ بالمرشحين والتعديلات وطريقة الاختيار، لا بالرسم الجميل للفائز فقط. قد تأتي النتيجة البسيطة من بحث واسع. لكن عدد المحاولات وحده لا يحدد احتمال فرط التكيّف؛ فالبيانات وترابطها وطريقة الانتقاء مهمة أيضًا. [3]

يحتاج بيتر بيانات للتطوير وأخرى للتقييم اللاحق. توضح scikit-learn ذلك بالتحقق المتداخل: تُختار الإعدادات داخليًا، ويُقيّم مسار الاختيار كله خارجيًا. يشبه الأمر الاستعداد للامتحان ثم خوضه. أفضل درجة في التدريب ليست تقييمًا مستقلًا. اختيار المؤشرات وتهيئة المدخلات جزء من التطوير أيضًا. متى عدلنا القواعد بناءً على النتيجة النهائية، احتجنا إلى بيانات مناسبة أخرى لتقييم جديد؛ لم يعد الامتحان نفسه غير مستخدم. [4]

قد يكون خلط العينات مناسبًا للتعلم من الصور. لكنه قد يصنع اختبارًا غير واقعي للمشاهدات السوقية المتتابعة؛ تشير scikit-learn إلى اعتمادها الزمني. لا يجوز لبيتر استخدام إلا المدخلات المتاحة حينها. ويجب أن تكون نتائج تدريب القاعدة أو اختيارها متاحة أيضًا؛ فالصفقة غير المنتهية ليست نتيجة معلومة. تنتقل Walk-forward Analysis من البيانات الأقدم إلى الأحدث. لكنها لا تقدم دليلًا جديدًا إذا أُعيد تعديل إجراءها مرارًا وفق النتائج نفسها. [5]

قد يفصل بيتر صفوف الاختبار، لكنه يكون قد حسب متوسط الجدول كله لتحويل المدخلات. عندئذ لا يكون الاختبار منفصلًا فعلًا. لذلك تشترط scikit-learn تعلم هذه التحويلات من قسم التدريب فقط ثم تطبيقها على الاختبار. دخول معلومات لم تكن متاحة حينها يسمى تسرب البيانات. وهو مختلف عن Overfitting: يمكن تعلم الضجيج دون صفوف مستقبلية، ويمكن للتسرب أن يشوه نموذجًا بسيطًا. افحص المسار الكامل، لا حد الفصل داخل الجدول فقط. [6]

تخسر استراتيجية بيتر في الفترة التالية. فرط التكيّف تفسير محتمل، لا الوحيد. ربما تغير السوق أو التكاليف أو جودة البيانات، وقد تؤثر المصادفة كثيرًا في فترة قصيرة. توفر scikit-learn منحنيات التحقق والتعلم لمقارنة النتائج عند تغيير الإعدادات أو حجم بيانات التدريب. يفيد أيضًا فحص ما إذا كانت الإعدادات المتقاربة تعطي نتائج متقاربة. لكن كل تعديل جديد يُسجل كتطوير. هذا التشخيص وحده لا يثبت أفضلية تداول إحصائيًا. [2]

الخلاصة المفيدة تشرح أصل الاستراتيجية وتعديلاتها وما اختُبر فعلًا لاحقًا، إلى جانب أرباحها. افصل نتائج التطوير عن النتائج اللاحقة، واذكر المحاولات المعروفة والتكاليف والحدود. تذكّر NFA بأن التداول الافتراضي لا يعكس بالكامل السيولة وانزلاق السعر والسلوك أمام خسارة حقيقية؛ وقواعدها الترويجية تخص أعضاء محددين. لذلك يبدأ التقييم التالي بقواعد مسجلة مسبقًا. تقليل أخطاء المنهج مفيد، لكن حتى البيانات التي لم تُستخدم بعد لا تضمن ربحًا في سوق المستقبل. [7]