Overfitting

تصف QuantConnect حالة Overfitting بأنها ملاءمة مفرطة لعينة تدريب محدودة تلتقط تفاصيلها وضجيجها على حساب النتائج في بيانات جديدة. تمييزنا: المشكلة ليست التعلم من التاريخ ذاته، بل اعتبار خاصية عينة معينة انتظامًا قابلًا للانتقال. في التداول يمكن أن تفرط حتى مجموعة شروط مكتوبة يدويًا في التكيف، وليس فقط نموذج آلي معقد. لذا لا يمثل المنحنى الجميل أو التقييم الجيد على بيانات التطوير تأكيدًا مستقلًا للإجراء بعد. [QuantConnect — Optimization Parameters]

توضح وثائق scikit-learn الفرق بين نموذج أبسط من أن يلتقط العلاقة ونموذج حساس لعينات تدريب معينة. استنتاجنا: عدد المعلمات وحده لا يكفي لتشخيص فرط التكيف. قد يساعد التبسيط أو تقييد مرونة النموذج، لكنه قد يزيل علاقة مفيدة أيضًا. ينبغي أن يستند القرار إلى تقييم محدد مسبقًا على بيانات منفصلة مناسبة. وحتى اختيار أبسط نسخة لاحقًا بناءً على اختبار سبق الاطلاع عليه لا يعيد إلى الاختبار دوره المستقل. [scikit-learn — Validation and Learning Curves]

ينبه Bailey وزملاؤه إلى الاكتشافات الزائفة عند تجربة الاستراتيجيات مرارًا على البيانات نفسها. استنتاجنا المنهجي: يجب تسجيل المرشحين السابقين وتغييرات القواعد ومعيار الاختيار، لا معلمات الفائز فقط. حتى الاستراتيجية النهائية البسيطة قد تنتج عن بحث واسع. ضغط الانتقاء غير ظاهر في وصفها الأخير. لا يمكن تحديد احتمال فرط التكيف من عدد النسخ وحده؛ فالبيانات وترابطاتها وطريقة البحث مهمة أيضًا. [Bailey et al. — The Probability of Backtest Overfitting]

يفصل مثال التحقق المتداخل في scikit-learn اختيار المعلمات الداخلي عن التقييم الخارجي لإجراء الاختيار كله. استخدام النتائج ذاتها للاختيار ولعرض الجودة ينتج تقييمًا مفرط التفاؤل. متطلبنا هو وصف هذا الحد قبل التجربة وإدراج المعالجة المسبقة واختيار المقاييس ضمن الانتقاء. إذا عدلنا التصميم لاحقًا بناءً على النتيجة الخارجية، فقد دخلت تلك المعلومات أيضًا في التطوير. البنية المتداخلة ليست إذنًا بالضبط المتكرر مقابل الاختبار النهائي نفسه. [scikit-learn — Nested versus Non-nested Cross-validation]

تحذر وثائق scikit-learn من أن التقسيم المعتاد الذي يفترض عينات مستقلة قد يشوه تقدير التعميم للبيانات المعتمدة على الزمن. لذلك يحافظ فحصنا للاختبار التداولي على ترتيب المعلومات ويتحقق مما إذا كان كل مدخل للقرار وكل ناتج مستهدف استُخدم للتدريب أو لاختيار القاعدة متاحًا بالفعل في الوقت المعني. لا ينبغي لفترة لاحقة أن تختار قاعدة للحظة سابقة. يساعد Walk-forward Analysis في وصف هذا التسلسل، لكن تكرار تعديل بروتوكوله بناءً على النتائج ذاتها يعود تطويرًا، لا دليلًا مستقلًا جديدًا. [scikit-learn — Cross-validation: Evaluating Estimator Performance]

تشترط scikit-learn تعلم التحويلات، مثل التطبيع أو اختيار السمات، على جزء التدريب وحده ثم تطبيقها على الاختبار. تمييزنا: تسرب المعلومات غير المتاحة وفرط التكيف مشكلتان مرتبطتان لكنهما ليستا متطابقتين. يمكن لاستراتيجية أن تتكيف مع الضجيج دون الوصول إلى صفوف مستقبلية؛ وقد ينتج التسرب بدوره تقييمًا متفائلًا حتى لنموذج بسيط. لذا نفحص الإجراء كاملًا من إعداد البيانات إلى القرار النهائي، لا تقسيم الجدول وحده. [scikit-learn — Common Pitfalls: Data Leakage]

تقارن منحنيات التحقق والتعلم في scikit-learn السلوك في جزأي التدريب والتحقق مع تغير الإعدادات أو كمية البيانات. حدنا التفسيري: النتيجة اللاحقة الأسوأ لا تثبت وحدها سببًا واحدًا. قد تتغير بيئة السوق أو جودة البيانات أو تكاليف التنفيذ، وقد تؤثر المصادفة في مقطع قصير. نفحص استقرار الإعدادات المجاورة واختلاف الظروف، لكننا نسجل كل بحث جديد بعد مشاهدة النتائج. ولا نقدم التشخيص بوصفه اعتمادًا إحصائيًا تلقائيًا. [scikit-learn — Validation and Learning Curves]

تنبه NFA إلى أن النتائج الافتراضية ليست تداولًا فعليًا ولا تعكس بالكامل السيولة أو الانزلاق أو الاستجابة لخسارة حقيقية. لذلك يفصل تقريرنا نتائج التطوير عن النتائج اللاحقة ويذكر جميع المحاولات المعروفة والتكاليف وقيود البيانات. يجب تسجيل قواعد أي تحقق إضافي قبل بدايته. انخفاض خطر الخطأ المنهجي ليس مساويًا لميزة تداول مثبتة. وحتى البيانات التي لم تُستخدم سابقًا لا تضمن نتيجة في ظروف السوق المستقبلية. [NFA — Use of Promotional Material Containing Hypothetical Performance Results]