Backtesting

يعيد Backtesting تطبيق القواعد على بيانات تاريخية ويحسب النتيجة التي كانت ستحققها في ظل الافتراضات المختارة. يصفه بيلي وزملاؤه بأنه محاكاة تاريخية لاستراتيجية خوارزمية، ويحذرون في الوقت نفسه من خطر الاكتشافات الزائفة. وحدّنا التحريري هو أن النتيجة تخص نسخة معينة من القواعد والبيانات ونموذج التنفيذ. ولا تثبت أن أحدًا نفذ تلك الصفقات فعلًا. قد يكشف الحساب القابل لإعادة الإنتاج خطأ أو فكرة غير مناسبة، لكنه لا يحول الماضي بمفرده إلى توقع موثوق. [Bailey et al. — The Probability of Backtest Overfitting]

يصف QuantConnect الانحياز الذي يحدث عندما تستخدم المحاكاة معلومات مستقبلية، مثل البيانات المحاسبية قبل نشرها أو تصحيحاتها اللاحقة. ويشترط عقدنا الزمني الخاص تحديد وقت توافر كل مُدخل، لا مجرد تاريخ الفترة التي يخصها. لا يمكن لإشارة من شمعة مغلقة، دون افتراض إضافي، أن تحصل على صفقة بسعر لم يعد متاحًا. في مثالنا لا تُستخدم أسعار الإغلاق السابقة إلا للفترة التالية، ويحدد النموذج صراحة تنفيذها عند الافتتاح. [QuantConnect — Research Guide]

يحذر QuantConnect من اختبار الأوراق المالية التي بقيت حتى نهاية الفترة فقط، ومن تطبيق المكونات الحالية للمؤشر بأثر رجعي. وسؤالنا الأعم هو ما إذا كانت مجموعة البيانات التاريخية تحفظ أيضًا الأدوات التي كانت متاحة حينها ثم اختفت لاحقًا. يجب توثيق البيانات المفقودة وتغيرات المنهجية واختيار الأسواق. وفي محاكاة بيتكوين لا يمكن تلقائيًا اعتبار سعر لدى خدمة ما سعرًا قابلًا للتحقق لدى خدمة أخرى. نقاء البيانات يعني قابلية تتبع التصحيحات، لا حذف النتائج غير المريحة. [QuantConnect — Research Guide]

تفصل وثائق QuantConnect الإشارة والأمر عن النموذج الذي يحدد سعر التنفيذ وكميته. وتشير أيضًا إلى الفرق بين التنفيذ الجزئي في التداول الفعلي وافتراض التنفيذ الكامل في النماذج الجاهزة. ومطلبنا هو وصف متى يجوز تنفيذ الأمر، وما يحدث عند نقص السيولة، وكيفية التعامل مع السعر غير المحدث. مجرد ملامسة مستوى سعري في البيانات التاريخية لا يثبت توافر طرف مقابل لأمر بأي حجم. وتظل نتيجة نموذج التنفيذ افتراضًا في المحاكاة. [QuantConnect — Trade Fills: Key Concepts]

يصف QuantConnect مصطلح Slippage بأنه الفرق بين سعر التنفيذ المتوقع والفعلي، ويذكر تأثير التأخر والاتصال وظروف السوق؛ وقد يكون الانحراف مفيدًا أو ضارًا. يفصل فحصنا للتكاليف بين الرسوم وسعر التنفيذ وأي تكاليف أخرى للاحتفاظ بالمركز أو التمويل. لا يجوز خصم تكلفة سبق تضمينها في سعر التنفيذ مرة أخرى. القيمة الصفرية افتراض محدد للنموذج وليست دليلًا على سوق بلا تكاليف. وتساعد الحساسية لتكاليف أسوأ في تحديد ما إذا كان ربح تاريخي صغير يعتمد على إعدادات متفائلة. [QuantConnect — Slippage: Key Concepts]

تشرح وثائق TimeSeriesSplit التقسيم الزمني لتجنب تدريب النموذج على المستقبل وتقييمه على الماضي. ومطلبنا المنهجي هو تحديد فترة لتصميم القواعد وفترة للتحقق منها لاحقًا، قبل الاطلاع على النتائج. إذا عُدّلت القواعد مجددًا بعد الفشل بناء على فترة التحقق، فقد أثرت تلك الفترة بالفعل في التطوير. ولا يعالج التقسيم الزمني وحده تسرب المعلومات من المعالجة المسبقة أو الأهداف المتداخلة أو الاختيار المتكرر للنسخ. يجب وصف الإجراء وحدود البيانات معًا. [scikit-learn — TimeSeriesSplit]

يبين بيلي وزملاؤه أن البحث المتكرر عن أفضل إعداد باستخدام البيانات نفسها يزيد خطر الاكتشافات الزائفة والتكيف مع ضوضاء الماضي. وقاعدتنا للتقرير هي عرض تاريخ المحاولات، لا المنحنى الفائز وحده. ويشمل ذلك تغييرات المعلمات والفترات واختيار الأدوات. فالنتيجة المختارة بعد تجارب عديدة لا تحمل القيمة الاستدلالية نفسها لقاعدة محددة مسبقًا لم تتغير. ولا تُنفذ طريقتهم لتقدير احتمال فرط التكيّف في مثالنا البسيط، ولا يحل محلها تقسيم واحد للبيانات. [Bailey et al. — The Probability of Backtest Overfitting]

تحذر NFA من أن النتائج الافتراضية لا تعكس التداول الفعلي، وقد تستفيد من المعرفة اللاحقة وتُنمذج السيولة أو الانزلاق السعري أو السلوك عند خسارة حقيقية بصورة غير دقيقة. لذلك ينبغي أن يحفظ تقريرنا نسخ البيانات والكود والقواعد وافتراضات التنفيذ والتكاليف المشمولة والقائمة الكاملة للصفقات المحاكاة. يحتاج العائد الإجمالي إلى سياق المخاطر ومقارنة في ظروف متطابقة؛ ولا يكفي رسم جذاب منتقى. حتى التنفيذ البرمجي الخالي من الأخطاء للاختبار التاريخي لا يضمن قابلية التطبيق أو العائد في سوق مستقبلية. [NFA — Use of Promotional Material Containing Hypothetical Performance Results]