Overfitting

QuantConnect menjelaskan Overfitting sebagai penyesuaian terlalu dekat dengan himpunan pelatihan terbatas, yang menangkap detail dan deraunya dengan mengorbankan hasil pada data baru. Pembedaan kami: masalahnya bukan belajar dari sejarah itu sendiri, melainkan menganggap sifat sampel tertentu sebagai keteraturan yang dapat dialihkan. Dalam perdagangan, kumpulan syarat yang disusun manual pun dapat terlalu sesuai dengan sampel, bukan hanya model otomatis yang rumit. Kurva yang indah atau skor bagus pada data pengembangan belum merupakan konfirmasi independen atas prosedur tersebut. [QuantConnect — Optimization Parameters]

Dokumentasi scikit-learn menunjukkan perbedaan antara model terlalu sederhana yang tidak mampu menangkap hubungan dan model yang sensitif terhadap sampel pelatihan tertentu. Implikasi kami: jumlah parameter saja tidak cukup untuk menetapkan overfitting. Menyederhanakan atau membatasi keluwesan model dapat membantu, tetapi juga dapat menghilangkan hubungan yang berguna. Keputusan harus berdasarkan penilaian yang ditetapkan sebelumnya pada data terpisah yang sesuai. Bahkan pemilihan varian paling sederhana berdasarkan tes yang sudah dilihat tidak mengembalikan peran independen tes itu. [scikit-learn — Validation and Learning Curves]

Bailey dan rekan penulis menyoroti temuan palsu ketika strategi berulang kali dicoba pada data yang sama. Kesimpulan metodologis kami: catat bukan hanya parameter pemenang, tetapi juga kandidat sebelumnya, perubahan aturan, dan kriteria pemilihan. Strategi akhir yang sederhana pun dapat dihasilkan oleh pencarian yang luas. Tekanan seleksi tidak terlihat dari deskripsi akhirnya. Probabilitas overfitting tidak dapat ditentukan hanya dari jumlah varian; data, ketergantungannya, dan metode pencarian juga berpengaruh. [Bailey et al. — The Probability of Backtest Overfitting]

Contoh validasi bertingkat dalam scikit-learn memisahkan pemilihan parameter di bagian dalam dari penilaian seluruh prosedur pemilihan di bagian luar. Menggunakan hasil yang sama untuk memilih dan menyajikan kualitas menghasilkan skor yang terlalu optimistis. Persyaratan kami adalah menjelaskan batas ini sebelum percobaan, serta memasukkan prapemrosesan dan pemilihan indikator ke dalam seleksi. Jika rancangan selanjutnya diubah berdasarkan hasil luar, informasi itu pun telah masuk ke pengembangan. Struktur bertingkat tidak mengizinkan penyetelan berulang terhadap tes akhir yang sama. [scikit-learn — Nested versus Non-nested Cross-validation]

Dokumentasi scikit-learn memperingatkan bahwa pembagian biasa yang mengasumsikan sampel independen dapat mengacaukan perkiraan generalisasi untuk data yang bergantung pada waktu. Karena itu, pemeriksaan tes perdagangan kami mempertahankan urutan informasi dan memeriksa apakah setiap masukan keputusan serta setiap hasil target yang dipakai untuk pelatihan atau pemilihan aturan sudah tersedia pada waktunya. Periode berikutnya tidak boleh memilih aturan bagi saat yang lebih awal. Walk-forward Analysis membantu menjelaskan urutan ini, tetapi perubahan protokolnya berulang kali berdasarkan hasil yang sama kembali merupakan pengembangan, bukan bukti independen baru. [scikit-learn — Cross-validation: Evaluating Estimator Performance]

scikit-learn mengharuskan transformasi, seperti normalisasi atau seleksi fitur, dipelajari hanya dari bagian pelatihan sebelum diterapkan ke bagian tes. Pembedaan kami: kebocoran informasi yang belum tersedia dan overfitting berkaitan, tetapi bukan masalah yang sama. Strategi bisa menyesuaikan diri dengan derau tanpa akses ke baris masa depan; kebocoran pada gilirannya dapat menghasilkan skor optimistis bahkan untuk model sederhana. Karena itu, kami memeriksa seluruh prosedur dari persiapan data hingga keputusan akhir, bukan hanya pembagian tabel. [scikit-learn — Common Pitfalls: Data Leakage]

Kurva validasi dan pembelajaran dalam scikit-learn membandingkan perilaku pada bagian pelatihan dan validasi saat pengaturan atau jumlah data berubah. Batas penafsiran kami: hasil berikutnya yang lebih buruk tidak dengan sendirinya membuktikan satu penyebab tunggal. Lingkungan pasar, kualitas data, atau biaya eksekusi dapat berubah; kebetulan dapat memengaruhi segmen pendek. Kami meneliti kestabilan pengaturan yang berdekatan serta perbedaan kondisi, tetapi mencatat setiap pencarian baru setelah melihat hasil. Diagnosis tidak kami sajikan sebagai sertifikasi statistik otomatis. [scikit-learn — Validation and Learning Curves]

NFA memperingatkan bahwa hasil hipotetis bukan perdagangan nyata dan tidak sepenuhnya menangkap likuiditas, selisih harga eksekusi, atau reaksi terhadap kerugian nyata. Laporan kami karena itu memisahkan hasil pengembangan dan hasil berikutnya, serta menyebut semua percobaan yang diketahui, biaya, dan keterbatasan data. Verifikasi tambahan harus memiliki aturan tercatat sebelum dimulai. Risiko kesalahan metodologis yang lebih rendah tidak sama dengan keunggulan perdagangan yang terbukti. Bahkan data yang belum pernah dipakai tidak dapat menjamin hasil dalam kondisi pasar mendatang. [NFA — Use of Promotional Material Containing Hypothetical Performance Results]