Overfitting berarti model atau aturan mempelajari kekhasan data pengembangan, bukan hubungan yang berlaku juga pada data lain. Dalam perdagangan, hasil historis terbaik saja tidak cukup: kita perlu tahu bagaimana strategi dipilih dan bagaimana hasilnya pada data berikutnya.
Peter menguji aturan membeli bitcoin. Pengujian historisnya rugi, jadi ia mengubah periode rata-rata. Lalu ia menambahkan syarat untuk menghindari transaksi yang gagal. Kurvanya membaik, tetapi mungkin ia hanya mengelak dari kebetulan yang sudah dilihat. QuantConnect menjelaskan ini sebagai penyesuaian terhadap detail dan derau data pelatihan. Belajar dari masa lalu bukan masalahnya. Masalahnya adalah menganggap kekhasan masa lalu sebagai pola yang akan bertahan. [1]
Peter bisa menghapus semua syarat, tetapi mungkin ikut menghilangkan hubungan yang berguna. scikit-learn menunjukkan kedua ekstrem: model terlalu sederhana gagal menangkap hubungan, sedangkan model terlalu lentur bisa mengikuti detail kebetulan. Jumlah pengaturan saja tidak menentukan overfitting. Prosedur sederhana memerlukan evaluasi jujur pada data yang dipisahkan dengan tepat, sama seperti prosedur rumit. Jika dipilih setelah melihat pengujian akhir, pengujian itu sudah memengaruhi pengembangan. [2]
Pada akhirnya Peter memperoleh aturan singkat. Aturan itu tidak menunjukkan berapa versi gagal yang dicoba sebelumnya. Bailey dan rekan-rekannya menjelaskan bagaimana pengujian berulang pada data yang sama dapat menghasilkan temuan palsu. Simpan kandidat, perubahan, dan cara pemilihan, bukan hanya grafik pemenang yang menarik. Hasil sederhana bisa berasal dari pencarian luas. Namun, jumlah percobaan saja tidak menentukan probabilitas overfitting; data, ketergantungannya, dan proses seleksi juga penting. [3]
Peter membutuhkan sebagian data untuk pengembangan dan data lain untuk evaluasi berikutnya. scikit-learn menggambarkannya melalui validasi bersarang: pengaturan dipilih di bagian dalam, sedangkan seluruh proses seleksi dinilai di bagian luar. Bayangkan belajar menghadapi ujian lalu mengikuti ujian itu sendiri. Nilai latihan terbaik bukan nilai independen. Pemilihan indikator dan pengolahan masukan juga termasuk pengembangan. Begitu hasil akhir digunakan untuk mengubah aturan, evaluasi baru memerlukan data lain yang sesuai; ujian yang sama tidak lagi belum tersentuh. [4]
Mengacak sampel bisa masuk akal saat belajar dari foto. Pada pengamatan pasar yang berurutan, hal itu bisa membuat pengujian tidak realistis; scikit-learn menekankan ketergantungan waktu. Peter hanya boleh memakai masukan yang tersedia saat itu. Hasil untuk melatih atau memilih aturan juga harus sudah tersedia: transaksi yang belum selesai belum merupakan hasil yang diketahui. Walk-forward Analysis bergerak dari data lama ke data berikutnya. Cara ini pun tidak memberi bukti baru jika prosedurnya terus diubah mengikuti hasil yang sama. [5]
Peter dapat memisahkan baris pengujian, tetapi sebelumnya menghitung rata-rata seluruh tabel untuk mengubah masukan. Pengujian itu tidak benar-benar terpisah. Karena itu scikit-learn mengharuskan transformasi semacam ini dipelajari hanya dari data pelatihan, lalu diterapkan pada data uji. Masuknya informasi yang belum tersedia saat itu disebut kebocoran data. Ini berbeda dari Overfitting: aturan bisa mempelajari derau tanpa baris masa depan, sementara kebocoran bisa menyimpangkan model sederhana. Periksa seluruh proses, bukan sekadar garis pemisah tabel. [6]
Strategi Peter rugi pada periode berikutnya. Overfitting mungkin penyebabnya, tetapi bukan satu-satunya. Kondisi pasar, biaya, atau mutu data bisa berubah; kebetulan sangat memengaruhi rentang pendek. scikit-learn menyediakan kurva validasi dan pembelajaran untuk membandingkan hasil ketika pengaturan atau jumlah data pelatihan berubah. Memeriksa apakah pengaturan yang berdekatan memberikan hasil serupa juga membantu. Namun, setiap penyesuaian baru dicatat sebagai pengembangan. Diagnosis ini sendiri tidak membuktikan keunggulan perdagangan secara statistik. [2]
Kesimpulan yang berguna menjelaskan asal strategi, perubahan, dan apa yang benar-benar diuji kemudian, bukan hanya keuntungannya. Pisahkan hasil pengembangan dan hasil berikutnya serta ungkapkan percobaan yang diketahui, biaya, dan batasan. NFA mengingatkan bahwa perdagangan hipotetis tidak sepenuhnya menangkap likuiditas, pergeseran harga, dan perilaku saat rugi sungguhan; aturan promosinya berlaku bagi anggota tertentu. Evaluasi berikutnya harus dimulai dengan aturan tertulis sebelumnya. Mengurangi kesalahan metode membantu, tetapi bahkan data yang belum pernah dipakai tidak menjamin laba pasar mendatang. [7]
Pemenang seleksi bisa kalah pada pengujian berikutnya
Untuk gambaran yang lebih utuh, baca entri ini bersama Backtesting, Walk-forward Analysis, Look-ahead Bias, Paper Trading, Trading Journal. Entri ini juga dirujuk dari Technical analysis, Technical indicator, Moving average crossover, Relative Strength Index.
01Bisakah strategi sederhana mengalami overfitting?+
Bisa. Aturan akhir yang singkat mungkin menang di antara banyak percobaan pada data yang sama. Karena itu kita menilai seluruh pencarian, bukan hanya jumlah pengaturan versi terakhir.
02Apakah hasil buruk pada data baru membuktikan overfitting?+
Tidak. Perubahan pasar, biaya, kesalahan data, atau rentang pendek yang dipengaruhi kebetulan juga bisa menjelaskannya. Perbedaan itu meminta pemeriksaan metode dan kondisi; sendirian ia tidak menentukan penyebab ataupun probabilitas overfitting.