Look-ahead Bias

Peter memakai komputer untuk mencoba bagaimana aturannya akan berdagang di masa lalu. Tabel sudah memuat seluruh riwayat, sehingga program dapat tanpa sengaja membaca sesuatu yang belum bisa diketahui Peter saat itu. Begitulah QuantConnect menjelaskan Look-ahead Bias. Untuk setiap masukan, tanyakan apakah informasi itu sudah tersedia ketika aturan membuat keputusan. Tanggal saja mungkin tidak cukup. Peristiwa dapat terjadi pagi hari, diberitakan kemudian, dan baru sampai kepada trader lebih belakangan. Pengujian harus mengikuti urutan tersebut, bukan hanya mengurutkan baris menurut tanggal. [2]

Lilin harga merangkum satu periode: harga pembukaan, penutupan, tertinggi, terendah, dan volume. Selama periode masih berjalan, nilai akhirnya belum diketahui. Karena itu, Peter tidak bisa membeli pada awal periode berdasarkan harga tertinggi akhir dari lilin yang sama. LEAN, mesin yang digunakan QuantConnect, menyerahkan data yang sudah lengkap menurut EndTime, yaitu waktu berakhirnya. Ketika menggabungkan periode pendek dan panjang, ketersediaan perlu diperiksa untuk setiap deret. Menggeser satu baris hanya membantu jika benar-benar sesuai dengan waktu ketersediaan data, termasuk zona waktu dan keterlambatan. [1]

Peter mengunduh angka ekonomi dengan tanggal dari bulan-bulan lalu. Namun, beberapa angka sudah diperbaiki sejak saat itu. Memakai nilai revisi hari ini dalam keputusan dahulu menambahkan pengetahuan yang belum ada. St. Louis Fed karena itu membedakan pandangan masa lalu dari hari ini dalam FRED dengan versi historis melalui ALFRED. Untuk data seperti ini, kita memerlukan versi yang sudah diterbitkan saat itu. Tanggal bulan yang diukur belum cukup; bahkan versi historis bertanggal harian belum membuktikan tepat kapan data tersedia pada hari tersebut. [3]

Peter memisahkan data lama untuk pelatihan dan data baru untuk pengujian. Namun, ia kemudian menghitung rata-rata seluruh tabel untuk mengubah masukan. Informasi masa depan masuk lagi melalui jalur lain. Dokumentasi pustaka pembelajaran mesin scikit-learn karena itu meminta agar transformasi dipelajari hanya dari bagian pelatihan, lalu diterapkan pada bagian pengujian. Pengisian nilai kosong dan pemilihan masukan juga perlu diperiksa. Perhatikan pula hasil yang dipakai untuk belajar: transaksi yang baru dibuka belum memiliki hasil akhir yang diketahui. Kita boleh menilainya nanti, tetapi tidak boleh mengembalikan hasil itu ke pelatihan yang lebih awal. [4]

Lilin historis menunjukkan harga tertinggi dan terendah, tetapi tidak memulihkan seluruh urutan transaksi nyata. TradingView karena itu menjelaskan asumsi simulator tentang gerakan harga di dalam lilin. Peter perlu membedakan terbentuknya sinyal, pengiriman order, dan kemungkinan waktu pelaksanaannya. Menjual pada harga tertinggi yang baru ditemukan kemudian bukan aturan yang tersedia hanya karena simulasi dapat menemukan harga itu. Kebocoran informasi masa depan dan asumsi eksekusi yang terlalu menguntungkan merupakan kesalahan berbeda. Data lebih rinci dapat membantu, tetapi tidak menjamin eksekusi nyata. [5]

Freqtrade Lookahead Analysis membandingkan pengujian berulang dan mencari perubahan indikator atau sinyal. Alat ini dapat mengungkap perhitungan yang membaca baris masa depan. Namun, ia tidak memeriksa cabang keputusan yang sama sekali tidak dijalankan selama pengujian. Jadi, selain hasil, kita perlu mengetahui cakupannya. Dokumentasi juga memperingatkan kemungkinan temuan keliru, misalnya ketika strategi berperilaku berbeda pada satu pasar dibandingkan seluruh kelompok pasar. Hasil bersih tidak membuktikan semuanya, dan perbedaan yang ditemukan perlu dijelaskan. Menelusuri asal data tetap bagian dari pekerjaan. [6]

Peter menghapus masukan masa depan, lalu hasil bagusnya memburuk. Laporan lama tidak boleh lagi ditampilkan sebagai hasil prosedur yang telah diperbaiki. Namun, perbaikan itu belum menyelesaikan semua pemeriksaan. TradingView membedakan Look-ahead Bias dari Overfitting: aturan terlalu menyesuaikan diri dengan keunikan data yang dipakai saat pengembangannya. Ini dapat terjadi tanpa informasi masa depan. Sebaliknya, aturan yang sangat sederhana pun dapat mengandung kesalahan waktu. Perbedaan antara kinerja historis dan kinerja berikutnya saja tidak menunjukkan masalah mana, atau perubahan pasar apa, yang menyebabkannya. [5]

Catatan yang berguna memungkinkan kita menyusun kembali apa yang diketahui Peter saat itu: versi data, aturan, keadaan akun, masukan yang tersedia, dan order yang dikirim. Tambahkan asumsi eksekusi serta biaya. Paper Trading, yaitu latihan berdagang tanpa uang nyata, dapat menyediakan catatan berjalan, tetapi simulasi tetap berbeda dari perdagangan nyata. Organisasi Amerika Serikat National Futures Association (NFA) menyoroti keterbatasan hasil hipotetis terkait likuiditas, selisih harga yang diharapkan dan harga eksekusi, serta keputusan di bawah tekanan kerugian; aturan promosinya berlaku bagi anggota tertentu. Menghapus kesalahan waktu membuat pengujian lebih jujur, bukan menjanjikan laba masa depan. [7]