Walk-forward Analysis

Peter mempunyai beberapa versi aturan perdagangan. Ia ingin memakai versi yang paling baik kinerjanya belakangan ini. Walk-forward Analysis menelusuri gagasan itu langkah demi langkah: memilih dari riwayat yang diketahui, mencatat hasil periode berikutnya, lalu memilih lagi. QuantConnect menjelaskan penyesuaian berkala seperti ini. Yang diuji juga cara memilih, bukan satu versi tetap saja. Kandidat, kriteria, dan waktu peninjauan berikutnya harus ditentukan sebelumnya. [1]

Jika Peter memilih versi karena laba masa lalunya, laba yang sama tidak memvalidasi pilihan itu secara independen. QuantConnect menjelaskan bahwa data tersebut sudah menjadi data pengembangan. Pertanyaan yang adil: bagaimana hasil versi itu setelah dipilih? Tes saat ini tidak boleh memilih pemenangnya sendiri. Setelah periode berakhir dan hasil tersedia, prosedur yang sudah ditentukan boleh memakainya untuk pemilihan selanjutnya. Itu tidak mengubah keputusan lama yang telah dicatat. [2]

Jendela pemilihan adalah rentang riwayat yang sedang dipakai. Jendela bergulir mempertahankan panjangnya dan membuang data tertua; jendela meluas mempertahankan titik awal dan menambah pengamatan. TimeSeriesSplit dari scikit-learn secara bawaan memperluas data pelatihan, tetapi ukurannya dapat dibatasi. Tentukan panjang dan frekuensi pembaruan sebelum tes. Dokumentasi mensyaratkan jarak pengamatan yang sama agar metrik sebanding; data tidak teratur juga perlu diperiksa durasi kalender sebenarnya. [3]

Bayangkan hasil pengamatan pelatihan terakhir baru selesai saat periode tes berikutnya berjalan. Saat pemilihan, hasil itu belum diketahui. Mengurutkan tabel berdasarkan waktu tidak memperbaikinya. Parameter gap pada TimeSeriesSplit dapat mengeluarkan pengamatan di akhir pelatihan. Jeda yang diperlukan mengikuti ketersediaan masukan dan selesainya hasil, bukan kurva terindah. Bahkan jeda tepat tidak membuktikan periode berdekatan saling independen atau menghilangkan semua bias. [3]

Kebocoran tidak harus terjadi di aturan perdagangan. Rata-rata untuk mengubah skala nilai mungkin dihitung dari seluruh berkas, termasuk tes masa depan. scikit-learn memperingatkan masalah serupa saat mengisi nilai kosong atau memilih fitur masukan. Pelajari transformasi itu hanya dari data pelatihan, lalu terapkan pada tes. Ulangi pemisahan setiap langkah; membagi tabel yang sudah diolah tidak membatalkan kebocoran. Simpan pula versi data dan waktu ketersediaannya. [4]

Hasil tiap periode tes harus digabungkan dengan benar. QuantConnect menjelaskan model harga dan jumlah pengisian yang dapat memasukkan spread dan Slippage. Evaluasi kami lalu memerlukan pembukuan yang jelas: jangan menambahkan laba pengembangan ke rekening tes atau diam-diam menghitung tes yang tumpang tindih berkali-kali. Saat berganti versi, jelaskan perlakuan posisi terbuka, modal, dan biaya perpindahan. Contoh di bawah menyederhanakannya dengan mengakhiri setiap periode tanpa posisi terbuka. [5]

Peter bisa terus mengganti panjang jendela, tujuan, atau kandidat hingga tes tampak bagus. Artinya, rangkaian tes itu juga telah dipakai untuk pengembangan. Bailey dan rekan-rekannya membahas keberhasilan kebetulan dari pencarian berulang pada data yang sama. Catat semua prosedur yang dicoba dan pisahkan validasi tambahan pada riwayat yang belum digunakan. Bergerak maju dalam waktu saja bukan jaminan statistik ataupun perkiraan kemungkinan overfitting, yakni terlalu menyesuaikan diri dengan data lama. [6]

Simpan batas jendela, kandidat, skor pemilihan, pilihan aktual, dan hasil tes berikutnya setelah biaya. Lengkapi jumlah akhir dengan kerugian, banyaknya pengamatan, dan pembanding dalam kondisi setara. NFA di AS mengingatkan bahwa hasil hipotetis tidak menangkap semua masalah likuiditas, slippage, atau perilaku saat rugi nyata; aturan promosinya mencakup anggota tertentu. Contoh kecil yang rugi tidak membantah seluruh metode. Jumlah positif pun tidak membuktikan keunggulan di masa depan. [7]