Survivorship Bias

Jana membuka daftar dana investasi yang tersedia sekarang dan membandingkan kinerja masa lalunya. Sebagian besar tampak bagus. Namun, dana yang sudah ditutup atau digabungkan tidak ada lagi. Jika daftar itu dipakai untuk menilai semua peserta pada awal periode, sebagian cerita akan hilang. QuantConnect menjelaskan kesalahan ini melalui pengujian historis yang hanya memasukkan sekuritas yang bertahan. Pertanyaan serupa berlaku untuk tabel proyek kripto: apakah kita meneliti kelompok awal, atau hanya proyek yang datanya masih mudah ditemukan? [1]

Jana boleh memakai daftar itu untuk membandingkan pilihan saat ini. Namun, ia tidak boleh menganggap kelompok yang persis sama sudah bisa dipilih pada awal periode. Saat itu, ia belum tahu siapa yang akan bertahan. Di sini Survivorship Bias bertemu Look-ahead Bias, yaitu penggunaan pengetahuan yang baru tersedia belakangan untuk keputusan sebelumnya. Pengujian historis memerlukan keanggotaan pada saat itu beserta aturan masuk dan keluar. Kelompok boleh berubah, tetapi berdasarkan informasi yang tersedia saat itu, bukan hasil yang diketahui sekarang. [1]

Itulah manfaat basis data yang menyimpan dana yang sudah ditutup, misalnya basis CRSP yang ditawarkan Morningstar. Namun, mengunduh lebih banyak baris belum menjawab pertanyaan Jana. Ia harus menentukan apa yang dihitung: dana yang berbeda, atau kelas unit penyertaan dengan biaya berbeda? Menganggap beberapa kelas dari dana yang sama sebagai dana independen bisa tanpa sengaja memperbesar bobotnya. Tentukan dahulu kelompok dan satuan perbandingan, lalu teliti hasilnya, termasuk dana yang kemudian tidak lagi ditawarkan. [2]

Saat menggabungkan tabel, Jana bisa kehilangan riwayat lainnya. Kode perdagangan mungkin telah berubah atau kemudian diberikan kepada sekuritas lain. Mencocokkan nama saja bisa mencampurkan hal berbeda; mencari hanya kode saat ini bisa melewatkan catatan lama. Basis saham CRSP memakai pengenal permanen, misalnya PERMNO untuk sebuah sekuritas. Tujuannya sederhana: mengetahui catatan mana yang berasal dari kasus yang sama meskipun namanya berubah. Tanggal perubahan dan kesinambungan antarcatatan juga harus dijaga. [3]

Harga yang hilang tidak bisa begitu saja diganti dengan kerugian total. Sekuritas mungkin diakuisisi, diselesaikan dengan uang tunai, atau tetap ada di luar bursa semula. Jawabannya bergantung pada peristiwa dan apa yang benar-benar diterima pemegangnya. LEAN, mesin simulasi perdagangan, dapat memproses penghapusan pencatatan. Hal itu saja tidak membuktikan harga jual yang bisa diperoleh di pasar nyata. Jana tidak boleh menghapus posisi atau menganggapnya terjual pada harga terakhir yang tampil. Jika penyelesaiannya tidak diketahui, ia perlu menjelaskan kekosongan itu dan dampak asumsi yang dipakai. [4]

Data awal yang baik tidak menjamin pilihan akhir yang benar. QuantConnect menjelaskan bahwa data fundamentalnya mencakup perusahaan yang sudah keluar dari bursa, tetapi memiliki cakupan tertentu dan kolom yang kosong. Jana bisa kemudian menggabungkan tabel dengan hanya mempertahankan kasus lengkap, sehingga perusahaan lain tersingkir tanpa disadari. Memilih berdasarkan ketersediaan data yang diperlukan bisa sah, asalkan sesuai pertanyaan dan informasi pada saat itu. Setiap pengecualian perlu memiliki alasan, waktu, dan dampak terhadap kelompok yang dapat dijelaskan. [5]

Menghilangkan kegagalan bisa memperindah masa lalu, tetapi tidak ada angka koreksi universal yang tinggal dikurangkan. Perusahaan sukses pun bisa keluar dari daftar setelah diakuisisi. Hasil bergantung pada siapa yang hilang, kinerjanya, dan bobot yang diberikan. Rata-rata sederhana imbal hasil juga bukan selalu imbal hasil portofolio nyata: besarnya setoran, waktu setoran, dan arus kas lain berpengaruh. Karena itu, model di bawah menggunakan setoran awal yang sama dalam periode bersama. Selisih angkanya berlaku untuk contoh ini, bukan semua pasar. [6]

Jana seharusnya bisa mendokumentasikan daftar awal, aturan perubahan, kasus yang dikeluarkan, dan nilai akhirnya. Setelah memperbaiki prosedur, ia menghitung ulang hasil, bukan menyebut laporan lama sebagai hasil yang sudah diperbaiki. Ia juga membedakan simulasi retrospektif dari riwayat yang benar-benar diamati selama berlangsung. S&P Dow Jones Indices menyebut riwayat indeks sebelum peluncuran sebagai hipotetis dan mengingatkan pengaruh pengetahuan belakangan. Keanggotaan yang benar belum menyelesaikan Overfitting, yaitu aturan yang terlalu menyesuaikan diri dengan data yang diteliti, ataupun biaya dan pelaksanaan transaksi. Riwayat yang lebih jujur memberi dasar lebih baik, bukan jaminan keuntungan mendatang. [6]