Survivorship Bias: 무엇인가요? 정의, 맥락 및 출처

01Survivorship Bias: 무엇인가요?

Survivorship Bias는 살아남았거나 여전히 관측 가능한 사례를 골라 그 결과를 원래 집단 전체의 결과로 잘못 제시하는 선택 편향입니다. 현재 상품을 살펴보는 것 자체가 오류는 아닙니다. 선택한 자료로 어떤 질문에 답하려는지가 중요합니다.

02이 이야기에서 누가 빠졌을까?

야나는 현재 펀드 목록을 열어 과거 성과를 비교합니다. 대부분 좋아 보입니다. 하지만 그사이 폐쇄되거나 합병된 펀드는 찾을 수 없습니다. 이 목록으로 당시 시작한 모든 펀드의 결과를 판단한다면 이야기의 일부가 빠집니다. QuantConnect는 살아남은 증권만 사용하는 과거 검증으로 이 문제를 설명합니다. 암호화폐 프로젝트 표에서도 같은 질문을 할 수 있습니다. 처음의 집단을 연구하는 걸까요, 아니면 지금도 자료를 쉽게 구할 수 있는 프로젝트만 보는 걸까요? [1]

03오늘의 목록을 그대로 과거에 놓을 수는 없다

야나는 현재 판매되는 상품을 비교하려고 이 목록을 사용할 수 있습니다. 하지만 관측 기간이 시작될 때도 정확히 같은 집단을 선택할 수 있었다고 가정해서는 안 됩니다. 누가 살아남을지 당시에는 몰랐기 때문입니다. 여기서 Survivorship Bias는 나중에 알게 된 정보를 이전 결정에 사용하는 Look-ahead Bias와 만납니다. 과거 검증에는 당시 구성과 편입·제외 규칙이 필요합니다. 집단은 변해도 되지만, 오늘 확인된 결과가 아니라 그때 이용할 수 있었던 정보에 따라 변해야 합니다. [1]

04종료된 펀드에도 역사는 남는다

그래서 종료된 펀드까지 보존하는 데이터베이스가 유용합니다. Morningstar가 제공하는 CRSP 데이터베이스가 그 예입니다. 다만 자료의 행 수를 늘리는 것만으로 야나의 질문에 답할 수는 없습니다. 서로 다른 펀드를 세는지, 수수료가 다른 지분 클래스를 세는지 정해야 합니다. 한 펀드의 여러 클래스를 독립된 펀드로 취급하면 의도치 않게 그 펀드의 비중이 커질 수 있습니다. 먼저 집단과 비교 단위를 정하고, 이후 판매가 중단된 대상까지 포함해 성과를 살펴봅니다. [2]

05이름이 바뀌어도 같은 대상일 수 있다

표를 합칠 때도 과거 기록을 잃을 수 있습니다. 거래 기호가 바뀌었거나 나중에 다른 증권에 배정되었을 수 있기 때문입니다. 같은 이름만 보고 연결하면 다른 대상을 섞을 수 있고, 현재 기호만 검색하면 옛 기록을 놓칠 수 있습니다. CRSP 주식 데이터베이스는 증권을 식별하는 PERMNO 같은 영구 식별자를 사용합니다. 이름이 바뀌어도 어떤 기록이 같은 대상에 속하는지 확인하는 것이 목적입니다. 변경 날짜와 기록 간 연결도 함께 보존해야 합니다. [3]

06상장 폐지가 곧 가치가 없다는 뜻은 아니다

가격이 없다고 곧바로 전액 손실로 바꿀 수는 없습니다. 해당 증권이 인수되거나 현금으로 정산되었을 수도 있고, 원래 거래소 밖에서 계속 존재할 수도 있습니다. 실제 사건과 보유자가 무엇을 받았는지가 중요합니다. 거래 시뮬레이션 엔진인 LEAN은 상장 폐지 사건을 처리할 수 있지만, 그것만으로 실제 시장에서 가능한 매도 가격을 증명하지는 않습니다. 야나는 포지션을 지우거나 마지막 표시 가격에 팔았다고 가정해서는 안 됩니다. 정산 내용을 모른다면 그 공백과 선택한 가정이 결과에 미치는 영향을 밝혀야 합니다. [4]

07자료를 정리하다 편향을 다시 만들 수도 있다

좋은 원자료가 올바른 최종 표본을 보장하지는 않습니다. QuantConnect는 자사의 기업 기초자료가 상장 폐지 기업을 포함하지만 범위가 정해져 있고 일부 항목은 비어 있다고 설명합니다. 야나가 나중에 표를 합치면서 모든 값이 있는 사례만 남기면 다른 기업들이 조용히 사라질 수 있습니다. 필요한 자료가 있는지를 기준으로 고르는 것은 정당할 수 있지만, 질문과 당시 정보에 맞아야 합니다. 각 제외의 이유와 시점, 연구 대상 집단에 미치는 영향을 설명할 수 있어야 합니다. [5]

08결과는 얼마나 달라질까?

실패 사례를 빼면 과거가 좋아 보일 수 있지만, 일률적으로 빼면 되는 보정값은 없습니다. 성공한 기업도 인수 후 목록을 떠날 수 있습니다. 누가 빠졌는지, 성과가 어땠는지, 계산에서 어떤 비중을 차지하는지에 따라 달라집니다. 수익률의 단순 평균도 일반적으로 실제 포트폴리오 수익률과 같지 않습니다. 투입 금액과 시기, 다른 현금 흐름이 중요하기 때문입니다. 아래 모형은 같은 기간에 동일한 초기 금액을 투자합니다. 그 수치 차이는 이 사례의 결과이지 모든 시장에 적용되는 값이 아닙니다. [6]

09수정 후 무엇을 추적할 수 있어야 할까?

야나는 원래 목록, 구성 변경 규칙, 제외된 사례와 최종 가치를 입증할 수 있어야 합니다. 수정했다면 다시 계산해야 하며 예전 보고서를 수정된 결과처럼 제시해서는 안 됩니다. 사후 시뮬레이션과 실제로 그때그때 관찰한 기록도 구별해야 합니다. S&P Dow Jones Indices는 지수 출시 전의 기록을 가상 결과로 분류하고 사후 지식의 영향을 지적합니다. 구성을 바로잡아도 연구 자료에 규칙을 지나치게 맞추는 Overfitting, 비용, 거래 실행 가능성 문제는 남습니다. 더 정직한 과거 설명은 더 나은 근거이지 미래 수익의 보장이 아닙니다. [6]

예시예시 · SURV

결과는 같은데 목록이 달라진다면

네 투자 A, B, C, D를 같은 기간에 동시에 관찰한다고 가정합니다. 처음에는 모두 선택 규칙을 충족하고 각각 100 USD를 받습니다. 부채, 레버리지, 기간 중 추가 입금이나 출금은 없습니다. 정산과 필요한 비용을 포함한 최종 가치는 [120, 110, 80, 60] USD입니다. 따라서 단순 수익률은 [20, 10, -20, -40] %입니다. 그런데 현재 목록에는 A와 B만 남아 있으며 이를 [1, 1, 0, 0]으로 표시합니다. C와 D는 목록에서 사라졌을 뿐 원래 투자 경험에서 사라진 것이 아닙니다. 최종 가치가 알려져 있으므로 영으로 바꾸지 않습니다. 전체 집단은 400 USD로 시작해 370 USD로 끝납니다. 결과는 -30 USD, 수익률은 -7.5 %입니다. 초기 투자금이 같으므로 이 값은 네 수익률의 단순 평균이기도 합니다. 사후에 A와 B만 남기면 초기 200 USD와 최종 230 USD를 비교하게 됩니다. 이익은 30 USD, 수익률은 15 %입니다. 전체 집단과의 차이는 22.5퍼센트포인트이며, 한 수익률이 다른 수익률에 비해 몇 퍼센트 증가했는지를 뜻하지 않습니다. 그래프는 각 투자 수익률과 오늘 목록에 남은 대상을 보여줍니다. 네 번의 연속 거래나 시계열이 아닙니다. 처음에는 그 둘이 미래에 살아남을지 몰랐으므로 이 사후 선택은 당시 실행할 수 있었던 규칙을 입증하지 못합니다. 숫자는 가상이며 펀드나 Bitcoin의 실제 성과가 아닙니다. 다른 자료에서는 편향의 크기와 방향도 달라질 수 있습니다.

결과가 설명해야 할 원래 집단부터 정하세요.
과거 결정에는 당시 구성과 당시 이용 가능한 정보를 사용하세요.
기록이 없다고 가치가 자동으로 영이 되거나 사례를 삭제해도 되는 것은 아닙니다.
대상의 정체성, 제외, 정산, 계산상의 비중을 확인하세요.

맥락과 함께 읽기

더 정확히 이해하려면 이 항목과 함께 다음도 읽어 보세요 Backtesting, Overfitting, Walk-forward Analysis, Look-ahead Bias, Paper Trading. 다음 항목에서도 이 글을 참조합니다 Look-ahead Bias.

?실용적인 질문

01현재 판매되는 펀드를 비교하면 잘못인가요?

아닙니다. 질문이 현재 상품에 관한 것이라면 괜찮습니다. 문제는 그 집단의 결과를 과거에 이용할 수 있었던 모든 펀드의 경험으로 제시할 때 생깁니다. 나중에 종료된 펀드도 그런 평가에서는 빠져서는 안 됩니다.

02기록이 없는 사례는 전액 손실로 계산해야 하나요?

자동으로 그렇게 계산해서는 안 됩니다. 가격이 없거나 판매 목록에서 빠졌다는 사실만으로 보유자가 무엇을 받았는지는 알 수 없습니다. 실제 정산을 확인하거나 모형의 가정과 영향을 명시하세요. 모르는 가치를 영과 혼동하거나 사례를 몰래 제외하지 마세요.