Overfitting, 즉 과적합은 모델이나 규칙이 다른 데이터에도 통하는 관계보다 개발 데이터만의 특징을 배운 경우입니다. 거래에서는 최고 과거 성적만으로 부족합니다. 전략을 어떻게 골랐고 이후 데이터에서 어떻게 작동하는지도 알아야 합니다.
페터가 bitcoin 매수 규칙을 시험합니다. 과거 테스트에서 손실이 나자 평균의 계산 기간을 바꿉니다. 실패한 거래를 피하는 조건도 추가합니다. 곡선은 좋아지지만 이미 본 우연을 피해 가는 것뿐일 수 있습니다. QuantConnect는 이를 훈련 데이터의 세부 사항과 잡음에 맞추는 것으로 설명합니다. 과거에서 배우는 것이 문제는 아닙니다. 과거의 특수한 사정을 앞으로도 지속될 규칙성으로 착각하는 것이 문제입니다. [1]
모든 조건을 지우면 유용한 관계도 사라질 수 있습니다. scikit-learn은 두 극단을 보여 줍니다. 너무 단순한 모델은 관계를 놓치고, 너무 유연한 모델은 표본의 우연한 세부를 따라갈 수 있습니다. 설정 개수만으로 과적합을 진단할 수 없습니다. 단순한 절차도 복잡한 절차와 마찬가지로 적절히 분리된 데이터에서 정직하게 평가해야 합니다. 최종 테스트를 보고 나서 선택했다면 그 테스트는 이미 개발에 영향을 미쳤습니다. [2]
마지막 규칙이 짧다고 이전에 시험한 실패 버전의 수가 드러나는 것은 아닙니다. Bailey와 공동 저자들은 같은 데이터에서 시험을 반복하면 잘못된 발견이 나올 수 있다고 설명합니다. 승자의 예쁜 그래프뿐 아니라 후보, 변경 사항, 선택 방법도 보관해야 합니다. 단순한 결과도 큰 탐색의 산물일 수 있습니다. 다만 시도 횟수만으로 과적합 확률을 계산할 수는 없습니다. 데이터, 그 의존성, 선택 절차도 중요합니다. [3]
페터에게는 개발 데이터와 나중에 평가할 다른 데이터가 필요합니다. scikit-learn은 중첩 검증으로 이를 보여 줍니다. 안쪽에서 설정을 고르고 바깥쪽에서 전체 선택 과정을 평가합니다. 시험공부와 실제 시험을 생각하면 됩니다. 연습 최고 점수는 독립적인 성적이 아닙니다. 지표 선택과 입력 전처리도 개발에 속합니다. 최종 결과에 따라 규칙을 바꾸면 새 평가를 위해 다른 적절한 데이터가 필요합니다. 같은 시험은 더는 손대지 않은 시험이 아닙니다. [4]
사진 학습에서는 표본을 섞는 것이 합리적일 수 있습니다. 그러나 연속된 시장 관측에서는 비현실적 시험이 될 수 있으며, scikit-learn은 시간 의존성을 지적합니다. 매 시점 당시 이용할 수 있었던 입력만 써야 합니다. 학습이나 규칙 선택에 쓰는 결과도 이미 알려져 있어야 합니다. 끝나지 않은 거래는 확정된 결과가 아닙니다. Walk-forward Analysis는 오래된 데이터에서 이후 데이터로 나아갑니다. 하지만 같은 결과에 맞춰 절차를 반복 수정하면 새로운 증거를 주지 못합니다. [5]
페터가 테스트 행을 분리해도 그 전에 전체 표의 평균으로 입력을 변환했다면 테스트는 실제로 분리되지 않은 것입니다. 따라서 scikit-learn은 이런 변환을 훈련 부분에서만 학습하고 이후 테스트에 적용하라고 요구합니다. 당시 알 수 없었던 정보가 개발에 들어오는 것을 데이터 누출이라고 합니다. Overfitting과는 다릅니다. 미래 행 없이도 잡음을 배울 수 있고, 누출은 단순한 모델도 왜곡할 수 있습니다. 표의 경계뿐 아니라 전체 절차를 확인해야 합니다. [6]
전략이 다음 기간에 손실을 내면 과적합은 가능한 설명 중 하나일 뿐입니다. 시장 환경, 비용, 데이터 품질이 바뀌었을 수도 있고 짧은 구간은 우연에 크게 흔들립니다. scikit-learn은 설정이나 훈련 데이터 양을 바꿀 때 결과를 비교하는 검증 곡선과 학습 곡선을 제공합니다. 비슷한 설정에서 비슷한 결과가 나오는지 보는 것도 도움이 됩니다. 그러나 모든 새 조정은 개발로 기록합니다. 이 진단만으로 거래 우위가 통계적으로 입증되지는 않습니다. [2]
유용한 결론은 이익뿐 아니라 전략의 출발점, 변경 내용, 실제로 나중에 평가한 사항을 설명합니다. 개발 결과와 후속 결과를 분리하고 알려진 시도, 비용, 한계를 공개하세요. NFA는 가상 거래가 유동성, 가격 미끄러짐, 실제 손실에 대한 행동을 완전히 담지 못한다고 설명합니다. 이 단체의 광고 규칙은 특정 회원을 대상으로 합니다. 따라서 추가 검증은 규칙을 미리 기록하고 시작합니다. 방법 오류를 줄이는 일은 유용하지만, 쓰지 않은 데이터도 미래 시장 이익을 보장하지는 않습니다. [7]
선택 때의 승자가 다음 시험에서는 질 수 있다
더 정확히 이해하려면 이 항목과 함께 다음도 읽어 보세요 Backtesting, Walk-forward Analysis, Look-ahead Bias, Paper Trading, Trading Journal. 다음 항목에서도 이 글을 참조합니다 Technical analysis, Technical indicator, Moving average crossover, Relative Strength Index.
01단순한 전략도 과적합될 수 있나요?+
네. 짧은 최종 규칙이 같은 데이터에서 수많은 시도 끝에 이겼을 수 있습니다. 따라서 마지막 버전의 설정 개수뿐 아니라 전체 탐색을 평가합니다.
02새 데이터의 나쁜 성적이 과적합을 증명하나요?+
아닙니다. 시장 변화, 비용, 데이터 오류, 우연에 흔들린 짧은 구간도 설명이 될 수 있습니다. 차이는 방법과 조건을 조사할 계기이지 그 자체로 원인이나 과적합 확률을 결정하지는 않습니다.