Overfitting

Pedro testa uma regra para comprar bitcoin. O teste histórico perde dinheiro, por isso muda o período da média. Depois acrescenta uma condição para evitar operações mal sucedidas. A curva melhora, mas talvez esteja apenas a contornar acasos já observados. A QuantConnect descreve assim o ajuste aos detalhes e ao ruído dos dados de treino. Aprender com o passado não é o problema. Confundir as suas particularidades com uma regularidade duradoura é. [1]

Pedro poderia apagar todas as condições, mas também perder uma relação útil. O scikit-learn mostra os dois extremos: um modelo demasiado simples não capta a relação; um demasiado flexível pode seguir detalhes acidentais. O número de configurações não determina, por si só, o sobreajuste. Um procedimento simples exige a mesma avaliação honesta em dados adequadamente separados que um complexo. Se for escolhido depois de observar o teste final, esse teste já influenciou o desenvolvimento. [2]

Pedro acaba com uma regra curta. Ela não mostra quantas versões falhadas experimentou antes. Bailey e os coautores descrevem como testar repetidamente os mesmos dados pode gerar falsas descobertas. Guarde candidatos, alterações e método de seleção, não apenas o gráfico bonito do vencedor. Um resultado simples pode surgir de uma pesquisa extensa. Mas o número de tentativas não basta para calcular a probabilidade de sobreajuste: os dados, as dependências e o processo de escolha também importam. [3]

Pedro precisa de alguns dados para desenvolver e de outros para avaliar mais tarde. O scikit-learn ilustra isto com validação aninhada: dentro escolhem-se configurações, fora avalia-se o processo inteiro de seleção. É como estudar para um exame e depois fazê-lo. A melhor nota dos exercícios não é uma classificação independente. Escolher indicadores e preparar entradas também faz parte do desenvolvimento. Se o resultado final levar a mudar as regras, a nova avaliação precisa de outros dados adequados; o mesmo exame já não está intacto. [4]

Misturar exemplos pode fazer sentido ao aprender com fotografias. Com observações sucessivas do mercado, pode criar um teste irrealista; o scikit-learn salienta a dependência temporal. Pedro só pode usar entradas disponíveis em cada momento. Os resultados usados para treinar ou escolher a regra também precisam de estar disponíveis: uma operação inacabada ainda não tem resultado conhecido. Walk-forward Analysis passa de dados anteriores para posteriores. Também deixa de fornecer provas novas se o seu procedimento for repetidamente reescrito segundo os mesmos resultados. [5]

Pedro pode separar as linhas de teste, mas ter calculado antes a média da tabela inteira para transformar as entradas. O teste deixa de estar realmente separado. O scikit-learn exige, por isso, aprender essas transformações apenas com dados de treino e aplicá-las depois ao teste. A entrada de informação indisponível naquele momento chama-se fuga de dados. É diferente de Overfitting: uma regra pode aprender ruído sem linhas futuras, e uma fuga pode distorcer um modelo simples. Verifique o processo completo, não só a divisão da tabela. [6]

A estratégia de Pedro perde no período seguinte. O sobreajuste é uma explicação possível, não a única. Mercado, custos ou qualidade dos dados podem ter mudado; o acaso pesa bastante em intervalos curtos. O scikit-learn oferece curvas de validação e aprendizagem para comparar resultados quando mudam configurações ou quantidade de dados de treino. Também ajuda verificar se configurações próximas produzem resultados semelhantes. Mas cada novo ajuste é registado como desenvolvimento. O diagnóstico não comprova, por si só, uma vantagem estatística para negociar. [2]

Uma conclusão útil explica de onde veio a estratégia, o que mudou e o que foi realmente avaliado depois, além do lucro. Separe resultados de desenvolvimento e posteriores e divulgue tentativas conhecidas, custos e limitações. A NFA recorda que a negociação hipotética não reproduz plenamente liquidez, desvios de preço ou comportamento perante perdas reais; as suas regras promocionais aplicam-se a membros determinados. Uma nova avaliação começa, portanto, com regras registadas previamente. Reduzir erros de método ajuda, mas nem dados ainda não utilizados garantem lucros futuros. [7]