Overfitting es la adaptación de un modelo o de reglas de decisión a las particularidades de la muestra de desarrollo disponible, en detrimento de generalizar la relación a otros datos. También afecta a la selección entre candidatos; la calidad no puede juzgarse solo por el resultado que, a la vez, decidió el ganador.
QuantConnect describe Overfitting como un ajuste excesivo a un conjunto de entrenamiento limitado que capta detalles y ruido a costa de los resultados en datos nuevos. Nuestra distinción: el problema no es aprender del pasado, sino confundir una propiedad de una muestra concreta con una regularidad transferible. En negociación también puede sobreajustarse un conjunto manual de condiciones, no solo un modelo automático complejo. Una curva atractiva o una buena puntuación en datos de desarrollo aún no confirma independientemente el procedimiento. [1]
La documentación de scikit-learn muestra la diferencia entre un modelo demasiado simple que no capta la relación y otro sensible a muestras de entrenamiento concretas. Nuestra consecuencia: el número de parámetros no basta por sí solo para diagnosticar sobreajuste. Simplificar o limitar la flexibilidad del modelo puede ayudar, pero también eliminar una relación útil. La decisión debe basarse en una evaluación definida de antemano sobre datos separados adecuados. Elegir después la variante más sencilla según una prueba ya examinada tampoco devuelve a esa prueba su función independiente. [2]
Bailey y sus coautores señalan los falsos descubrimientos al probar repetidamente estrategias sobre los mismos datos. Nuestra conclusión metodológica: registrar no solo los parámetros del ganador, sino también candidatos anteriores, cambios de reglas y criterio de selección. Incluso una estrategia final sencilla puede surgir de una búsqueda extensa. La presión de selección no se ve en su última descripción. La probabilidad de sobreajuste no puede determinarse solo por el número de variantes; importan también los datos, sus dependencias y el método de búsqueda. [3]
El ejemplo de validación anidada de scikit-learn separa la selección interna de parámetros de la evaluación externa de todo el procedimiento de selección. Usar los mismos resultados para elegir y presentar la calidad produce una puntuación demasiado optimista. Nuestro requisito es describir esa frontera antes del experimento e incluir preprocesamiento y elección de indicadores en la selección. Si cambiamos después el diseño según el resultado externo, esa información también ha entrado en el desarrollo. La estructura anidada no autoriza ajustar repetidamente contra la misma prueba final. [4]
La documentación de scikit-learn advierte que una división convencional que supone muestras independientes puede distorsionar la estimación de generalización en datos dependientes del tiempo. Nuestra comprobación de la prueba de negociación preserva el orden de la información y examina si cada entrada usada para decidir y cada resultado objetivo usado para entrenar o elegir la regla ya estaba disponible en el momento pertinente. Un periodo posterior no debe elegir la regla de un momento anterior. Walk-forward Analysis ayuda a describir esa secuencia, pero modificar repetidamente su protocolo según los mismos resultados vuelve a ser desarrollo, no nueva evidencia independiente. [5]
scikit-learn exige aprender transformaciones, como normalización o selección de características, solo en el conjunto de entrenamiento y después aplicarlas al de prueba. Nuestra distinción: la fuga de información no disponible y el sobreajuste son problemas relacionados, pero distintos. Una estrategia puede ajustarse al ruido sin acceder a filas futuras; una fuga puede producir una puntuación optimista incluso en un modelo sencillo. Por eso examinamos todo el procedimiento, desde preparar los datos hasta la decisión final, no solo la división de la tabla. [6]
Las curvas de validación y aprendizaje de scikit-learn comparan el comportamiento en entrenamiento y validación al cambiar ajustes o cantidad de datos. Nuestro límite interpretativo: un resultado posterior peor no demuestra por sí solo una causa única. Pueden cambiar el mercado, la calidad de los datos o los costes de ejecución; el azar puede afectar a un periodo corto. Examinamos la estabilidad de ajustes vecinos y las diferencias de condiciones, pero registramos cada nueva búsqueda tras observar resultados. No presentamos el diagnóstico como certificación estadística automática. [2]
NFA advierte que los resultados hipotéticos no son negociación real y no reflejan plenamente la liquidez, el deslizamiento ni la reacción a una pérdida real. Nuestro informe separa resultados de desarrollo y posteriores, y expone todos los intentos conocidos, costes y limitaciones de datos. Cualquier evaluación adicional debe tener sus reglas registradas antes de comenzar. Un menor riesgo de error metodológico no equivale a una ventaja de negociación demostrada. Ni siquiera datos aún no utilizados garantizan un resultado en condiciones de mercado futuras. [7]
El ganador de la selección puede no ganar la prueba posterior
Para obtener la imagen más completa, lee esta entrada junto con Backtesting, Walk-forward Analysis, Look-ahead Bias, Paper Trading, Trading Journal. También enlazan con esta entrada Technical analysis, Technical indicator, Moving average crossover, Relative Strength Index.
01¿Puede sobreajustarse también una estrategia sencilla?+
Sí. La regla final sencilla pudo elegirse entre muchos intentos según los mismos datos. Importa todo el proceso de búsqueda, no solo el número de parámetros de la versión publicada.
02¿Todo mal resultado posterior demuestra sobreajuste?+
No. Puede relacionarse también con cambios de mercado, costes, datos erróneos o un periodo corto afectado por el azar. Hay que examinar metodología y condiciones; una sola diferencia de resultados no determina la causa ni la probabilidad de sobreajuste.