Overfitting bezeichnet die Anpassung eines Modells oder von Entscheidungsregeln an Besonderheiten der verfügbaren Entwicklungsstichprobe auf Kosten der Fähigkeit, einen Zusammenhang auf weitere Daten zu verallgemeinern. Auch die Auswahl zwischen Kandidaten gehört dazu; Qualität lässt sich nicht allein an dem Ergebnis beurteilen, das zugleich den Sieger bestimmt hat.
QuantConnect beschreibt Overfitting als zu enge Anpassung an eine begrenzte Trainingsmenge, die deren Details und Rauschen zulasten der Ergebnisse auf neuen Daten erfasst. Unsere Unterscheidung: Das Problem ist nicht das Lernen aus der Vergangenheit selbst, sondern die Verwechslung einer Besonderheit der Stichprobe mit einer übertragbaren Regelmäßigkeit. Im Handel kann auch ein manuell erstelltes Regelwerk überangepasst sein, nicht nur ein komplexes automatisches Modell. Eine schöne Kurve oder ein gutes Ergebnis auf Entwicklungsdaten bestätigt das Verfahren daher noch nicht unabhängig. [1]
Die Dokumentation von scikit-learn zeigt den Unterschied zwischen einem zu einfachen Modell, das einen Zusammenhang nicht erfassen kann, und einem Modell, das empfindlich auf die jeweilige Trainingsstichprobe reagiert. Unsere Folgerung: Die Zahl der Parameter allein reicht nicht aus, um Überanpassung festzustellen. Vereinfachung oder eine begrenzte Flexibilität kann helfen, aber auch einen nützlichen Zusammenhang entfernen. Entscheidend sollte eine vorab festgelegte Bewertung auf geeigneten getrennten Daten sein. Auch die nachträgliche Wahl der einfachsten Variante anhand eines bereits betrachteten Tests stellt dessen unabhängige Rolle nicht wieder her. [2]
Bailey und Mitautoren warnen vor falschen Entdeckungen durch wiederholtes Erproben von Strategien auf denselben Daten. Unsere methodische Folgerung: Zu dokumentieren sind nicht nur die Parameter des Siegers, sondern auch frühere Kandidaten, Regeländerungen und das Auswahlkriterium. Selbst eine einfache endgültige Strategie kann aus einer umfangreichen Suche hervorgegangen sein. Dieser Auswahldruck ist ihrer letzten Fassung nicht anzusehen. Die Wahrscheinlichkeit einer Überanpassung lässt sich nicht allein aus der Zahl der Varianten bestimmen; auch Daten, ihre Abhängigkeiten und das Suchverfahren sind entscheidend. [3]
Das Beispiel zur verschachtelten Validierung in scikit-learn trennt die innere Parameterauswahl von der äußeren Bewertung des gesamten Auswahlverfahrens. Dieselben Ergebnisse zur Auswahl und zur Darstellung der Qualität zu verwenden, führt zu einer zu optimistischen Bewertung. Wir verlangen, diese Grenze vor dem Versuch festzulegen und auch Vorverarbeitung und Wahl der Kennzahlen in die Auswahl einzubeziehen. Ändern wir den Entwurf anhand des äußeren Ergebnisses weiter, ist auch diese Information in die Entwicklung eingeflossen. Eine verschachtelte Struktur erlaubt nicht, wiederholt gegen denselben abschließenden Test abzustimmen. [4]
Die Dokumentation von scikit-learn warnt, dass übliche Aufteilungen unter der Annahme unabhängiger Stichproben bei zeitabhängigen Daten die Schätzung der Generalisierung verzerren können. Unsere Prüfung eines Handelstests erhält daher die Reihenfolge der Informationen und untersucht, ob jede zur Entscheidung verwendete Eingabe und jedes zum Training oder zur Regelauswahl verwendete Zielergebnis zum jeweiligen Zeitpunkt bereits verfügbar waren. Ein späterer Zeitraum darf nicht die Regel für einen früheren Zeitpunkt auswählen. Walk-forward Analysis hilft, diese Abfolge zu beschreiben; wiederholte Änderungen ihres Protokolls anhand derselben Ergebnisse sind jedoch erneut Entwicklung und kein neuer unabhängiger Nachweis. [5]
scikit-learn verlangt, Transformationen wie Normalisierung oder Merkmalsauswahl ausschließlich auf dem Trainingsteil zu lernen und erst danach auf den Test anzuwenden. Unsere Unterscheidung: Das Einfließen nicht verfügbarer Informationen und Überanpassung sind verwandte, aber unterschiedliche Probleme. Eine Strategie kann sich auch ohne Zugriff auf zukünftige Zeilen an Rauschen anpassen; Informationsleckage wiederum kann selbst bei einem einfachen Modell eine optimistische Bewertung erzeugen. Wir prüfen deshalb nicht nur die Aufteilung der Tabelle, sondern das gesamte Verfahren von der Datenaufbereitung bis zur endgültigen Entscheidung. [6]
Validierungs- und Lernkurven in scikit-learn vergleichen das Verhalten auf Trainings- und Validierungsteilen bei veränderten Einstellungen oder Datenmengen. Unsere Interpretationsgrenze: Ein schlechteres späteres Ergebnis beweist allein keine eindeutige Ursache. Am Markt können sich Umfeld, Datenqualität oder Ausführungskosten ändern; ein kurzer Abschnitt kann vom Zufall geprägt sein. Wir untersuchen die Stabilität benachbarter Einstellungen und Unterschiede der Bedingungen, dokumentieren aber jede neue Suche nach Einsicht in die Ergebnisse. Diagnose wird nicht als automatische statistische Zertifizierung ausgegeben. [2]
NFA weist darauf hin, dass hypothetische Ergebnisse kein tatsächlicher Handel sind und Liquidität, Slippage sowie die Reaktion auf einen tatsächlichen Verlust nicht vollständig erfassen. Unser Bericht trennt daher Entwicklungs- und spätere Ergebnisse und nennt alle bekannten Versuche, Kosten und Datenbeschränkungen. Für eine weitere Überprüfung müssen die Regeln vor Beginn dokumentiert sein. Ein geringeres Risiko methodischer Fehler ist nicht dasselbe wie ein nachgewiesener Handelsvorteil. Auch bislang ungenutzte Daten können kein Ergebnis unter künftigen Marktbedingungen garantieren. [7]
Der Sieger der Auswahl muss im späteren Test nicht gewinnen
Für ein möglichst vollständiges Bild lies diesen Eintrag zusammen mit Backtesting, Walk-forward Analysis, Look-ahead Bias, Paper Trading, Trading Journal. Auf diesen Eintrag verweisen außerdem Technical analysis, Technical indicator, Moving average crossover, Relative Strength Index.
01Kann auch eine einfache Strategie überangepasst sein?+
Ja. Eine einfache endgültige Regel kann anhand derselben Daten aus vielen Versuchen ausgewählt worden sein. Entscheidend ist der gesamte Suchprozess, nicht nur die Parameterzahl der veröffentlichten Fassung.
02Beweist jedes schlechte spätere Ergebnis eine Überanpassung?+
Nein. Es kann auch mit Marktveränderungen, Kosten, fehlerhaften Daten oder einem kurzen zufallsgeprägten Abschnitt zusammenhängen. Methodik und Bedingungen müssen geprüft werden; ein einzelner Ergebnisunterschied bestimmt weder Ursache noch Wahrscheinlichkeit einer Überanpassung.