Backtesting

Backtesting spielt Regeln anhand historischer Daten durch und berechnet ihr Ergebnis unter den gewählten Annahmen. Bailey und seine Mitautoren beschreiben es als historische Simulation einer algorithmischen Strategie und weisen zugleich auf das Risiko falscher Entdeckungen hin. Unsere redaktionelle Abgrenzung: Das Ergebnis gehört zu einer bestimmten Version der Regeln, Daten und des Ausführungsmodells. Es belegt nicht, dass jemand diese Geschäfte tatsächlich durchgeführt hat. Eine reproduzierbare Berechnung kann einen Fehler oder eine ungeeignete Idee aufdecken, verwandelt die Vergangenheit aber allein nicht in eine verlässliche Vorhersage. [1]

QuantConnect beschreibt eine Verzerrung, bei der eine Simulation zukünftige Informationen verwendet, etwa Rechnungslegungsdaten vor ihrer Veröffentlichung oder spätere Korrekturen dieser Daten. Unsere eigene zeitliche Vorgabe verlangt für jede Eingabe den Zeitpunkt ihrer Verfügbarkeit, nicht nur das Datum des Zeitraums, auf den sie sich bezieht. Ein Signal aus einer abgeschlossenen Kerze darf ohne weitere Annahme keinen Handel zu einem nicht mehr nutzbaren Preis erhalten. In unserem Beispiel werden vorherige Schlusskurse erst für die folgende Periode verwendet, und das Modell legt deren Ausführung zum Eröffnungskurs ausdrücklich fest. [2]

QuantConnect warnt davor, ausschließlich Wertpapiere zu testen, die bis zum Ende des Zeitraums überlebt haben, und die heutige Indexzusammensetzung rückwirkend anzuwenden. Unsere allgemeinere Frage lautet, ob der historische Datensatz auch damals verfügbare Instrumente enthält, die später verschwunden sind. Fehlende Daten, Methodenänderungen und die Marktauswahl müssen dokumentiert werden. Für eine Bitcoin-Simulation darf ein Preis eines einzelnen Anbieters nicht automatisch als bei einem anderen Anbieter erzielbarer Preis gelten. Saubere Daten bedeuten nachvollziehbare Korrekturen, nicht das Entfernen unbequemer Ergebnisse. [2]

Die QuantConnect-Dokumentation trennt Signal und Auftrag vom Modell, das Preis und Menge der Ausführung bestimmt. Sie weist auch auf den Unterschied zwischen Teilausführungen im realen Handel und der Annahme vollständiger Ausführung in vorgefertigten Modellen hin. Unsere eigene Anforderung ist, zu beschreiben, wann ein Auftrag ausgeführt werden darf, was bei unzureichender Liquidität geschieht und wie veraltete Preise behandelt werden. Dass historische Daten ein Preisniveau berühren, belegt noch keine verfügbare Gegenpartei für einen beliebig großen Auftrag. Das Ergebnis des Ausführungsmodells bleibt eine Simulationsannahme. [3]

QuantConnect beschreibt Slippage als Unterschied zwischen erwartetem und tatsächlichem Ausführungspreis und nennt Verzögerungen, die Verbindung und Marktbedingungen als Einflussfaktoren; die Abweichung kann günstig oder ungünstig sein. Unsere Kostenprüfung trennt Gebühren, Ausführungspreis und etwaige weitere Halte- oder Finanzierungskosten. Bereits im Ausführungspreis enthaltene Kosten dürfen nicht erneut abgezogen werden. Ein Nullwert ist eine konkrete Modellannahme, kein Beleg für einen kostenfreien Markt. Die Empfindlichkeit gegenüber höheren Kosten hilft einzuschätzen, ob ein kleiner historischer Gewinn von optimistischen Einstellungen abhängt. [4]

Die Dokumentation von TimeSeriesSplit erläutert eine zeitlich geordnete Aufteilung, damit ein Modell nicht mit zukünftigen Daten trainiert und anhand vergangener Daten bewertet wird. Unsere methodische Vorgabe ist, den Zeitraum für die Entwicklung der Regeln und den Zeitraum für ihre anschließende Überprüfung festzulegen, bevor die Ergebnisse betrachtet werden. Werden Regeln nach einem Misserfolg anhand des Prüfzeitraums erneut angepasst, hat dieser Zeitraum die Entwicklung bereits beeinflusst. Eine chronologische Aufteilung allein beseitigt weder Informationslecks aus der Vorverarbeitung und überlappenden Zielgrößen noch die wiederholte Auswahl von Varianten. Vorgehen und Datengrenzen müssen beschrieben werden. [5]

Bailey und seine Mitautoren zeigen, dass die wiederholte Suche nach der besten Konfiguration anhand derselben Daten das Risiko falscher Entdeckungen und der Anpassung an vergangenes Rauschen erhöht. Unsere Berichtsregel verlangt die Historie der Versuche, nicht nur die siegreiche Kurve. Dazu gehören Änderungen der Parameter, Zeiträume und Instrumentenauswahl. Ein nach vielen Versuchen ausgewähltes Ergebnis hat nicht dieselbe Aussagekraft wie eine vorab festgelegte, unveränderte Regel. Ihr Verfahren zur Schätzung der Wahrscheinlichkeit einer Überanpassung wird in unserem einfachen Beispiel weder durchgeführt noch durch eine einzige Datenaufteilung ersetzt. [1]

Die NFA weist darauf hin, dass hypothetische Ergebnisse keinen tatsächlichen Handel abbilden, Rückschauwissen nutzen können und Liquidität, Slippage oder das Verhalten bei realen Verlusten möglicherweise unzureichend modellieren. Unser Bericht soll deshalb Daten- und Codeversion, Regeln, Ausführungsannahmen, berücksichtigte Kosten und eine vollständige Liste der simulierten Geschäfte bewahren. Die Gesamtrendite braucht einen Risikokontext und einen Vergleich unter gleichen Bedingungen; eine ausgewählte schöne Grafik genügt nicht. Selbst eine fehlerfreie Implementierung eines historischen Tests garantiert weder die Durchführbarkeit noch Erträge in einem zukünftigen Markt. [6]