Wie es sich aufbaut

Viele Kennzahlen werden nachträglich korrigiert. Eine Quartalszahl, die im Mai veröffentlicht wurde, kann im August eine andere Gestalt haben — weil Unternehmen Zahlen anpassen, weil Stichtage verschoben werden, weil Methoden wechseln. Wer für ein historisches Modell die heute vorliegende Version der Zahl nimmt, blickt auf einen Stand voraus, der zum damaligen Zeitpunkt noch nicht existierte.

Warum die Trefferquote zu gut aussieht

Ein Modell, das mit nachträglich bereinigten Daten trainiert wird, lernt Zusammenhänge, die in der Anwendung nicht haltbar sind. Die gemessene Trefferquote ist zu hoch, weil die Zukunft im Training schwach durchscheint. In der Praxis trifft das Modell dann auf vorläufige Zahlen und entscheidet schlechter als im Test.

Konkretes Beispiel

Ein Modell soll aus Quartalskennzahlen eine Vorhersage für den nächsten Monat treffen. Im Training bekommt es für den Mai die endgültige Mai-Zahl — die aber erst im August veröffentlicht und korrigiert wurde. Im Einsatz hat das Modell im Mai nur die vorläufige Mai-Zahl. Es hat im Training auf eine Information zurückgegriffen, die zum Entscheidungszeitpunkt nicht vorlag.

Was eine saubere Datenhaltung erlaubt

  • Point-in-Time-Datensätze verwenden: zum Zeitpunkt t nur die Version der Kennzahl, die zu t bekannt war.
  • Versionshistorie führen: jede Korrektur als eigener Stand mit Gültigkeitszeitraum speichern.
  • Veröffentlichungsdatum nicht mit Stichtag verwechseln: eine Zahl für das erste Quartal kann erst im zweiten Quartal vorliegen.

Siehe auch

Survivorship Bias (Aussteiger fehlen im Datensatz) und Sampling Bias (Verzerrung durch die Quelle) treten oft gemeinsam auf.