Was Data Leakage bedeutet
Datenleck bedeutet, dass das Modell Zugriff auf Informationen erhält, die es bei der Erstellung echter Vorhersagen nicht haben sollte. Dies kann passieren, wenn zukünftige Daten in das Training eingehen, wenn über Teilungen hinweg doppelte Datensätze erscheinen oder wenn ein Feature als Proxy für die Zielbezeichnung fungiert.
Warum das wichtig ist
Datenlecks sind wichtig, weil sie dazu führen, dass ein Modell besser aussieht, als es tatsächlich ist. Ein Team kann ein Modell basierend auf überhöhten Validierungs- oder Testergebnissen bereitstellen, nur um dann einen Leistungseinbruch in der Produktion zu beobachten.
Häufige Anwendungen
- Überprüfen Sie die Funktionen auf zukünftige Informationen.
- Entfernen doppelter Datensätze über Teilungen hinweg.
- Zeitreihendaten nach Zeit aufteilen.
- Überprüfung der Ziel-Proxys.
- Prüfung von Pipelines vor der Modellbewertung.
Worauf zu achten ist
Leckagen können subtil sein. Eine Funktion mag legitim erscheinen, existiert aber erst nach dem vorhergesagten Ereignis. Teams sollten sich fragen, ob zum Zeitpunkt der Vorhersage wirklich alle Eingaben verfügbar wären.
Data Leakage lässt sich am besten im Kontext verstehen: welche Daten verwendet werden, welche Aufgabe unterstützt wird und wie die Ausgabe geprüft wird.