Was Testdatensatz bedeutet

Ein Testsatz wird getrennt von Training und Validierung aufbewahrt. Es wird gegen Ende der Entwicklung verwendet, um zu bewerten, wie gut das ausgewählte Modell voraussichtlich bei neuen Daten funktionieren wird. Das Testset sollte die Produktionsaufgabe möglichst genau simulieren.

Warum das wichtig ist

Testsätze sind wichtig, weil sie eine ehrlichere Schätzung der Verallgemeinerung liefern. Wenn der Testsatz während der Entwicklung zu oft berührt wird, ist er kein neutraler Benchmark mehr und kann zu überoptimistischen Ergebnissen führen.

Häufige Anwendungen

  • Abschließende Modellbewertung.
  • Vergleich der erwarteten Leistung mit den Geschäftsanforderungen.
  • Überprüfung der Leistung in wichtigen Segmenten.
  • Prüfung von Fairness und Robustheit.
  • Dokumentation der Modellbereitschaft vor der Bereitstellung.

Worauf zu achten ist

Ein Prüfsatz muss repräsentativ und vor Leckagen geschützt sein. Wenn Beispiele von denselben Nutzern, Zeiträumen oder Duplikaten sowohl in den Trainings- als auch in den Testdaten auftauchen, kann die Auswertung besser aussehen als die tatsächliche Produktionsleistung.

Testdatensatz lässt sich am besten im Kontext verstehen: welche Daten verwendet werden, welche Aufgabe unterstützt wird und wie die Ausgabe geprüft wird.