Was Validierungsdatensatz bedeutet

Zwischen dem Training und dem Abschlusstest befindet sich ein Validierungssatz. Das Modell lernt aus dem Trainingssatz und der Validierungssatz hilft dem Team, Hyperparameter auszuwählen, Schwellenwerte anzupassen, Architekturen zu vergleichen oder zu entscheiden, wann das Training beendet werden soll.

Warum das wichtig ist

Validierung ist wichtig, weil Teams während der Entwicklung Feedback benötigen, das ehrlicher ist als die Trainingsleistung. Ohne Validierung kann ein Modell stark erscheinen, weil es Trainingsbeispiele auswendig gelernt hat.

Häufige Anwendungen

  • Auswahl von Hyperparametern.
  • Vergleich der Modellversionen.
  • Klassifizierungsschwellenwerte festlegen.
  • Überanpassung während des Trainings erkennen.
  • Auswahl eines Modells vor dem endgültigen Test.

Worauf zu achten ist

Wenn Teams wiederholt denselben Validierungssatz abstimmen, kann es indirekt zu einer Überanpassung kommen. Der endgültige Testsatz sollte bis zum Ende separat bleiben, um eine realistischere Leistungsschätzung zu ermöglichen.

Validierungsdatensatz lässt sich am besten im Kontext verstehen: welche Daten verwendet werden, welche Aufgabe unterstützt wird und wie die Ausgabe geprüft wird.