Robustness and Domain Generalization

Die Aufgabe von Robustheit besteht darin, ein Vorhersagemodell zu finden, das nicht nur unter bekannten Bedingungen präzise bleibt, sondern auch in völlig neuen Situationen. Die Veränderung der Bedingungen wird auch als Verteilungsverschiebung bezeichnet. Domain Generalization (DG) stellt einen spezifischen Fall der Robustheitsaufgabe dar, bei dem während der Trainingsphase Zugang zu unterschiedlichen Bedingungen (oder Umgebungen) gewährt wird. In dieser Arbeit tragen wir insgesamt vier wesentliche Ansätze zur Robustheitsaufgabe bei. Wir schlagen zwei unterschiedliche Heransgehensweisen im Kontext von DG vor, die auf Robustheit ausgelegt sind. Eine basiert auf dem fundamentalen Prinzip unabhängiger kausaler Mechanismen und sucht nach Invarianzen, die in verschiedenen Umgebungen bestehen bleiben. Der andere Ansatz nutzt kontextbezogene Informationen über die Herkunft der Daten, um die Robustheit mithilfe von permutations-invarianten neuronalen Netzwerken zu verbessern. Zusätzlich definieren und implementieren wir den Kompetenzbereich eines Klassifizierers als den Bereich, in dem der Klassifizierer als kompetent und vertrauenswürdig angesehen wird. Dieser Ansatz ermöglicht es uns, die Genauigkeit des Klassifizierers zu erhöhen -- selbst in Anwesenheit einer Verteilungsveränderung -- indem wir Eingaben außerhalb seines Kompetenzbereichs ablehnen. Schließlich analysieren wir in der Theorie drei entscheidende Arten von Invarianzen und zeigen ihre Erfolgsaussichten oder ihr Versagen bei der Robustheitsaufgabe unter verschiedenen Verteilungsverschiebungen auf. Diese umfassende Analyse liefert eine breite und aufschlussreiche Perspektive zu den Themen Robustheit und Invarianzen.