Nonlinear Optimization Techniques Applied to Neural Network Training

Diese Arbeit untersucht, wie Techniken aus der klassischen deterministischen nichtlinearen Optimierung an die hochdimensionalen, stochastischen und nichtkonvexen Optimierungsprobleme beim Training neuronaler Netze angepasst werden können. Es werden drei wesentliche Beiträge vorgestellt.

Zunächst werden von MGOpt inspirierte mehrstufige Optimierungsverfahren für stochastische Probleme untersucht. Varianten auf Basis von SGD werden für konvexe und nichtkonvexe Zielfunktionen analysiert, wobei sowohl Konvergenzergebnisse als auch praktische Grenzen mehrstufiger Ansätze aufgezeigt werden.
Zweitens wird SensLI vorgestellt, ein sensitivitätsbasiertes Verfahren zur adaptiven Einfügung von Schichten. Die Methode liefert ein effizientes Auswahlkriterium für Einfügungspositionen, zeigt in numerischen Experimenten eine effektive Kapazitätserhöhung und wird auf die Schichtverbreiterung erweitert.
Drittens wird ein schichtweiser Vorkonditionierungsrahmen auf Basis Frobenius-artiger Innenprodukte vorgeschlagen. Eine kovarianzbasierte Konstruktion, die eng mit KFAC verwandt ist, wird entwickelt und empirisch untersucht.

Insgesamt zeigen die Ergebnisse den Nutzen klassischer Optimierungskonzepte für das Training neuronaler Netze, sofern sie an die stochastische, hochdimensionale und nichtkonvexe Struktur moderner Modelle angepasst werden, und skizzieren Perspektiven für zukünftige Forschung.