Resource-Efficient and Robust Inference of Deep and Bayesian Neural Networks on Embedded and Analog Computing Platforms

Moderne Verfahren des maschinellen Lernens haben zahlreiche Anwendungsfelder geprägt, stoßen jedoch mit ihrem wachsenden Rechenbedarf zunehmend an Grenzen der Skalierbarkeit und Effizienz – insbesondere auf eingebetteten und ressourcenbeschränkten Plattformen. Bei der Anwendung in realen Systemen müssen neuronale Netze nicht nur effizient arbeiten, sondern auch unter sich verändernden Datenverteilungen oder bei bislang unbekannten Datenpunkten verlässliche Vorhersagen liefern. Bayessche neuronale Netze bieten hierfür einen konsistenten theoretischen Rahmen zur Quantifizierung von Unsicherheiten, erhöhen jedoch den Rechenaufwand zusätzlich. 

Diese Arbeit verbessert die ressourceneffiziente und robuste Inferenz für konventionelle und bayessche neuronale Netze durch das Zusammenspiel von algorithmischer und hardwareseitiger Optimierung. Die algorithmische Effizienz wird durch Modellkompression und approximative bayessche Verfahren gesteigert, während die Hardwareeffizienz sowohl die Abbildung auf digitale Beschleuniger als auch die Erforschung neuartiger analoger Plattformen umfasst und damit eine Brücke zwischen algorithmischer Optimierung und hardwareseitiger Realisierung schlägt. Der erste Beitrag, Galen, automatisiert die schichtweise Kompression (Pruning und Quantisierung) mithilfe von Sensitivitätsanalyse und Hardware-in-the-Loop-Feedback. Da analoge Beschleuniger zusätzliche Effizienzgewinne auf Kosten von Rechenrauschen bieten, werden analoge Gerätnichtidealitäten modelliert und das Rauschtraining auf nichtstationäre Bedingungen erweitert, was Robustheit und Stabilität erhöht. Ein weiterer Schwerpunkt liegt auf der probabilistischen Inferenz. Aufbauend auf Erkenntnissen zum Entwurf und Training bayesscher neuronaler Netze werden effiziente analytische und ensemblebasierte Approximationen entwickelt, die aufwändiges Sampling ersetzen und in einer Compiler-Infrastruktur mit optimierten probabilistischen Operatoren für eingebettete Hardware umgesetzt sind. Schließlich wird mit dem probabilistischen photonischen Rechnen ein neuartiges Paradigma eingeführt, bei dem kontrolliertes analoges Rauschen als intrinsische Entropiequelle dient und ultraschnelle, energieeffiziente probabilistische Inferenz direkt in photonischer Hardware ermöglicht. 

Zusammenfassend zeigt diese Arbeit, dass Effizienz und Zuverlässigkeit gemeinsam gesteigert werden können, wenn Algorithmen, Compiler und Hardware als integriertes System konzipiert werden. Damit wird das Fundament für die nächste Generation vertrauenswürdiger und energieeffizienter Systeme des maschinellen Lernens gelegt.