Statistical Learning for Structured Models: Tree Based Methods and Neural Networks

In dieser Arbeit betrachten wir Regressions- sowie Klassifikationsprobleme, die auf niedrigdimensionalen Strukturen beruhen. Wir interessieren uns für folgende Frage: Wie gut schneiden Methoden des statistischen Lernens in Modellen mit niedrigdimensionalen Strukturen ab? Um an diese Frage heranzutreten, untersuchen wir verschiedene Algorithmen in unterschiedlichen statistischen Modellen. Als erstes Hauptresultat zeigen wir optimale Konvergenzraten in einem Klassifikationsmodell für einen Schätzer, der auf Neuronalen Netzen basiert. Suboptimale Raten existieren bereits für dieses Problem. Wir sind hingegen die ersten, die optimale Raten in diesem Problem für einen Schätzer, der auf Neuronalen Netzen beruht, beweisen. Ein weiterer wesentlicher Beitrag besteht in der Einführung eines neuen baumbasierten Alorithmus, den wir „Random Planted Forest“ getauft haben. Dieser ist insbesondere für Modelle, die aus niedrigdimensionalen Strukturen bestehen, konzipiert. Wir evaluieren die Schätzungen, die der Algorithmus hervorbringt, anhand von Simulationsstudien und schaffen eine theoretische Grundlage für eine leicht abgeänderte Version des Algorithmus. Wir geben auch eine verallgemeinerte Version an, die unter anderem für Klassifikationsprobleme verwendet werden kann. In einem zusätzlichen Resultat beweisen wir optimale Konvergenzraten für den "local linear smooth back-fitting"-Schätzer. Solche Raten wurden für diesen Algorithmus bereits gezeigt. Wir betrachten das Problem aus einer neuen Perspektive, die eine neue Interpretation des Schätzers zulässt und die Beweise vereinfacht. Des weiteren geben wir für einen beliebigen Schätzer in einem Regressionsproblem eine Bedingung an, durch die man eine eindeutige Zerlegung des Schätzers erhält. Diese Zerlegung ist hilfreich, um den Schätzer zu visualisieren und zu interpretieren, insbesondere wenn niedrigdimensionale Strukturen vorherrschen.