Gradient based optimization of support vector machines
- Gradient-based optimization techniques are applied to two independent problems in the area of support vector machine (SVM) learning. The first problem, machine training, requires efficient high-dimensional quadratic programming. The second problem, model selection, amounts to the construction of an objective function and non-convex optimization. The main contributions to SVM training are in the area of algorithm design and corresponding convergence proofs. The model selection problem is assessed with completely new approaches. We highlight these achievements with a number of basic theoretical results and empirical evaluations.
- In dieser Arbeit werden zwei unabhängige Probleme aus dem Bereich des Lernens mit Support-Vektor-Maschinen (SVM) mit Hilfe gradientenbasierter Optimierungstechniken gelöst. Für das erste Problem, das Training der Maschine, werden effiziente Algorithmen zur Lösung hochdimensionaler quadratischer Programme benötigt. Das zweite Problem, das sogenannte Modellselektionsproblem, erfordert die Konstruktion einer geeigneten Zielfunktion und Methoden zur nicht-konvexen Optimierung. Es werden neue bzw. verbesserte iterative Algorithmen zum Training von Support-Vektor-Maschinen vorgestellt und die Konvergenz der Lösung zur optimalen Lösung bewiesen. Das Modellsekeltionsproblem wird mit Hilfe völlig neuartiger Ansätze bearbeitet. Die Ergebnisse werden durch eine Reihe theoretischer Ergebnisse sowie empirischer Untersuchungen gestützt.
Author: | Tobias GlasmachersGND |
---|---|
URN: | urn:nbn:de:hbz:294-23245 |
Referee: | Hans Ulrich SimonORCiDGND, Christian IgelORCiDGND |
Document Type: | Doctoral Thesis |
Language: | English |
Date of Publication (online): | 2008/09/03 |
Date of first Publication: | 2008/09/03 |
Publishing Institution: | Ruhr-Universität Bochum, Universitätsbibliothek |
Granting Institution: | Ruhr-Universität Bochum, Fakultät für Mathematik |
Date of final exam: | 2008/07/18 |
Creating Corporation: | Fakultät für Mathematik |
GND-Keyword: | Maschinelles Lernen; Support-Vektor-Maschine; Kerndarstellung; Nichtlineare Optimierung; Bayes-Verfahren |
Institutes/Facilities: | Institut für Neuroinformatik |
Dewey Decimal Classification: | Naturwissenschaften und Mathematik / Mathematik |
faculties: | Fakultät für Mathematik |
Licence (German): | Keine Creative Commons Lizenz - es gelten der Veröffentlichungsvertrag und das deutsche Urheberrecht |