Sie sind hier: Startseite Forschung Margin-Based Rule Learning

Margin-Based Rule Learning

Während sich ältere Arbeiten im Bereich des Maschinellen Lernens auf Modelle beschränken, die vom Menschen leicht verstanden werden können (z.B. Entscheidungsbäume oder Regeln), optimieren neuere Ansätze im statistischen Lernen fast ausschließlich die Performanz der Vorhersage, auf Kosten der Verständlichkeit. In vielen Anwendungsgebieten (z.B. Umwelt- oder Medizinwissenschaften) wird jedoch ein verständliches Modell mit starker theoretischer und statistischer Grundlage benötigt. Daher schlagen wir eine Synthese aus Methoden des klassischen Maschinellen Lernens und des statistischen Lernens vor. Mit einer gewichteten Repräsentation von Regeln formulieren wir Regel Induktion als ein statistisches Lern- und Optimierungsproblem. Wir führen ein margin-basiertes Optimierungskriterium ein (MMV), welches eine Anzahl wünschenswerter Eigenschaften hat: Erstens ergeben sich, je nach Formulierung, sparse weight vectors mit nur wenigen Gewichten, die Null sind, so dass die Gewichte nur auf wenige Regeln des Models verteilt sind. Zweitens können, basierend auf MMV, theoretische Fehlerbereiche hergeleitet werden, die für das Vermeiden von Overfitting und Capacity Control verwendet werden können. Drittens ist die Optimierung von MMV linear in der Anzahl der Beispiele, so dass die Methode auf große Datenmengen angewendet werden kann. Eine Implementierung des neuen Lernschemas von MMV wird für die Analyse von strukturierten Daten (z.B. Multi-relational oder Graphen) in den Life Sciences zur Verfügung gestellt.

Publikationen

Rückert, U and Kramer, S (2006).
A Statistical Approach to Rule Learning
In: ICML '06: Proceedings of the 23rd international conference on machine learning, pp. 785-792, New York, NY, USA, ACM Press.

Rückert, U and Kramer, S (2006).
Margin-Based First-Order Rule Learning
In: Proceedings of the 16th International Conference on Inductive Logic Programming (ILP 2006), ed. by S. Muggleton, R. Otero, and A. Tamaddoni-Nezhad, pp. 46-48, Berlin, Springer. Lecture Notes in Computer Science Vol. 4455.