WeLT: Weighted Loss Trainer for Biomedical Joint Entity and Relation Extraction

Die exponentielle Zunahme unstrukturierter Textdaten steigert die Notwendigkeit von Informationsextraktion  (IE), also von Techniken, unstrukturierte, menschenlesbare Texte in besser verwertbares Wissen umzuwandeln. IE umfasst das automatische Identifizieren und Kategorisieren relevanter Entitäten, Beziehungen und Ereignisse in großen Textkorpora. Die Fähigkeit, automatisch und präzise relevante Informationen aus umfangreichen und komplexen Datensätzen zu extrahieren, hat breite Anwendungsmöglichkeiten: Sie reichen von der personalisierten Medizin und klinischer Forschung bis hin zur Effizienzsteigerung im Informationsfluss von Nachrichten- und Medienportalen. Von IE-Systemen generierte Annotations-Vorschläge tragen dazu bei, die  Belastung von Datenannotatoren zu verringern, indem sie die Kennzeichnung von Entitäten, Beziehungen und Ereignissen automatisieren. Diese Automatisierung reduziert die Notwendigkeit manueller Identifikation und ermöglicht es den Annotatoren, sich auf das Überprüfen und Verfeinern der vorher annotierten Daten zu konzentrieren, sowie auf das Erkennen  komplexer Relationen. Dies hat das Potential, den Prozess der Datenkuratierung erheblich zu beschleunigen. Überwachtes Lernen ist einer der wichtigsten Ansätze zur IE, der die Nutzung von bereits annotierten  Datensätzen zur Modellentwicklung beinhaltet. Daher gibt es beträchtliche Bemühungen von Fachexperten, Standard-Datensätze zu erstellen. Jedoch weisen reale Daten häufig eine Ungleichverteilung der Daten auf, die in der IE eine große Herausforderung darstellt, da häufig vorkommende Klassen (Mehrheitsklassen) die Minderheitsklassen, die seltene, aber eigentlich interessante Entitäten repräsentieren, oft überlagern. Diese Ungleichverteilung führt zu Leistungseinbußen, insbesondere bei der Erkennung und Extraktion unterrepräsentierter Klassen. Die aktuelle Literatur bietet mehrere Ansätze zur Behandlung von Klassenungleichheit, darunter Undersampling, Oversampling und statische Gewichtung der Verlustfunktion. Diese Methoden haben jedoch erhebliche Nachteile: Oversampling kann zu Overfitting, also einem Verlust der Generalisierungsfähigkeiten des Modells führen, während beim Undersampling potentiell wertvolle Daten aus der Trainingsmenge gestrichen werden. Feste Verlustgewichtungsschemata erfordern eine umfassende manuelle Einstellung der Hyperparameter, die zeitaufwendig ist und häufig nicht in der Lage ist, sich an die spezifischen Merkmale eines Datensatzes anzupassen. Diese Ansätze adressieren nicht das Kernproblem: Das Erfordernis, dass das Modell adaptiv aus der natürlichen Klassenverteilung lernt, ohne seine Leistung rein auf Mehrheitsklassen auszurichten.  Als Antwort auf diese Einschränkungen führt diese Dissertation den Weighted Loss Trainer (WeLT) ein, eine neuartige adaptive Verlustfunktion zur Bewältigung von Klassenungleichverteilung. WeLT passt Klassengewichtungen basierend auf der relativen Häufigkeit jeder Klasse im Datensatz an und stellt sicher, dass Fehlklassifikationen von Minderheitsklassen beim Lernen stärker gewichtet werden. Dieser Ansatz ermöglicht es dem Modell, empfindlich gegenüber Minderheitsklassen zu bleiben, ohne umfangreiche manuelle Anpassungen oder den Verlust von Datenintegrität zu erfordern.

Evaluierungen, die im Rahmen dieser Dissertation auf Standard-Datensätzen – darunter biomedizinische und Nachrichten-Korpora – durchgeführt wurden, konzentrierten sich auf die Erkennung benannter Entitäten (NER) und die gleichzeitige Erkennung benannter Entitäten und Relationsextraktion (Joint Named Entity and Relation Extraction, JNERE). Konkret wurde WeLT in zwei JNERE-Ansätzen getestet: (a) Span-basierte und (b) tabellenfüllende Ansätze. Darüber hinaus wurde die Auswirkung von WeLT NER auf die Verknüpfung benannter Entitäten mit der von herkömmlichen NER-Methoden verglichen, die die Klassenungleichverteilung unberücksichtigt lassen. Unsere Experimente zeigen, dass WeLT das Problem der Klassenungleichverteilung effektiv angeht und herkömmliche Fine-Tuning-Ansätze übertrifft und gegenüber bestehenden Verlustgewichtungsschemata Vorteile bietet.