Transformer Modelle zur Textklassifikation

- Bachelorarbeit -


Beschreibung:

Textklassifikation bezeichnet die Zuordnung von Texten zu definierten Kategorien. Der Bereich der automatischen Textverarbeitung hat sich in vergangenen Jahrzehnten rasant weiterentwickelt. Die State-of-the-Art Performance wird für die meisten Problemstellungen der Textverarbeitung aktuell von Modellen erreicht, die auf der Transformer-Architektur basieren. Transformer-Modelle verwendet den sogenannten Self-Attention Mechanismus und werden auf einem großen Datensatz vortrainiert.
In dieser Arbeit wird das Transformer-Modell BERT für die Textklassifikation eingesetzt. Als Datensatz wird ein Korpus an Kundenanfragen des Zweckverband Ostholstein (ZVO) verwendet, der in definierten Kategorien strukturiert ist. Es handelt sich hierbei um ein Multi-Label Klassifizierungsproblem.
In dieser Arbeit wird also untersucht, ob die Kundenanfragen des ZVO mithilfe des Transformer-Modells BERT zuverlässig den richtigen Kategorien zugeordnet werden können.

Anforderungen/Kenntnisse:

Python

Grundwissen im Bereich Maschinelles Lernen, speziell Deep Learning

Bearbeitung:
Yannik Gäbel

Ergebnis:
Die Ausarbeitung kann im Institut für Informationssysteme angefordert werden.

Betreuung:

Prof. Dr. rer. nat. Ralf Möller
Institut für Informationssysteme
Ratzeburger Allee 160 ( Gebäude 64 - 2. OG)
23562 Lübeck
Telefon: 0451 / 3101 5700