Erfolg mit Fine-Tuning

Für eilige Leser

• KI-Modelle wie GPT von OpenAI können mit Unternehmensdaten mittels Fine-Tuning optimiert werden. Das steigert die Erkennungsrate bei schwierigen Fällen auf über 90%, teils sogar über 95% - großartige Werte.
• Beim Fine-Tuning wird ein vortrainiertes KI-Modell mit spezifischen Daten trainiert, um es sensibler für konkrete Aufgabenstellungen zu machen. Es wird daher mit Daten konkreter und relevanter Geschäftsvorfälle trainiert.
• Im Fall von GPT wird Fine-Tuning mittels präparierten Prompts durchgeführt, in denen die gesuchten Antworten auf die gestellten Fragen mit übergeben werden. Das zu analysierende Datenset mit Unternehmensdaten wird ebenfalls übergeben, sodass der Prompt darauf angewendet wird.
• Fine-Tuning ersetzt nicht eine saubere Datenbasis und ein vorheriges Optimieren der Abfragen, um bereits eine hervorragende Grundqualität als Ausgangsbasis zu erreichen. Fine-Tuning eignet sich besonders für die Optimierung eines LLM-Modells.

Tipp zum Ausprobieren

Wer mehrsprachige, professionelle Erklär- oder Verkaufsvideos erstellen will, sollte sich die beiden Plattformen synthesia.io und HeyGen genauer ansehen. Während synthesia.io zahlreiche verschiedene menschliche Avatare bietet, welche die gewünschten Texte mit oder ohne Powerpoint-Unterlegung präsentieren, kommt HeyGen für individuelle, auf die eigene Person angewendete mehrsprachige Videos zum Einsatz. Beide Lösungen eigenen sich bestens für professionelle Videos und weisen einen hohen Innovationsgrad auf.

Fine-Tuning - das erweiterte KI-Training

Wir finden heute zwei Arten von KI-Modellen: Vortrainierte und nicht vortrainierte. Während die vortrainierten, deren prominentestes Beispiel OpenAI GPT ist, mithilfe einer schier unermesslichen Zahl an Texten und multimedialen Inhalten aus dem Internet trainiert wurden, sind die nicht vortrainierten oder "leeren" Modelle darauf angewiesen, dass der professionelle Anwender sie auf die Art von Daten hin kalibriert bzw. trainiert, für welche er das Modell nutzen möchte.

Doch es gibt noch einen Zwischenweg, der die Vorteile beider Ansätze vereint: Fine-Tuning.

Beim Fine-Tuning wird auf ein vortrainiertes Modell wie OpenAI GPT aufgesetzt und dieses dann mit den für den Anwendungsfall relevanten Daten optimiert. Diese Daten können Dokumente sein (PDF, Word, Excel von Sharepoint oder einem Cloud-Speicher wie Box.com usw.), aber auch Daten aus einem ERP-System wie SAP, Netsuite, Xentral, MS Dynamics oder einer beliebigen anderen proprietären Unternehmensdatenbanken.

Die Fine-Tuning Methode erklärt

Fine-Tuning setzt auf dieselben Mechanismen auf, die beim Prompting in Bezug auf die Large Language Modelle (LLM) zum Einsatz kommen. D.h. es wird eine Frage bzw. Aufforderung formuliert (Prompt), der die erwartete Antwort mitgegeben wird (Completion). Somit haben wir es mit Prompt-Completion Paaren zu tun, welche über eine Schnittstelle in das GPT Modell geladen werden.

Da das KI-Modell jedoch auf spezifische Daten hin optimiert werden soll und nicht auf die breite Datenbasis, welche für das Grundtraining verwendet wurde, müssen bei diesen Prompt-Completion Paaren auch die zugrundeliegenden (Unternehmens-)Daten übergeben werden. Folglich wird das Fine-Tuning mithilfe vieler Prompt-Completion Paaren und dem je Paar dazugehörigen Datensatz durchgeführt.

Nach Abschluss des Trainings steht das fine-tuned KI-Modell dem Anwender zur Verfügung. Im Fall von OpenAI wird eine neue API erzeugt, die sowohl programmatisch als auch über das visuelle Frontend ChatGPT genutzt werden kann. Technisch gesprochen haben wir eine Möglichkeit geschaffen, die eigene Parametrisierung des Modells für unseren Anwendungsfall mit dem Algorithmus des KI-Modells zu nutzen.

Der Erfolg der Optimierung

Fine-Tuning ist besonders dann wirksam, wenn gut entwickelte Prompts und perfekt eingestellte KI-Plattformen um geschäftsspezifische Anwendungsfälle erweitert werden sollen. In einem unserer Fälle haben wir Auftragsdaten von einem bestimmten Inhaltstyp für das Fine-Tuning genutzt, deren Informationen völlig unstrukturiert und verstreut in PDF-Dokumenten vorgelegen haben.

Wir haben dem KI-Modell über das Fine-Tuning mitgeteilt, welche Antworten wir anhand der Daten erwarten würden, und diese Daten in das Fine-Tuning eingeflochten.

Ergebnisse:

• Bei der korrekten Zuordnung von Warenpositionsbeschreibungen haben wir die Grundqualität dieser inhaltlich sehr heterogenen Felder von einer 63%igen Erkennungsrate auf 91% erhöht - und das mit nur 4 Fine-Tuning Datensätzen!
• Bei der Erkennung von Multistopp-Adressen im Rahmen einer Zustellung wurde eine 78%ige Erkennungsrate auf 96% erhöht.

In beiden Fällen kam das GPT-3.5 Turbo von OpenAI zum Einsatz. Wir erwarten, dass die Erkennungsraten von GPT-4 Turbo noch höher sein werden.

Ist Fine-Tuning das Wundermittel?

Nein! Auch im Zuge des Fine-Tunings müssen die Prompts, die für das Fine-Tunings ausgewählten Datensätze, die Modellauswahl sowie ergänzende Maßnahmen wie Interactive Contextual Prompting ("few-shots", "one-shots") überlegt und präzise ausgeführt werden. Stimmt die Grundqualität der Modellbedienung nicht, ist jedes Fine-Tuning ein Glücksspiel.

Ergänzende Techniken:

• Retrieval Augmented Generation (RAG) kommt in der Regel ergänzend zum Fine-Tuning zum Einsatz. Darüber werden dynamisch große Mengen mithilfe von Vektordatenbanken und als Embedding präsentierte Unternehmensdaten zur Verwertung an ein GPT-Modell übergeben.
• Ergebnisvalidierung mit diskreten Methoden (z.B. RegEx) oder Lookups (z.B. Plausibilisierung) oder unter Einsatz weiterer, spezialisierter KI-Modellen.

Gut durchdacht, fachmännisch geprüft und sorgfältig eingeführt lassen sich fine-tuned KI-Modelle perfekt für die Automatisierung aufwändiger Geschäftsprozesse nutzen. Von der Auftragserfassung, über Auftragsplanungen bis hin zur Abrechnung.

Die "Maschine" übernimmt die repetitiven Aufgaben des Menschen.