Ein Modell zum Übersetzen, ein Modell zur Bewertung: Wie wir die Qualitätsbewertung der Übersetzungsqualität bei DeepL aufbauen

Das Problem bei KI-Übersetzungen ist, dass sie perfekt aussehen, auch wenn sie es nicht sind. Da Fehler auf den ersten Blick nicht erkennbar sind, müssen Sie sich auf die Aussage des KI-Modells verlassen, dass alles korrekt ist. Die einzige Alternative besteht darin, Sprachexperten zu beauftragen, die Arbeit Zeile für Zeile durchzugehen und nach Fehlern, unvollständigen Übersetzungen und subtilen Bedeutungsverschiebungen zu suchen, die einem Laien höchstwahrscheinlich entgehen würden.

Dieser endlose Überprüfungsaufwand ist einer der häufigsten Kritikpunkte, den Teams der Lokalisierung an KI-Übersetzungen äußern. Dies wirft eine grundlegende Frage für alle auf, die sich mit KI-Forschung im Bereich der Sprache beschäftigen. Wie können maschinelle Übersetzungen das Vertrauen der Organisationen gewinnen, die sich auf sie verlassen? Wie können sie vermeiden, dass menschliche Prüfer die bereits geleistete Arbeit noch einmal nachprüfen müssen, nur um ganz sicher zu gehen?

Entwicklung eines unabhängigen TQE-KI-Modells für DeepL

Es zeigt sich, dass KI dieses Problem lösen kann, jedoch nicht mit demselben KI-Modell, das die Übersetzung ursprünglich erstellt hat. Qualitätsprüfungen haben gezeigt, dass große Sprachmodelle (LLMs) bei der Überprüfung von Übersetzungen die Ergebnisse ihres eigenen Modells bevorzugen und dessen potenzielle Schwächen übersehen. Wenn es um KI geht, kann man kein Vertrauen gewinnen, indem man ein Modell bittet, seine eigene Arbeit zu überprüfen. Sie können dies jedoch erreichen, indem Sie ein anderes Modell entwickeln und trainieren, das sich ausschließlich darauf konzentriert, potenzielle Fehler oder Fehlinterpretationen zu identifizieren.

Genau daran haben Marta Danylenko, Senior Product Manager bei DeepL, Martin Berger, Senior Research Scientist, und der Rest des Teams hinter unserem Tool für die Qualitätsbewertung der Übersetzungen gearbeitet. Sie haben ein eigenständiges TQE-KI-Modell mit einem ganz bestimmten Ziel entwickelt: Übersetzungen einem Stresstest zu unterziehen und alle Fehler oder potenziellen Fehler zu kategorisieren, über die Kunden informiert werden sollten.

So funktioniert TQE in der Praxis

Der fachkundige KI-Bearbeiter von TQE durchläuft die Übersetzungen Segment für Segment und zeigt den Ausgangstext und den übersetzten Text nebeneinander an. In einer separaten Spalte werden mögliche Probleme in der Übersetzung hervorgehoben, eingestuft nach den Schweregraden „Kritisch“, „Erheblich“ oder „Gering“. Menschliche Prüfer können zu jedem potenziellen Problem springen, das Segment überprüfen, die Übersetzung direkt bearbeiten, als behoben markieren oder alternativ die Markierung einfach ignorieren.

Dies wirft eine naheliegende Frage auf, die Marta und Martin häufig beantworten müssen:  Wenn TQE weiß, dass die Fehler vorhanden sind, warum kann es diese dann nicht einfach selbst beheben? Warum werden menschliche Prüfer überhaupt einbezogen? Der Grund liegt in der Art der Fehler selbst. Und das ist eine direkte Folge der Natur der KI.

KI gewinnt am ehesten Vertrauen, indem sie die Fehler identifiziert, die sie nicht beheben kann

KI-Modelle sind grundsätzlich probabilistisch. Sie liefern hochgradig aggregierte, statistische Schätzungen mit unglaublicher Genauigkeit, doch es handelt sich dabei immer noch um bestmögliche Schätzungen – und manchmal liegen sie falsch. Wenn entscheidender Kontext fehlt, steigt diese Wahrscheinlichkeit. Ein anderes Modell kann die Abweichung und die potenzielle Mehrdeutigkeit erkennen, kann das Problem jedoch nicht beheben, ohne eine weitere Schätzung vorzunehmen. Es ist weitaus besser, einen Menschen hinzuzuziehen.

Manchmal ist der Mangel an Kontext, der zu falschen Schätzungen führt, auf implizites Wissen zurückzuführen: etwas, das die KI nicht wissen kann, das ein menschlicher Übersetzer jedoch weiß. Manchmal resultiert dies aus der Beschaffenheit des Ausgangstextes selbst. Er könnte grammatikalische Fehler enthalten, die das KI-Modell verwirren. Möglicherweise enthält er sogar absichtliche grammatikalische Fehler, die dem Stil entsprechen. Ein KI-Übersetzer muss die Lücken füllen und dabei die Absicht und Bedeutung erraten. Ein Modell, das speziell für die Qualitätsbewertung entwickelt wurde, kann diese Abweichung vom Original erkennen und kennzeichnen.

Der Kompromiss zwischen Präzision und Erfassungsgrad: Wie streng sollte ein TQE-Modell sein?

Für Martin, Marta und das Team begannen die wirklich interessanten Diskussionen mit der Frage, wie diese „Fehler“ in der Übersetzung kategorisiert werden sollten und welche Schweregradstufe jedem einzelnen zuzuweisen sei. Zunächst griffen sie auf das seit Langem etablierte „Multi-dimensional Quality Metrics“ (MQM)-Framework für Übersetzungsqualität zurück, das sich auf Bereiche wie Grammatik, Rechtschreibung und Lesbarkeit konzentriert sowie darauf, ob eine Übersetzung genau dem Inhalt des Ausgangstextes entspricht. 

In Zusammenarbeit mit Sprachexperten erkannte das Team jedoch schnell, dass sich die Art der Fehler verändert, wenn es sich um eine von KI statt von einem Menschen erstellte Übersetzung handelt. In maschinellen Übersetzungen gibt es keine Tippfehler. Es gibt jedoch zahlreiche Fälle, in denen sich ein Mangel an implizitem Wissen offenbart.

Deshalb war es nie das Ziel von TQE, menschliche Prüfer zu ersetzen. Durch die Kombination eines Übersetzungsmodells mit einem Bewertungsmodell stellen wir sicher, dass die KI ihre eigenen Grenzen erkennen und die Prüfer dort einbinden kann, wo sie benötigt werden, wodurch diese wertvolle Zeit sparen. Sie bleiben ein wesentlicher Bestandteil des Prozesses. Das Ziel ist es, ihnen eine zufriedenstellendere Zusammenarbeit mit der KI zu ermöglichen.

Dies erfordert ein Gleichgewicht: zwischen der Markierung jeder Art von potenziellen Fehlern – was jedoch mehr Arbeit für die Prüfer bedeutet – und der Ausgabe von Warnmeldungen nur für diejenigen Fehler, die schwerwiegende Auswirkungen haben. Deshalb gehörten die Diskussionen darüber, was einen kritischen, schwerwiegenden oder geringfügigen Übersetzungsfehler ausmacht, zu den interessantesten Aspekten bei der Entwicklung von TQE. 

Gemeinsam mit Kunden an der besten Version von TQE arbeiten

Die Festlegung des Strengegrads von TQE ist einer von vielen Bereichen, in denen wir gemeinsam mit unseren Kunden an der Weiterentwicklung des Modells arbeiten. Wir integrieren die Anpassungsfunktionen von DeepL wie Glossare und Stilregeln, um dem Modell mehr Kontextwissen zu verleihen. Wir haben TQE als API verfügbar gemacht und fügen zudem Vorschläge zur Behebung von Fehlern sowie Optionen zum massenhaften Akzeptieren und Ablehnen dieser Fehler hinzu.

Viele dieser Entwicklungen basieren auf Erkenntnissen, die uns Kunden im Rahmen der Nutzung unseres TQE-Testtools mitgeteilt haben. Wenn Sie an der Entwicklung dieses nächsten Schritts in der KI-Übersetzung mitwirken möchten, wenden Sie sich bitte an uns, um Zugang zur Testumgebung zu beantragen. Wir würden uns sehr freuen, von Ihnen zu erfahren, wie sich TQE für Sie bewährt.

Sind Sie daran interessiert, Zugang zu unserer TQE-Testumgebung zu erhalten? Senden Sie eine E-Mail an marta.danylenko@deepl.com.