Eén model om te vertalen, één model om te evalueren: Hoe wij de kwaliteitsbeoordeling voor DeepL ontwikkelen

Het probleem met AI-vertalingen is dat ze er perfect uitzien, zelfs als dat niet zo is. Omdat fouten op het eerste gezicht niet duidelijk zijn, moet u erop vertrouwen dat het AI-model aangeeft dat alles correct is. Het enige alternatief is om taalprofessionals te vragen het werk regel voor regel door te nemen, op zoek naar fouten, onvolledige vertalingen en subtiele betekenisverschillen die een leek hoogstwaarschijnlijk over het hoofd zou zien.

Deze eindeloze noodzaak tot controle is een van de meest voorkomende klachten die teams van lokalisatie hebben over AI-vertalingen. Dit roept een fundamentele vraag op voor iedereen die zich bezighoudt met AI-onderzoek op het gebied van taal. Hoe kunnen automatische vertalingen het vertrouwen winnen van de organisaties die erop vertrouwen? Hoe kunnen zij voorkomen dat menselijke beoordelaars het werk dat zij al hebben verricht nogmaals moeten controleren, alleen maar om zeker te zijn?

Het ontwikkelen van een onafhankelijk TQE-AI-model voor DeepL

Het blijkt dat AI dit probleem kan oplossen, maar niet met hetzelfde AI-model dat de vertaling in eerste instantie heeft gegenereerd. Uit kwaliteitstests is gebleken dat LLM’s bij het controleren van vertalingen de voorkeur geven aan de resultaten van hun eigen model en de mogelijke zwakke punten daarvan over het hoofd zien. Als het om AI gaat, kunt u geen vertrouwen winnen door een model te vragen zijn eigen werk te controleren. U kunt dit echter wel bereiken door een ander model te ontwikkelen en te trainen dat volledig gericht is op het identificeren van mogelijke fouten of verkeerd geïnterpreteerde betekenissen.

Dat is precies wat Marta Danylenko, Senior Product Manager bij DeepL, Martin Berger, Senior Research Scientist, en de rest van het team achter onze tool voor kwaliteitsbeoordeling van vertalingen hebben gedaan. Zij hebben een onafhankelijk TQE-AI-model ontwikkeld met één specifiek doel: vertalingen aan een stresstest te onderwerpen en eventuele fouten of potentiële fouten te categoriseren waarvan klanten op de hoogte moeten zijn.

Hoe TQE in de praktijk werkt

De deskundige AI-bewerker van TQE doorloopt vertalingen segment voor segment en toont de brontekst en de vertaalde tekst naast elkaar. In een aparte kolom worden eventuele potentiële problemen met de vertaling gemarkeerd, met een ernstcategorie van ‘Kritiek’, ‘Groot’ of ‘Klein’. Beoordelaars kunnen naar elk potentieel probleem springen, het segment bekijken, de vertaling direct wijzigen, het als opgelost markeren of de melding gewoon negeren.

Dit roept een voor de hand liggende vraag op, die Marta en Martin vaak moeten beantwoorden:  Als TQE weet dat de fouten er zijn, waarom kan het deze dan niet gewoon zelf corrigeren? Waarom worden menselijke beoordelaars er dan überhaupt bij betrokken? De reden ligt in de aard van de fouten zelf. En dat is een direct gevolg van de aard van AI.

AI wint het meeste vertrouwen door de fouten te identificeren die het niet kan verhelpen

AI-modellen zijn fundamenteel probabilistisch. Ze maken sterk geaggregeerde, statistische schattingen met een ongelooflijke nauwkeurigheid, maar het blijven slechts schattingen – en soms zitten ze ernaast. Wanneer cruciale context ontbreekt, neemt die kans toe. Een ander model kan de afwijking en de mogelijke dubbelzinnigheid weliswaar signaleren, maar kan dit niet verhelpen zonder opnieuw een inschatting te maken. Het is veel beter om een mens in te schakelen.

Soms komt het gebrek aan context dat tot verkeerde inschattingen leidt neer op impliciete kennis: iets wat de AI niet kan weten, maar wat een menselijke vertaler wel zou weten. Soms vloeit dit voort uit de aard van de brontekst zelf. De tekst kan grammaticale fouten bevatten die het AI-model in verwarring brengen. Er kunnen zelfs opzettelijke grammaticale fouten in staan die een stijlkeuze vertegenwoordigen. Een AI-vertaler moet de hiaten opvullen door te gissen naar de bedoeling en de betekenis. Een model dat speciaal is ontwikkeld voor kwaliteitsbeoordeling kan deze afwijking van het origineel detecteren en signaleren.

De afweging tussen precisie en recall: Hoe streng moet een TQE-model zijn?

Voor Martin, Marta en het team begonnen de echt interessante discussies met de vraag hoe deze „fouten“ in vertalingen moeten worden gecategoriseerd, en hoeveel ernst aan elk daarvan moet worden toegekend. Zij begonnen met het gebruik van het al lang bestaande Multi-dimensional Quality Metrics (MQM)-raamwerk voor vertaalkwaliteit, dat zich richt op aspecten als grammatica, spelling en leesbaarheid, evenals op de vraag of een vertaling nauwkeurig overeenkomt met de inhoud van de brontekst. 

In samenwerking met taalexperts realiseerde het team zich echter al snel dat de soorten fouten verschillen wanneer het gaat om een vertaling die door AI is geproduceerd in plaats van door een mens. Er komen geen typefouten voor in automatische vertalingen. Er zijn echter tal van gevallen waarin een gebrek aan impliciete kennis aan het licht komt.

Daarom is het nooit de bedoeling van TQE geweest om menselijke beoordelaars te vervangen. Door een vertaalmodel te combineren met een evaluatiemodel zorgen wij ervoor dat AI haar eigen beperkingen kan detecteren en die beoordelaars kan inschakelen waar dat nodig is, waardoor zij kostbare tijd besparen. Zij blijven een essentieel onderdeel van het proces. Het doel is hen in staat te stellen op een bevredigender manier met AI samen te werken.

Dit vereist een evenwicht: enerzijds het signaleren van elk type potentiële fout – zonder daarbij extra werk voor de beoordelaars te creëren – en anderzijds het uitsluitend geven van waarschuwingen voor fouten met ernstige gevolgen. Daarom behoorden de discussies over wat een ‘kritieke’, ‘grote’ of ‘kleine’ vertaalfout precies inhoudt tot de meest interessante aspecten van de ontwikkeling van TQE. 

Samenwerken met klanten om de beste versie van TQE te ontwikkelen

Het afstemmen van de strengheid van TQE is een van de vele gebieden waarop wij samen met klanten werken aan het verfijnen van het model. We integreren de aanpassingsmogelijkheden van DeepL, zoals woordenlijsten en stijlregels, om het model meer contextuele kennis te geven. We hebben TQE beschikbaar gesteld als API en voegen daarnaast suggesties toe voor het corrigeren van fouten, evenals opties om deze in bulk te accepteren of af te wijzen.

Veel van deze ontwikkelingen zijn gebaseerd op inzichten die zijn gedeeld door klanten die met onze TQE-testtool werken. Mocht u willen bijdragen aan de ontwikkeling van deze volgende stap in AI-vertaling, neem dan contact met ons op om toegang tot de testomgeving aan te vragen. Wij horen graag hoe TQE voor u werkt.

Wilt u toegang krijgen tot onze TQE-testomgeving? Stuur een e-mail naar marta.danylenko@deepl.com.