Jeden model pro překlad, jeden model pro hodnocení: Jak vyvíjíme systém posouzení kvality překladu pro DeepL

Problém s překlady pomocí AI spočívá v tom, že vypadají dokonale, i když tomu tak není. Protože chyby nejsou na první pohled zřejmé, musíte se spolehnout na tvrzení modelu AI, že je vše správné. Jedinou alternativou je požádat odborníky na jazyk, aby práci prošli řádek po řádku a hledali chyby, neúplné překlady a jemné změny významu, které by laik s největší pravděpodobností přehlédl.

Tato neustálá nutnost kontroly je jednou z nejčastějších stížností, které týmy specializované na lokalizaci mají na překlady pomocí AI. To vyvolává zásadní otázku pro každého, kdo se zabývá výzkumem AI v oblasti jazyků. Jak si mohou strojové překlady získat důvěru organizací, které se na ně spoléhají? Jak mohou zabránit tomu, aby museli žádat kontrolující, aby pro kontrolu znovu procházeli práci, kterou již vykonali, jen aby se ujistili?

Vytvoření nezávislého modelu TQE pro AI DeepL

Ukázalo se, že AI tento problém vyřešit dokáže, avšak nikoli pomocí stejného modelu, který překlad původně vytvořil. Testování kvality ukázalo, že když překlady kontrolují velké jazykové modely (LLM), upřednostňují výsledky svého vlastního modelu a přehlížejí jeho potenciální slabiny. Pokud jde o AI, důvěru si nezískáte tím, že požádáte model, aby si zkontroloval vlastní práci. Toho však můžete dosáhnout vytvořením a trénováním jiného modelu, který se plně soustředí na identifikaci potenciálních chyb nebo nesprávných významů.

Právě tím se zabývají senior produktová manažerka DeepL Marta Danylenko, vedoucí výzkumný pracovník Martin Berger a zbytek týmu stojícího za naším nástrojem pro posouzení kvality překladu (TQE). Vyvinuli nezávislý model AI pro TQE s jedním konkrétním cílem: podrobit překlady zátěžovým testům a kategorizovat všechny chyby nebo potenciální chyby, o kterých by zákazníci měli vědět.

Jak TQE funguje v praxi

Odborný AI editor TQE prochází překlady segment po segmentu a zobrazuje zdrojový a přeložený text vedle sebe. V samostatném sloupci zvýrazňuje případné problémy v překladu a přiřazuje jim kategorii závažnosti: kritická, závažná nebo méně závažná. Lidští kontrolující mohou přejít na každý potenciální problém, zkontrolovat segment, přímo upravit překlad, označit jej jako vyřešený nebo alternativně označení jednoduše ignorovat.

To vyvolává zřejmou otázku, na kterou Marta a Martin často odpovídají:  Pokud TQE ví, že tam chyby jsou, proč je prostě nemůže opravit? Proč do toho vůbec zapojovat kontrolující? Důvod spočívá v povaze samotných chyb. A to je přímý důsledek povahy AI.

AI si nejlépe získává důvěru tím, že identifikuje chyby, které nedokáže opravit

Modely AI jsou ve své podstatě pravděpodobnostní. Provádějí souhrnné statistické odhady s neuvěřitelnou přesností, ale stále se jedná pouze o nejlepší odhady – a někdy se mýlí. Pokud chybí klíčový kontext, tato pravděpodobnost se zvyšuje. Jiný model sice dokáže odhalit nesoulad a potenciální nejednoznačnost, ale nedokáže to napravit, aniž by provedl další odhad. Je mnohem lepší zapojit člověka.

Někdy je nedostatek kontextu, který vede k chybným odhadům, způsoben implicitními znalostmi: něčím, co AI nemůže vědět, ale lidský překladatel ano. Někdy to vyplývá z povahy samotného zdrojového textu. Může obsahovat gramatické chyby, které model AI zmate. Může dokonce obsahovat záměrné gramatické chyby, které představují styl. Překladatelská AI musí tyto mezery vyplnit a odhadnout záměr a význam. Model, který je speciálně navržen pro posouzení kvality, dokáže tuto odchylku od originálu odhalit a označit.

Kompromis mezi přesností a úplností: Jak přísný by měl být model TQE?

Pro Martina, Martu a celý tým začaly opravdu zajímavé diskuse otázkou, jak tyto „chyby“ v překladu kategorizovat a jakou závažnost každé z nich přiřadit. Nejprve použili osvědčený rámec Multi-dimensional Quality Metrics (MQM) pro hodnocení kvality překladu, který se zaměřuje na oblasti jako gramatika, pravopis, srozumitelnost a také na to, zda překlad přesně odpovídá obsahu zdrojového textu. 

Při spolupráci s odborníky na jazyk si však tým rychle uvědomil, že typy chyb se liší, pokud jde o překlad vytvořený AI namísto člověka. Ve strojovém překladu se nevyskytují překlepy. Existuje však spousta případů, kdy se projevuje nedostatek implicitních znalostí.

Proto nikdy nebylo cílem TQE nahradit kontrolující. Kombinací překladového a hodnotícího modelu zajišťujeme, že AI dokáže rozpoznat své vlastní limity a zapojit kontrolující tam, kde je to potřeba, čímž jim šetříme drahocenný čas. Zůstávají nezbytnou součástí celého procesu. Cílem je umožnit jim pracovat s AI způsobem, který je pro ně uspokojivější.

To vyžaduje rovnováhu: mezi označováním každého typu potenciální chyby, což však kontrolujícím přidělává více práce, a vydáváním upozornění pouze na ty chyby, které mají závažné důsledky. Právě proto patřily diskuse o tom, co představuje kritickou, závažnou nebo menší překladatelskou chybu, k nejzajímavějším v rámci vývoje TQE. 

Spolupráce se zákazníky na vytvoření nejlepší verze TQE

Nastavení míry přísnosti TQE je jednou z mnoha oblastí, ve kterých spolupracujeme se zákazníky na zdokonalování modelu. Integrujeme funkce přizpůsobení DeepL, jako jsou glosáře a pravidla stylu, abychom modelu poskytli více kontextových znalostí. TQE jsme zpřístupnili jako API a přidáváme také návrhy, jak chyby opravit, a možnosti hromadného přijetí či odmítnutí chyb.

Mnohé z těchto vylepšení vycházejí z poznatků, o které se s námi podělili zákazníci pracující s naším testovacím nástrojem TQE. Pokud byste se chtěli podílet na vývoji tohoto dalšího kroku v oblasti překladu pomocí AI, kontaktujte nás a požádejte o přístup do testovacího prostředí. Rádi bychom se dozvěděli, jak vám TQE vyhovuje.

Máte zájem o přístup do našeho testovacího prostředí TQE? Napište na marta.danylenko@deepl.com.