Jeden model do tłumaczenia, jeden model do oceny: Jak tworzymy system oceny jakości tłumaczeń dla DeepL

Problem z tłumaczeniami AI polega na tym, że wyglądają na idealne, nawet jeśli tak nie jest. Ponieważ błędy nie są widoczne na pierwszy rzut oka, musisz wierzyć modelowi AI na słowo, że wszystko jest w porządku. Jedyną alternatywą jest poproszenie profesjonalistów z zakresu języka, żeby przejrzeli tekst linijka po linijce, szukając błędów, niekompletnych tłumaczeń i subtelnych zmian znaczenia, które laik najprawdopodobniej przeoczyłby.

Ta niekończąca się konieczność sprawdzania to jedna z najczęstszych skarg zespołów zajmujących się lokalizacją dotyczących tłumaczeń AI. Rodzi to fundamentalne pytanie dla każdego, kto zajmuje się badaniami nad AI w dziedzinie języków. Jak tłumaczenia maszynowe mogą zdobyć zaufanie organizacji, które na nich polegają? Jak mogą uniknąć sytuacji, w której muszą prosić osób sprawdzających o ponowne sprawdzanie pracy, którą już wykonały, tylko po to, żeby się upewnić?

Stworzenie niezależnego modelu AI TQE dla DeepL

Okazuje się, że AI może rozwiązać ten problem, ale nie da się tego zrobić za pomocą tego samego modelu AI, który stworzył tłumaczenie. Testy jakości pokazały, że kiedy duże modele językowe (LLM) sprawdzają tłumaczenia, faworyzują wyniki własnego modelu i przeoczają jego potencjalne słabe punkty. Jeśli chodzi o AI, nie zyskasz zaufania, prosząc model o sprawdzenie własnej pracy. Możesz to jednak osiągnąć, tworząc i trenując inny model, który skupia się wyłącznie na identyfikowaniu potencjalnych błędów lub niepoprawnych znaczeń.

Właśnie tym zajmują się starsza menedżerka produktu DeepL, Marta Danylenko, starszy naukowiec Martin Berger oraz reszta zespołu odpowiedzialnego za nasze narzędzie do oceny jakości tłumaczeń (TQE). Opracowali niezależny model AI TQE, który ma jeden konkretny cel: poddawać tłumaczenia testom obciążeniowym i klasyfikować wszelkie błędy lub potencjalne błędy, o których klienci powinni wiedzieć.

Jak TQE działa w praktyce

Ekspertny edytor AI TQE przegląda tłumaczenia segment po segmencie, wyświetlając tekst źródłowy i przetłumaczony obok siebie. W osobnej kolumnie zaznacza wszelkie potencjalne problemy w tłumaczeniu, przypisując im kategorię ważności: „Krytyczne”, „Poważne” lub „Drobne”. Ludzie, którzy sprawdzają, mogą przejść do każdego potencjalnego problemu, przejrzeć segment, bezpośrednio edytować tłumaczenie, oznaczyć go jako rozwiązany lub po prostu zignorować zgłoszenie.

To rodzi oczywiste pytanie, na które Marta i Martin często muszą odpowiadać:  Skoro TQE wie, że są tam błędy, dlaczego po prostu ich nie naprawi? Po co w ogóle angażować osoby sprawdzające? Powód wynika z samej natury tych błędów. A to wynika bezpośrednio z natury AI.

AI zdobywa zaufanie najlepiej, wskazując błędy, których nie potrafi naprawić

Modele AI działają zasadniczo na zasadzie prawdopodobieństwa. Tworzą bardzo łączne, statystyczne prognozy z niesamowitą dokładnością, ale to wciąż tylko najlepsze przypuszczenia – i czasem się mylą. Gdy brakuje kluczowego kontekstu, prawdopodobieństwo tego wzrasta. Inny model może dostrzec rozbieżność i potencjalną niejednoznaczność, ale nie da rady tego naprawić bez kolejnego przypuszczenia. O wiele lepiej jest zaangażować człowieka.

Czasami brak kontekstu, który prowadzi do błędnych przypuszczeń, wynika z wiedzy ukrytej: czegoś, czego AI nie może wiedzieć, a co wie tłumacz-człowiek. Czasami wynika to z samej natury tekstu źródłowego. Może zawierać błędy gramatyczne, które dezorientują model AI. Może nawet zawierać celowe błędy gramatyczne, które są wyborem stylistycznym. Tłumacz oparty na AI musi wypełnić te luki, zgadując intencję i znaczenie. Model stworzony specjalnie do oceny jakości potrafi wykryć takie odchylenia od oryginału i je zaznaczyć.

Kompromis między precyzją a odzyskiem: Jak rygorystyczny powinien być model TQE?

Dla Martina, Marty i reszty zespołu naprawdę ciekawe dyskusje zaczęły się od pytania, jak sklasyfikować te „błędy” w tłumaczeniu i jaką wagę przypisać każdemu z nich. Zaczęli od wykorzystania sprawdzonego od dawna modelu wielowymiarowych wskaźników jakości (MQM) dla tłumaczeń, który skupia się na takich obszarach jak gramatyka, ortografia, czytelność, a także na tym, czy tłumaczenie dokładnie odzwierciedla tekst źródłowy. 

Współpracując z ekspertami językowymi, zespół szybko zdał sobie jednak sprawę, że rodzaje błędów zmieniają się, gdy mamy do czynienia z tłumaczeniem wygenerowanym przez AI, a nie przez człowieka. W tłumaczeniach maszynowych nie ma literówek. Często jednak widać, że brakuje tu wiedzy kontekstowej.

Dlatego celem TQE nigdy nie było zastąpienie osób sprawdzających. Łącząc model tłumaczeniowy z modelem oceniającym, dbamy o to, by AI potrafiła wykrywać własne ograniczenia i angażować osoby sprawdzające tam, gdzie są potrzebne, oszczędzając im cenny czas. Nadal są oni kluczową częścią tego procesu. Chodzi o to, żeby mogli współpracować z AI w sposób, który bardziej ich satysfakcjonuje.

Wymaga to znalezienia równowagi: z jednej strony trzeba sygnalizować każdy rodzaj potencjalnego błędu, ale nie chcemy przy tym generować osobom sprawdzającym dodatkowej pracy, a z drugiej – wysyłać powiadomienia tylko w przypadku błędów o poważnych konsekwencjach. Właśnie dlatego dyskusje na temat tego, co stanowi błąd tłumaczeniowy krytyczny, poważny czy drobny, były jednymi z najciekawszych podczas tworzenia TQE. 

Współpraca z klientami nad stworzeniem najlepszej wersji TQE

Ustalenie, jak rygorystyczny powinien być TQE, to jeden z wielu obszarów, w których współpracujemy z klientami nad udoskonaleniem modelu. Włączamy funkcje dostosowywania DeepL, takie jak glosariusze i reguły stylu, żeby model miał więcej wiedzy kontekstowej. Udostępniliśmy TQE jako API, a także dodajemy sugestie dotyczące poprawiania błędów oraz opcje zbiorczego akceptowania i odrzucania błędów.

Wiele z tych zmian wynika z opinii klientów korzystających z naszego narzędzia do testowania TQE. Jeśli chcesz wziąć udział w tworzeniu kolejnego etapu tłumaczeń opartych na AI, skontaktuj się z nami, żeby poprosić o dostęp do środowiska testowego. Chętnie dowiemy się, jak TQE sprawdza się w Twoim przypadku.

Chcesz uzyskać dostęp do naszego środowiska testowego TQE? Napisz na adres marta.danylenko@deepl.com.