Одна модель для перекладу, одна модель для оцінки: Як ми розробляємо систему оцінювання якості перекладу для DeepL

Проблема з перекладами ШІ полягає в тому, що вони виглядають ідеальними, навіть коли це не так. Оскільки помилки не очевидні з першого погляду, доводиться вірити на слово моделі ШІ, що все правильно. Єдина альтернатива — попросити фахівців з мови перевірити переклад рядок за рядком, вишукуючи помилки, неповні переклади та тонкі зміни значення, які нефахівець, найімовірніше, пропустить.

Ця необхідність безкінечної перевірки є однією з найпоширеніших скарг команд з локалізації щодо перекладів, виконаних ШІ. Це ставить фундаментальне питання для всіх, хто займається дослідженнями ШІ в галузі мови. Як машинні переклади можуть заслужити довіру організацій, які на них покладаються? Як уникнути необхідності просити людських редакторів повторно перевіряти вже виконану роботу лише для впевненості?

Створення незалежної моделі ШІ для перевірки якості перекладу (TQE) для DeepL

Виявляється, що ШІ може вирішити цю проблему, але не за допомогою тієї самої моделі ШІ, яка спочатку створила переклад. Тестування якості показало, що коли великі мовні моделі (LLM) перевіряють переклади, вони віддають перевагу результатам власної моделі та не помічають її потенційних слабких місць. У сфері ШІ неможливо завоювати довіру, просячи модель перевіряти власну роботу. Однак це можна зробити, створивши та навчивши іншу модель, яка повністю зосереджена на виявленні будь-яких потенційних помилок або неправильно переданих значень.

Саме цим займаються старший менеджер з продуктів DeepL Марта Даниленко, старший науковий співробітник Мартін Бергер та решта команди, що стоїть за нашим інструментом оцінювання якості перекладу (TQE). Вони розробили незалежну модель ШІ TQE з однією конкретною метою: піддавати переклади стрес-тестуванню та класифікувати будь-які помилки чи потенційні помилки, про які клієнти повинні знати.

Як TQE працює на практиці

Експертний редактор TQE на базі ШІ перевіряє переклади сегмент за сегментом, відображаючи вихідний та перекладений текст поруч. В окремому стовпці він виділяє будь-які потенційні проблеми з перекладом, присвоюючи їм категорію серйозності: «Критична», «Значна» або «Незначна». Редактори-люди можуть перейти до кожної потенційної проблеми, переглянути сегмент, безпосередньо редагувати переклад, позначити як вирішену або, як альтернативу, просто проігнорувати позначку.

Це викликає очевидне запитання, на яке Марта та Мартін часто відповідають:  Якщо TQE знає про наявність помилок, чому вона не може просто виправити їх? Навіщо взагалі залучати редакторів-людей? Причина полягає в самій природі цих помилок. А це — прямий наслідок природи ШІ.

ШІ найкраще завойовує довіру, виявляючи помилки, які він не може виправити

Моделі ШІ за своєю суттю є ймовірнісними. Вони роблять сукупні статистичні припущення з неймовірною точністю, але це все ж лише припущення — і іноді вони виявляються помилковими. Коли бракує важливого контексту, ймовірність помилки зростає. Інша модель може виявити розбіжність і потенційну неоднозначність, але не може виправити це, не зробивши ще одного припущення. Набагато краще залучити людину.

Іноді брак контексту, що призводить до помилкових припущень, зводиться до неявних знань: чогось, чого ШІ не може знати, на відміну від перекладача-людини. Іноді це зумовлено самою природою вихідного тексту. У ньому можуть бути граматичні помилки, які заплутують модель ШІ. Він може навіть містити навмисні граматичні помилки, які є стилем. ШІ-перекладач мусить заповнювати прогалини, вгадуючи наміри та значення. Модель, спеціально розроблена для оцінювання якості, може виявити це відхилення від оригіналу та позначити його.

Компроміс між точністю та повнотою: Наскільки суворою має бути модель TQE?

Для Мартіна, Марти та команди справді цікаві дискусії розпочалися з питання, як класифікувати ці «помилки» у перекладі та яку ступінь серйозності надати кожній із них. Спочатку вони використовували давно усталену систему багатовимірних показників якості (MQM) для оцінки якості перекладу, яка зосереджується на таких аспектах, як граматика, орфографія, читабельність, а також на тому, чи точно переклад відповідає змісту вихідного тексту. 

Однак, працюючи з лінгвістами, команда швидко зрозуміла, що типи помилок змінюються, коли мова йде про переклад, створений ШІ, а не людиною. У машинному перекладі немає друкарських помилок. Однак часто трапляються випадки, коли виявляється брак неявних знань.

Саме тому метою TQE ніколи не було замінити людських редакторів. Поєднуючи модель перекладу з моделлю оцінювання, ми гарантуємо, що ШІ здатний виявляти власні обмеження та залучати редакторів там, де це потрібно, заощаджуючи їхній дорогоцінний час. Вони залишаються невід’ємною частиною процесу. Мета полягає в тому, щоб дати їм можливість працювати зі ШІ більш ефективно.

Це вимагає балансу: між позначенням кожного типу потенційної помилки, що, однак, створює додаткову роботу для редакторів, та видачею попереджень лише щодо тих помилок, які мають серйозні наслідки. Саме тому дискусії щодо того, що саме становить критичну, значну чи незначну помилку перекладу, були одними з найцікавіших під час розробки TQE. 

Співпраця з клієнтами для створення найкращої версії TQE

Визначення рівня суворості TQE — це одна з багатьох сфер, у яких ми співпрацюємо з клієнтами над вдосконаленням моделі. Ми інтегруємо функції налаштування DeepL, такі як глосарії та правила стилю, щоб надати моделі більше контекстуальних знань. Ми зробили TQE доступним як API, а також додаємо пропозиції щодо виправлення помилок та опції для їх масового прийняття або відхилення.

Багато з цих нововведень ґрунтуються на зауваженнях клієнтів, які працюють з нашим інструментом тестування TQE. Якщо ви хочете долучитися до розробки цього наступного етапу в галузі перекладу на основі ШІ, будь ласка, зверніться до нас, щоб отримати доступ до тестового середовища. Ми будемо раді дізнатися, як TQE працює саме для вас.

Хочете отримати доступ до нашого тестового середовища TQE? Надішліть електронний лист на адресу marta.danylenko@deepl.com.