Un modello per tradurre, un modello per valutare: Come stiamo sviluppando il sistema di valutazione della qualità delle traduzioni per DeepL

Il problema delle traduzioni con l’IA è che sembrano perfette, anche quando non lo sono. Dato che gli errori non sono evidenti a prima vista, devi fidarti di ciò che dice il modello di IA, ovvero che tutto è corretto. L’unica alternativa è chiedere a dei professionisti della lingua di esaminare il lavoro, riga per riga, alla ricerca di errori, traduzioni incomplete e sottili cambiamenti di significato che un non esperto molto probabilmente non noterebbe.

Questa necessità infinita di controlli è una delle lamentele più comuni che i team di localizzazione hanno riguardo alle traduzioni con l’IA. Questo solleva una domanda fondamentale per chiunque si occupi di ricerca sull’IA applicata alle lingue. Come possono le traduzioni automatiche guadagnarsi la fiducia delle organizzazioni che si affidano a loro? Come possono evitare di chiedere a revisori umani di ricontrollare il lavoro che hanno già fatto, solo per sicurezza?

Creare un modello di IA TQE indipendente per DeepL

A quanto pare, l’IA può risolvere questo problema, ma non può farlo utilizzando lo stesso modello di IA che ha creato la traduzione in primo luogo. I test di qualità hanno dimostrato che, quando i modelli di linguaggio di grandi dimensioni (LLM) controllano le traduzioni, tendono a privilegiare i risultati del proprio modello, trascurandone i potenziali punti deboli. Quando si parla di IA, non puoi guadagnarti la fiducia chiedendo a un modello di controllare il proprio lavoro. Tuttavia, puoi farlo creando e addestrando un modello diverso, interamente dedicato a identificare eventuali errori o significati errati.

È proprio quello che hanno fatto Marta Danylenko, Senior Product Manager di DeepL, Martin Berger, Senior Research Scientist, e il resto del team che sta dietro al nostro strumento di valutazione della qualità della traduzione (TQE). Hanno sviluppato un modello di IA TQE indipendente con un unico scopo specifico: sottoporre le traduzioni a stress test e classificare eventuali errori o potenziali errori di cui i clienti dovrebbero essere a conoscenza.

Come funziona TQE nella pratica

L’editor IA esperto di TQE esamina le traduzioni segmento per segmento, mostrando il testo di partenza e quello tradotto affiancati. In una colonna a parte, evidenzia eventuali problemi nella traduzione, classificandoli in base alla gravità: Critico, Grave o Lieve. I revisori umani possono passare direttamente a ogni potenziale problema, rivedere il segmento, modificare direttamente la traduzione, contrassegnarlo come risolto o, in alternativa, semplicemente ignorare il segnalatore.

Questo fa sorgere una domanda ovvia, a cui Marta e Martin si trovano spesso a rispondere:  Se TQE sa che ci sono degli errori, perché non può semplicemente correggerli? Perché coinvolgere i revisori umani? Il motivo sta proprio nella natura degli errori stessi. E questo è una conseguenza diretta della natura stessa dell’IA.

L’IA conquista la fiducia soprattutto individuando gli errori che non è in grado di correggere

I modelli di IA sono fondamentalmente probabilistici. Fanno ipotesi statistiche molto riassunte con un'accuratezza incredibile, ma rimangono comunque solo ipotesi – e a volte sbagliano. Quando manca un contesto cruciale, questa probabilità aumenta. Un altro modello può individuare la divergenza e la potenziale ambiguità, ma non può risolverla senza fare un’altra ipotesi. È di gran lunga meglio coinvolgere una persona.

A volte, la mancanza di contesto che porta a ipotesi errate dipende dalla conoscenza implicita: qualcosa che l’IA non può sapere, ma che un traduttore umano saprebbe. A volte deriva dalla natura stessa del testo di partenza. Potrebbe contenere errori grammaticali che confondono il modello di IA. Potrebbe persino contenere errori grammaticali intenzionali che rappresentano una scelta di stile. Un traduttore basato sull’IA deve colmare le lacune, cercando di indovinare l’intenzione e il significato. Un modello creato appositamente per la valutazione della qualità può rilevare questa divergenza rispetto all’originale e segnalarla.

Il compromesso tra precisione e richiamo: Quanto deve essere rigoroso un modello TQE?

Per Martin, Marta e il team, le discussioni davvero interessanti sono iniziate con la domanda su come classificare questi “errori” nella traduzione e quale gravità attribuire a ciascuno di essi. Hanno iniziato utilizzando il consolidato framework Multi-dimensional Quality Metrics (MQM) per la qualità della traduzione, che si concentra su aspetti quali la grammatica, l’ortografia, la leggibilità, oltre a verificare se una traduzione corrisponda accuratamente al testo di partenza. 

Lavorando con esperti linguistici, però, il team si è subito reso conto che i tipi di errori cambiano quando si ha a che fare con una traduzione prodotta dall’IA anziché da un essere umano. Nella traduzione automatica non ci sono errori di battitura. Tuttavia, ci sono molte occasioni in cui emerge la mancanza di conoscenza implicita.

Ecco perché l’obiettivo di TQE non è mai stato quello di sostituire i revisori umani. Combinando un modello di traduzione con uno di valutazione, ci assicuriamo che l’IA sia in grado di individuare i propri limiti e di coinvolgere i revisori ogni volta che serve, facendoti risparmiare tempo prezioso. Rimangono una parte essenziale del processo. L’obiettivo è permettere loro di lavorare con l’IA in modo più soddisfacente.

Questo richiede un equilibrio: da un lato segnalare ogni tipo di potenziale errore, ma senza creare più lavoro per i revisori, e dall’altro inviare avvisi solo per quelli che hanno implicazioni gravi. Ecco perché le discussioni su cosa costituisca un errore di traduzione “critico”, “grave” o “lieve” sono state tra le più interessanti durante lo sviluppo di TQE. 

Lavorare con i clienti per creare la versione migliore di TQE

Stabilire il giusto livello di rigore di TQE è uno dei tanti aspetti su cui stiamo lavorando con i clienti per perfezionare il modello. Stiamo integrando le funzionalità di personalizzazione di DeepL, come i glossari e le regole di stile, per fornire al modello una maggiore conoscenza contestuale. Abbiamo reso TQE disponibile come API e stiamo anche aggiungendo suggerimenti su come correggere gli errori, oltre a opzioni per accettarli o rifiutarli in blocco.

Molti di questi sviluppi nascono dalle intuizioni condivise dai clienti che utilizzano il nostro strumento di test TQE. Se vuoi partecipare allo sviluppo di questa nuova fase nella traduzione basata sull’IA, contattaci per richiedere l’accesso all’ambiente di test. Ci farebbe molto piacere sapere come funziona TQE per te.

Ti interessa accedere al nostro ambiente di test TQE? Manda un’e-mail a marta.danylenko@deepl.com.