Um modelo para traduzir, um modelo para avaliar: Como estamos a desenvolver a Avaliação da Qualidade da Tradução para o DeepL

O problema com as traduções por IA é que parecem perfeitas, mesmo quando não o são. Como os erros não são evidentes à primeira vista, tem de confiar na palavra do modelo de IA de que tudo está correto. A única alternativa é pedir a profissionais de idiomas que analisem o trabalho, linha a linha, à procura de erros, traduções incompletas e alterações subtis de significado que um leigo provavelmente não detectaria.

Esta necessidade interminável de revisão é uma das queixas mais comuns que as equipas de localização têm em relação às traduções por IA. Isto levanta uma questão fundamental para qualquer pessoa envolvida na investigação em IA aplicada ao idioma. Como é que as traduções automáticas podem conquistar a confiança das organizações que nelas confiam? Como podem evitar pedir a revisores humanos que repassem o trabalho que já realizaram, apenas para terem a certeza?

Criação de um modelo de IA TQE independente para o DeepL

Afinal, a IA pode resolver este problema, mas não o pode fazer através do mesmo modelo de IA que criou a tradução inicialmente. Os testes de qualidade demonstraram que, quando os LLMs verificam traduções, tendem a favorecer os resultados do seu próprio modelo e a ignorar as suas potenciais fraquezas. No que diz respeito à IA, não é possível conquistar a confiança pedindo a um modelo que verifique o seu próprio trabalho. No entanto, é possível fazê-lo através da criação e do treino de um modelo diferente, totalmente focado na identificação de quaisquer erros potenciais ou significados incorretos.

É isso que a Gestora Sénior de Produto da DeepL, Marta Danylenko, o Investigador Científico Sénior Martin Berger e o resto da equipa responsável pela nossa ferramenta de Avaliação da Qualidade da Tradução têm vindo a fazer. Desenvolveram um modelo de IA TQE independente com um objetivo específico: submeter as traduções a testes de resistência e categorizar quaisquer erros ou potenciais erros de que os clientes devem ter conhecimento.

Como o TQE funciona na prática

O editor especializado de IA do TQE analisa as traduções segmento a segmento, apresentando o texto original e o texto traduzido lado a lado. Numa coluna separada, destaca quaisquer potenciais problemas na tradução, com uma categoria de gravidade: Crítico, Grave ou Menor. Os revisores humanos podem aceder diretamente a cada problema potencial, rever o segmento, editar a tradução diretamente, marcar como resolvido ou, em alternativa, simplesmente ignorar a indicação.

Isto levanta uma questão óbvia, à qual a Marta e o Martin têm de responder frequentemente:  Se a TQE sabe que os erros existem, por que razão não pode simplesmente corrigi-los? Por que razão envolver revisores humanos? A razão resume-se à própria natureza dos erros. E isso é um resultado direto da natureza da IA.

A IA conquista melhor a confiança ao identificar os erros que não consegue corrigir

Os modelos de IA são, na sua essência, probabilísticos. Fazem previsões estatísticas altamente agregadas com uma precisão incrível, mas continuam a ser apenas as melhores previsões possíveis — e, por vezes, estão errados. Quando falta contexto crucial, essa probabilidade aumenta. Outro modelo pode detetar a divergência e a potencial ambiguidade, mas não consegue corrigi-la sem fazer outra estimativa. É muito melhor envolver um ser humano.

Por vezes, a falta de contexto que conduz a suposições erradas resume-se a conhecimento implícito: algo que a IA não pode saber, mas que um tradutor humano saberia. Por vezes, resulta da própria natureza do texto original. Pode conter erros gramaticais que confundem o modelo de IA. Pode até conter erros gramaticais deliberados que representam uma escolha de estilo. Um tradutor de IA tem de preencher as lacunas, tentando adivinhar a intenção e o significado. Um modelo especificamente concebido para a avaliação da qualidade consegue detetar esta divergência em relação ao original e assinalá-la.

O compromisso entre precisão e recuperação: Quão rigoroso deve ser um modelo de TQE?

Para Martin, Marta e a equipa, as discussões verdadeiramente interessantes começaram com a questão de como categorizar estes «erros» na tradução e que grau de gravidade atribuir a cada um deles. Começaram por utilizar o quadro há muito estabelecido das Métricas de Qualidade Multidimensionais (MQM) para a qualidade da tradução, que se centra em áreas como a gramática, a ortografia e a legibilidade, bem como na verificação de se uma tradução corresponde com precisão ao texto original. 

No entanto, ao trabalhar com especialistas em idiomas, a equipa rapidamente percebeu que os tipos de erros variam quando se trata de uma tradução produzida por IA, em vez de por um ser humano. Não existem erros ortográficos na tradução automática. No entanto, há muitas ocasiões em que a falta de conhecimento implícito fica patente.

É por isso que o objetivo do TQE nunca foi substituir os revisores humanos. Ao combinar um modelo de tradução com um modelo de avaliação, garantimos que a IA é capaz de detetar as suas próprias limitações e recorrer a esses revisores sempre que necessário, poupando-lhes tempo crucial. Estes continuam a ser uma parte essencial do processo. O objetivo é permitir-lhes trabalhar com a IA de uma forma mais satisfatória.

Isto requer um equilíbrio: entre sinalizar todos os tipos de erros potenciais, mas criar mais trabalho para os revisores, e emitir alertas apenas para aqueles que têm implicações graves. Foi por isso que as discussões sobre o que constitui um erro de tradução «Crítico», «Grave» ou «Menor» foram algumas das mais interessantes no desenvolvimento do TQE. 

Trabalhar com os clientes para criar a melhor versão do TQE

Determinar o nível de rigor que o TQE deve ter é uma das muitas áreas em que estamos a trabalhar com os clientes para aperfeiçoar o modelo. Estamos a integrar funcionalidades de personalização do DeepL, como glossários e regras de estilo, para dotar o modelo de mais conhecimento contextual. Disponibilizámos o TQE como uma API e estamos também a adicionar sugestões sobre como corrigir erros, bem como opções para os aceitar ou rejeitar em massa.

Muitos destes desenvolvimentos resultam de insights partilhados por clientes que utilizam a nossa ferramenta de teste do TQE. Se desejar fazer parte do desenvolvimento desta próxima etapa na tradução por IA, entre em contacto connosco para solicitar acesso ao ambiente de teste. Gostaríamos muito de saber como o TQE funciona para si.

Está interessado em obter acesso ao nosso ambiente de teste do TQE? Envie un e-mail à marta.danylenko@deepl.com.