Um modelo para traduzir, um modelo para avaliar: Como estamos desenvolvendo a Avaliação de Qualidade da Tradução para o DeepL

O problema com as traduções de IA é que elas parecem perfeitas, mesmo quando não são. Como os erros não são óbvios à primeira vista, você precisa acreditar no que o modelo de IA diz: que tudo está correto. A única alternativa é pedir a profissionais de idiomas que revisem o trabalho, linha por linha, procurando erros, traduções incompletas e mudanças sutis de significado que alguém que não seja especialista provavelmente deixaria passar.

Essa necessidade interminável de revisão é uma das reclamações mais comuns que as equipes de localização têm sobre as traduções feitas por IA. Isso levanta uma questão fundamental para qualquer pessoa envolvida em pesquisa de IA para idiomas. Como as traduções automáticas podem conquistar a confiança das organizações que dependem delas? Como elas podem evitar pedir que revisores humanos refaçam o trabalho que já foi feito, só para garantir?

Criando um modelo independente de IA para TQE no DeepL

Acontece que a IA pode resolver esse problema, mas não dá pra fazer isso usando o mesmo modelo de IA que criou a tradução em primeiro lugar. Testes de qualidade mostraram que, quando os LLMs verificam traduções, eles tendem a favorecer os resultados do próprio modelo e não percebem suas possíveis falhas. Quando se trata de IA, não dá pra ganhar confiança pedindo pra um modelo checar o próprio trabalho. No entanto, dá pra fazer isso criando e treinando um modelo diferente, totalmente focado em identificar possíveis erros ou significados equivocados.

É exatamente isso que a Gerente Sênior de Produto do DeepL, Marta Danylenko, o Pesquisador Sênior Martin Berger e o resto da equipe por trás da nossa ferramenta de Avaliação de Qualidade de Tradução (TQE) têm feito. Eles desenvolveram um modelo de IA de TQE independente com um objetivo específico: testar as traduções em condições extremas e categorizar quaisquer erros ou possíveis erros que os clientes devem saber.

Como o TQE funciona na prática

O editor especializado de IA do TQE analisa as traduções segmento por segmento, exibindo o texto original e o traduzido lado a lado. Em uma coluna separada, ele destaca quaisquer possíveis problemas na tradução, com uma categoria de gravidade: Crítico, Grave ou Leve. Os revisores humanos podem pular para cada problema em potencial, revisar o segmento, editar a tradução diretamente, marcar como resolvido ou, se preferirem, simplesmente ignorar a sinalização.

Isso levanta uma pergunta óbvia, e que a Marta e o Martin respondem com frequência:  Se a TQE sabe que os erros estão lá, por que ela não pode simplesmente corrigi-los? Por que envolver revisores humanos, afinal? A razão tem a ver com a própria natureza dos erros. E isso é resultado direto da natureza da IA.

A IA conquista confiança melhor quando identifica os erros que não consegue corrigir

Os modelos de IA são, no fundo, probabilísticos. Eles fazem estimativas estatísticas altamente agregadas com uma precisão incrível, mas ainda assim são apenas suposições — e, às vezes, estão errados. Quando falta um contexto crucial, essa probabilidade aumenta. Outro modelo pode detectar a divergência e a possível ambiguidade, mas não consegue corrigir isso sem fazer outra estimativa. É muito melhor envolver um humano.

Às vezes, a falta de contexto que leva a suposições erradas se resume a conhecimento implícito: algo que a IA não pode saber, mas que um tradutor humano saberia. Às vezes, isso resulta da própria natureza do texto original. Ele pode conter erros gramaticais que confundem o modelo de IA. Pode até conter erros gramaticais deliberados que representam uma escolha de estilo. Um tradutor de IA precisa preencher as lacunas, tentando adivinhar a intenção e o significado. Um modelo desenvolvido especificamente para avaliação de qualidade consegue detectar essa divergência em relação ao original e sinalizar isso.

O equilíbrio entre precisão e recuperação: Quão rigoroso um modelo de TQE deve ser?

Para o Martin, a Marta e a equipe, as discussões realmente interessantes começaram com a questão de como categorizar esses “erros” na tradução e qual o grau de gravidade a atribuir a cada um. Eles começaram usando a estrutura já consagrada de Métricas Multidimensionais de Qualidade (MQM) para qualidade de tradução, que foca em áreas como gramática, ortografia, legibilidade, além de verificar se a tradução corresponde com precisão ao que está no texto original. 

Mas, trabalhando com especialistas em idiomas, a equipe logo percebeu que os tipos de erros mudam quando se trata de uma tradução feita por IA, em vez de por um humano. Não há erros de digitação na tradução automática. No entanto, há muitas ocasiões em que a falta de conhecimento implícito fica evidente.

É por isso que o objetivo do TQE nunca foi substituir os revisores humanos. Ao combinar um modelo de tradução com um de avaliação, garantimos que a IA consiga detectar suas próprias limitações e chamar esses revisores sempre que for necessário, economizando um tempo precioso para eles. Eles continuam sendo uma parte essencial do processo. O objetivo é permitir que eles trabalhem com a IA de uma forma mais satisfatória.

Isso exige um equilíbrio: entre sinalizar todo tipo de erro em potencial — o que acabaria gerando mais trabalho para os revisores — e emitir alertas apenas para aqueles que têm implicações sérias. É por isso que as discussões sobre o que constitui um erro de tradução Crítico, Grave ou Leve foram algumas das mais interessantes no desenvolvimento do TQE. 

Trabalhando com os clientes para criar a melhor versão do TQE

Ajustar o nível de rigor do TQE é uma das muitas áreas em que estamos trabalhando com os clientes para aperfeiçoar o modelo. Estamos integrando recursos de personalização do DeepL, como glossários e regras de estilo, para dar ao modelo mais conhecimento contextual. Disponibilizamos o TQE como uma API e também estamos adicionando sugestões de como corrigir erros, além de opções para aceitá-los ou rejeitá-los em massa.

Muitas dessas novidades vêm de insights compartilhados por clientes que usam nossa ferramenta de teste do TQE. Se você quiser participar do desenvolvimento dessa próxima etapa na tradução por IA, entre em contato para solicitar acesso ao ambiente de testes. Adoraríamos saber como o TQE está funcionando para você.

Quer ter acesso ao nosso ambiente de testes do TQE? Manda um e-mail para marta.danylenko@deepl.com.