Un modèle pour traduire, un modèle pour évaluer : Comment nous mettons en place l'évaluation de la qualité de la traduction chez DeepL

Le problème avec les traductions par IA est qu’elles semblent parfaites, même lorsqu’elles ne le sont pas. Comme les erreurs ne sont pas évidentes au premier coup d’œil, vous devez vous fier à l’avis du modèle IA selon lequel tout est correct. La seule alternative consiste à demander à des professionnels de la langue de relire le texte, ligne par ligne, à la recherche d’erreurs, de traductions incomplètes et de subtils changements de sens qu’un non-spécialiste risquerait fort de ne pas remarquer.

Cette nécessité incessante de vérification est l’un des principaux reproches que les équipes de localisation adressent aux traductions par IA. Cela soulève une question fondamentale pour toute personne impliquée dans la recherche sur l’IA appliquée aux langues. Comment les traductions automatiques peuvent-elles gagner la confiance des organisations qui s’y fient ? Comment éviter de demander à des réviseurs humains de revérifier le travail qu’elles ont déjà effectué, simplement par mesure de sécurité ?

Développement d’un modèle d’IA TQE indépendant pour DeepL

Il s’avère que l’IA peut résoudre ce problème, mais elle ne peut pas le faire à l’aide du même modèle d’IA qui a généré la traduction au départ. Des tests de qualité ont montré que, lorsque les modèles de langage à grande échelle (LLM) vérifient des traductions, ils privilégient les résultats de leur propre modèle et ne détectent pas ses faiblesses potentielles. En matière d’IA, on ne peut pas gagner la confiance des utilisateurs en demandant à un modèle de vérifier son propre travail. En revanche, vous pouvez y parvenir en développant et en entraînant un modèle distinct, entièrement dédié à l’identification des erreurs potentielles ou des sens mal interprétés.

C’est précisément ce à quoi se sont attelés Marta Danylenko, chef de produit senior chez DeepL, Martin Berger, chercheur scientifique senior, ainsi que le reste de l’équipe à l’origine de notre outil d’évaluation de la qualité de traduction (TQE). Ils ont développé un modèle d’IA TQE indépendant dans un but précis : soumettre les traductions à des tests de résistance et classer toutes les erreurs ou erreurs potentielles dont les clients doivent être informés.

Comment fonctionne le TQE dans la pratique

L’éditeur IA expert de TQE passe en revue les traductions segment par segment, en affichant côte à côte le texte source et le texte traduit. Dans une colonne distincte, il met en évidence tout problème potentiel dans la traduction, en lui attribuant un niveau de gravité : « Critique », « Majeur » ou « Mineur ». Les réviseurs humains peuvent accéder directement à chaque problème potentiel, examiner le segment, modifier la traduction directement, la marquer comme résolue ou, à défaut, simplement ignorer le signalement.

Cela soulève une question évidente, à laquelle Marta et Martin sont souvent amenés à répondre :  Si TQE sait que des erreurs sont présentes, pourquoi ne peut-il pas simplement les corriger lui-même ? Pourquoi faire intervenir des réviseurs humains ? La raison tient à la nature même de ces erreurs. Et cela découle directement de la nature même de l’IA.

L’IA gagne davantage en crédibilité en identifiant les erreurs qu’elle ne peut pas corriger

Les modèles d’IA sont fondamentalement probabilistes. Ils émettent des hypothèses statistiques très cumulées avec une précision incroyable, mais il ne s’agit toujours que de suppositions – et elles sont parfois erronées. Lorsque des éléments de contexte essentiels font défaut, ce risque augmente. Un autre modèle peut repérer la divergence et l’ambiguïté potentielle, mais ne peut y remédier sans formuler une nouvelle hypothèse. Il est de loin préférable de faire intervenir un être humain.

Parfois, le manque de contexte à l’origine d’hypothèses erronées tient à des connaissances implicites : des éléments que l’IA ne peut pas connaître, contrairement à un traducteur humain. Parfois, cela résulte de la nature même du texte source. Il peut contenir des erreurs grammaticales qui déroutent le modèle IA. Il peut même comporter des erreurs grammaticales délibérées qui relèvent d’un choix stylistique. Un traducteur IA doit combler ces lacunes en devinant l’intention et le sens. Un modèle spécialement conçu pour l’évaluation de la qualité peut détecter cet écart par rapport à l’original et le signaler.

Le compromis entre précision et rappel : Dans quelle mesure un modèle TQE doit-il être strict ?

Pour Martin, Marta et l’équipe, les discussions vraiment intéressantes ont commencé par la question de savoir comment classer ces « erreurs » de traduction, et quel degré de gravité attribuer à chacune d’entre elles. Ils ont commencé par utiliser le cadre bien établi des indicateurs de qualité multidimensionnels (MQM) pour la qualité de la traduction, qui se concentre sur des domaines tels que la grammaire, l’orthographe, la lisibilité, ainsi que sur la fidélité de la traduction par rapport au texte source. 

En collaborant avec des experts en langue, l’équipe s’est toutefois rapidement rendu compte que les types d’erreurs évoluaient lorsqu’il s’agissait d’une traduction produite par l’IA plutôt que par un humain. Il n’y a pas de fautes de frappe dans la traduction automatique. En revanche, il arrive très souvent que le manque de connaissances implicites soit mis en évidence.

C’est pourquoi l’objectif de TQE n’a jamais été de remplacer les réviseurs humains. En combinant un modèle de traduction et un modèle d’évaluation, nous veillons à ce que l’IA soit capable de détecter ses propres limites et de faire intervenir ces réviseurs chaque fois que cela s’avère nécessaire, ce qui leur fait gagner un temps précieux. Ils restent un maillon essentiel du processus. L’objectif est de leur permettre de travailler avec l’IA de manière plus satisfaisante.

Cela nécessite de trouver un équilibre : d’une part, signaler tout type d’erreur potentielle sans pour autant alourdir la charge de travail des réviseurs, et d’autre part, n’émettre des alertes que pour celles qui ont des implications graves. C’est pourquoi les discussions sur ce qui constitue une erreur de traduction « critique », « majeure » ou « mineure » ont été parmi les plus intéressantes lors du développement de TQE. 

Collaborer avec les clients pour développer la meilleure version de TQE

Définir le niveau de rigueur de TQE est l’un des nombreux domaines dans lesquels nous travaillons avec nos clients pour affiner le modèle. Nous intégrons les fonctionnalités de personnalisation de DeepL, telles que les glossaires et les règles de style, afin d’enrichir le modèle de connaissances contextuelles. Nous avons rendu TQE disponible sous forme d’API, et nous ajoutons également des suggestions pour corriger les erreurs, ainsi que des options permettant de les accepter ou de les rejeter en masse.

Bon nombre de ces avancées découlent des retours d’expérience partagés par les clients qui utilisent notre outil de test TQE. Si vous souhaitez participer au développement de cette nouvelle étape dans le domaine de la traduction par IA, n’hésitez pas à nous contacter pour demander l’accès à l’environnement de test. Nous serions ravis de connaître votre avis sur le fonctionnement de TQE.

Vous souhaitez accéder à notre environnement de test TQE ? Envoyez un e-mail à marta.danylenko@deepl.com.