翻訳用モデルと評価用モデルを分ける：DeepLにおける翻訳品質評価の構築方法

AI翻訳の問題点は、たとえ完璧でなくても、一見完璧に見えることです。誤りは一見しただけでは明らかではないため、すべてが正しいというAIモデルの判断を鵜呑みにせざるを得ません。唯一の代替案は、言語の専門家に依頼し、行ごとに翻訳内容を確認してもらい、非専門家なら見落としがちな誤りや不完全な翻訳、微妙な意味の変化を探し出してもらうことです。

この終わりのないチェック作業こそが、ローカライゼーションチームがAI翻訳に対して抱く最も一般的な不満の一つです。これは、言語分野のAI研究に携わるすべての人にとって、根本的な疑問を投げかけるものです。機械翻訳は、それを頼りにしている組織から、いかにして信頼を勝ち取ることができるのでしょうか？すでに完了した作業を、単に「念のため」という理由で人間のレビュー者に再確認させることを、どうすれば回避できるのでしょうか？

DeepL向けの独立したTQE AIモデルの構築

実は、AIはこの問題を解決できますが、そもそも翻訳を作成したのと同じAIモデルでは解決できません。品質テストの結果、LLMが翻訳をチェックする場合、自身のモデルの結果を優先し、その潜在的な弱点を見逃してしまうことが明らかになりました。AIに関しては、モデルに自身の成果物をチェックさせるだけでは、信頼を得ることはできません。しかし、潜在的な誤りや意味のずれを特定することに完全に特化した別のモデルを構築し、学習させることで、信頼を勝ち取ることができます。

DeepLのシニアプロダクトマネージャーであるマルタ・ダニレンコ氏、シニアリサーチサイエンティストのマーティン・バーガー氏、そして当社の翻訳品質評価（TQE）ツールを支えるチームのメンバーたちは、まさにこの課題に取り組んできました。彼らは、翻訳を徹底的に検証し、顧客が知っておくべきエラーや潜在的なエラーを分類するという、一つの明確な目的のために、独立したTQE AIモデルを開発しました。

TQEの実際の仕組み

TQEの専門家AI編集者は、翻訳をセグメントごとに精査し、原文と翻訳テキストを並べて表示します。別の列には、翻訳における潜在的な問題が「重大（Critical）」「主要（Major）」「軽微（Minor）」の深刻度カテゴリとともにハイライト表示されます。人間のレビュー者は、各潜在的な問題箇所に直接移動し、そのセグメントを確認したり、翻訳を直接編集したり、解決済みとしてマークしたり、あるいは単にフラグを無視したりすることができます。

これについて、マルタさんとマーティンさんはよく次のような質問を受けます。  「TQEが間違いがあることを認識しているのなら、なぜそのまま修正できないのでしょうか？」なぜ人間のレビュー者を関与させる必要があるのでしょうか？その理由は、間違いそのものの性質に帰着します。そして、それはAIの性質に直接起因するものです。

AIは、自ら修正できないエラーを特定することで、最も信頼を得ることができます

AIモデルは、根本的に確率論的なものです。AIモデルは、高度に総計された統計的な推測を驚くべき精度で行いますが、それでもあくまで「最善の推測」に過ぎず、時には間違えることもあります。重要な文脈が欠けている場合、その可能性は高まります。別のモデルであれば、その乖離や潜在的な曖昧さに気づくことはできますが、新たな推測を行わなければ修正することはできません。人間を関与させる方がはるかに良いのです。

誤った推測につながる文脈の欠如は、暗黙知に起因する場合があります。つまり、AIには理解できないが、人間の翻訳者なら理解できるような事柄です。また、原文そのものの性質に起因する場合もあります。AIモデルを混乱させるような文法上の誤りが含まれている可能性があります。文体上の選択として意図的に文法上の誤りが含まれている場合もあります。AI翻訳ツールは、意図や意味を推測して、その空白を埋める必要があります。品質評価のために特別に構築されたモデルであれば、原文とのこの相違を検出し、フラグを立てることができます。

精度と再現率のトレードオフ：TQEモデルはどの程度厳格であるべきでしょうか？

マーティン氏、マルタ氏、そしてチームにとって、本当に興味深い議論は、翻訳におけるこれらの「誤り」をどのように分類し、それぞれにどの程度の重大度を割り当てるべきかという問いから始まりました。彼らはまず、翻訳品質評価のために長年確立されてきた「多次元品質指標（MQM）」フレームワークを採用しました。このフレームワークは、文法、スペル、読みやすさといった分野に加え、翻訳が原文の内容を正確に反映しているかどうかに焦点を当てています。 

しかし、言語の専門家たちと協力する中で、チームは、人間による翻訳ではなくAIが生成した翻訳を扱う場合、エラーの種類が異なることにすぐに気づきました。機械翻訳にはタイプミスはありません。しかし、暗黙知の欠如が露呈する場面は数多くあります。

だからこそ、TQEの目標は、人間のレビュー者を置き換えることではありませんでした。翻訳モデルと評価モデルを組み合わせることで、AIが自身の限界を認識し、必要な場面でレビュー者を巻き込むことができるようにしており、レビュー者の貴重な時間を節約しています。校閲者は、依然としてこのプロセスに欠かせない存在です。目標は、レビュー担当者が AI とより満足のいく形で連携できるようにすることです。

これには、あらゆる種類の潜在的なエラーをフラグ付けしてレビュー者の作業量を増やすことと、深刻な影響を及ぼすエラーについてのみアラートを発行することとのバランスが求められます。そのため、翻訳エラーを「重大」、「主要」、「軽微」のどのレベルに分類すべきかという議論は、TQEの開発において最も興味深いものの一つでした。 

お客様と協力して、TQEの最適なバージョンを構築する

TQE の厳格さの調整は、モデルを洗練させるために顧客と協力している多くの分野のうちの 1 つです。モデルにより多くの文脈知識を持たせるため、用語集やカスタムルールといったDeepLのカスタマイズ機能を統合しています。TQEをAPIとして提供できるようにしたほか、エラーの修正方法に関する提案や、エラーを一括で承認・却下するオプションも追加しています。

これらの開発の多くは、TQEテストツールをご利用いただいているお客様から寄せられた知見に基づいています。AI翻訳の次の段階の開発にぜひご参加いただけるようでしたら、テスト環境へのアクセスをご請求ください。TQEのご利用状況について、ぜひご意見をお聞かせください。

TQE テスト環境へのアクセスをご希望ですか？marta.danylenko@deepl.com までメールでお問い合わせください。