번역용 모델 하나, 평가용 모델 하나: DeepL의 번역 품질 평가 시스템을 구축하는 방법

AI 번역의 문제점은 완벽해 보이지 않더라도 겉보기에는 완벽해 보인다는 점입니다. 오류가 언뜻 보기에는 명확하지 않기 때문에, 모든 것이 정확하다는 AI 모델의 말을 그대로 믿을 수밖에 없습니다. 유일한 대안은 언어 전문가에게 작업을 한 줄 한 줄 꼼꼼히 검토하도록 요청하여, 비전문가라면 대부분 놓치기 쉬운 오류, 불완전한 번역, 미묘한 의미 변화를 찾아내는 것입니다.

이러한 끝없는 검토 요구는 현지화 팀이 AI 번역에 대해 가장 흔히 제기하는 불만 중 하나입니다. 이는 언어 분야 AI 연구에 종사하는 모든 이에게 근본적인 의문을 제기합니다. 기계번역은 어떻게 이를 의존하는 조직의 신뢰를 얻을 수 있을까요? 어떻게 하면 이미 수행된 작업을 단순히 확인하기 위해 인간 검토자에게 다시 검토하도록 요청하는 상황을 피할 수 있을까요?

DeepL을 위한 독립적인 TQE AI 모델 구축

사실 AI는 이 문제를 해결할 수 있지만, 처음에 번역을 생성한 바로 그 AI 모델을 통해서는 해결할 수 없습니다. 품질 테스트 결과, 대규모 언어 모델(LLM)이 번역물을 검토할 때 자체 모델의 결과를 편향적으로 선호하며, 잠재적인 약점은 간과하는 경향이 있는 것으로 나타났습니다. AI의 경우, 모델에게 자신의 결과를 스스로 검토하도록 요청해서는 신뢰를 얻을 수 없습니다. 그러나 잠재적인 오류나 의미의 왜곡을 식별하는 데 전적으로 초점을 맞춘 별도의 모델을 구축하고 훈련시킴으로써 신뢰를 얻을 수 있습니다.

이것이 바로 DeepL의 수석 제품 관리자 마르타 다니렌코(Marta Danylenko), 수석 연구 과학자 마틴 버거(Martin Berger) 및 당사의 번역 품질 평가(TQE) 도구를 개발한 나머지 팀원들이 해온 일입니다. 이들은 단 하나의 구체적인 목적을 위해 독립적인 TQE AI 모델을 개발했습니다. 바로 번역물을 철저히 검증하고, 고객이 알아야 할 오류나 잠재적 오류를 분류하는 것입니다.

TQE의 실제 작동 방식

TQE의 전문 AI 편집자는 번역문을 세그먼트별로 꼼꼼히 검토하며, 원문과 번역문을 나란히 표시합니다. 별도의 열에서는 번역에 잠재적인 문제가 있는 부분을 ‘중대(Critical)’, ‘주요(Major)’, ‘경미(Minor)’의 심각도 범주로 구분하여 강조 표시합니다. 인간 검토자는 각 잠재적 문제로 바로 이동하여 해당 세그먼트를 검토하고, 번역을 직접 편집하거나, 해결된 것으로 표시하거나, 또는 해당 표시를 무시할 수 있습니다.

이 과정에서 자연스럽게 떠오르는 질문이 하나 있는데, 마르타와 마틴은 이 질문을 자주 받곤 합니다.  TQE가 오류가 있다는 것을 알고 있다면, 왜 그냥 직접 수정하지 못하는 것일까요? 애초에 왜 인간 검토자를 참여시키는 것일까요? 그 이유는 오류 자체의 본질에 있습니다. 그리고 이는 AI의 본질에서 비롯된 직접적인 결과입니다.

AI는 스스로 수정할 수 없는 오류를 찾아내는 것을 통해 가장 효과적으로 신뢰를 얻습니다

AI 모델은 근본적으로 확률적입니다. AI 모델은 놀라운 정확도로 고도로 집계된 통계적 추정을 내립니다. 하지만 이는 여전히 ‘가장 유력한 추정’일 뿐이며, 때로는 틀리기도 합니다. 중요한 맥락이 누락되면 그 가능성은 더욱 높아집니다. 다른 모델은 이러한 편차와 잠재적인 모호성을 감지할 수는 있지만, 또 다른 추측을 하지 않고서는 이를 수정할 수 없습니다. 이럴 때는 사람을 개입시키는 편이 훨씬 낫습니다.

때로는 잘못된 추측으로 이어지는 맥락의 부재가 암묵적 지식, 즉 AI는 알 수 없지만 인간 번역가는 알 수 있는 정보의 부족에서 비롯되기도 합니다. 때로는 원문 자체의 특성에서 기인하기도 합니다. 원문에 AI 모델을 혼란스럽게 하는 문법적 오류가 포함되어 있을 수 있습니다. 심지어 문체 선택을 나타내는 의도적인 문법 오류가 포함되어 있을 수도 있습니다. AI 번역기는 의도와 의미를 추측하여 빈 부분을 채워야 합니다. 품질 평가를 위해 특별히 설계된 모델은 원본과의 이러한 차이를 감지하고 이를 표시할 수 있습니다.

정확도와 재현율의 상충 관계: TQE 모델은 어느 정도 엄격해야 할까요?

마틴, 마르타 및 팀원들에게 있어 정말 흥미로운 논의는 번역에서 이러한 “오류”를 어떻게 분류할지, 그리고 각 오류에 어느 정도의 심각도를 부여할지에 대한 질문에서 시작되었습니다. 그들은 먼저 문법, 철자, 가독성, 그리고 번역이 원문의 내용을 정확하게 반영하고 있는지 여부와 같은 영역에 중점을 두는, 오랫동안 확립된 번역 품질 평가 프레임워크인 다차원 품질 지표(MQM)를 사용하기 시작했습니다. 

그러나 언어 전문가들과 협력하면서 팀은 인간이 아닌 AI가 생성한 번역의 경우 오류 유형이 달라진다는 사실을 금방 깨달았습니다. 기계번역에는 오타가 없습니다. 그러나 암묵적 지식이 부족하다는 점이 드러나는 경우는 많습니다.

그렇기 때문에 TQE의 목표는 인간 검토자를 대체하는 것이 결코 아니었습니다. 번역 모델과 평가 모델을 결합함으로써, AI가 자체적인 한계를 감지하고 필요한 경우 검토자를 참여시켜 검토자의 소중한 시간을 절약할 수 있도록 보장하고 있습니다. 검토자는 여전히 이 과정에서 필수적인 역할을 합니다. 목표는 검토자들이 AI와 더 만족스러운 방식으로 협업할 수 있도록 하는 것입니다.

이를 위해서는 모든 유형의 잠재적 오류를 표시함으로써 검토자의 업무량을 늘리는 것과, 심각한 영향을 미치는 오류에 대해서만 경고를 발령하는 것 사이의 균형을 맞춰야 합니다. 그렇기 때문에 ‘중대’, ‘주요’ 또는 ‘경미한’ 번역 오류의 기준에 대한 논의는 TQE 개발 과정에서 가장 흥미로운 부분 중 하나였습니다. 

고객과 협력하여 최상의 TQE 버전 구축

TQE의 엄격도를 조정하는 것은 고객과 협력하여 모델을 개선하고 있는 여러 분야 중 하나입니다. 모델에 더 많은 문맥적 지식을 제공하기 위해 용어집 및 스타일 규칙과 같은 DeepL의 맞춤 설정 기능을 통합하고 있습니다. TQE를 API로 제공하게 되었으며, 오류 수정 방법에 대한 제안과 오류를 일괄적으로 수락하거나 거부할 수 있는 옵션도 추가하고 있습니다.

이러한 개발 사항 중 상당수는 TQE 테스트 도구를 사용하는 고객들이 공유해 준 통찰력에서 비롯되었습니다. AI 번역의 다음 단계를 함께 개발하는 데 참여하고 싶으시다면, 테스트 환경 이용 권한을 요청해 주시기 바랍니다. TQE가 귀하에게 어떤 도움이 되는지 의견을 들려주시면 감사하겠습니다.

TQE 테스트 환경에 접속해 보시겠습니까? marta.danylenko@deepl.com으로 이메일을 보내주세요.