Çeviri için bir model, değerlendirme için bir model: DeepL için Çeviri Kalite Değerlendirmesini Nasıl Geliştiriyoruz

Yapay zeka çevirilerinin sorunu, mükemmel olmasalar bile mükemmel görünmeleridir. Hatalar ilk bakışta açıkça görülmediğinden, her şeyin doğru olduğuna dair yapay zeka modelinin sözüne güvenmek zorunda kalırsınız. Tek alternatif, dil uzmanlarından çalışmayı satır satır gözden geçirip, hataları, eksik çevirileri ve uzman olmayan bir kişinin büyük olasılıkla gözden kaçıracağı ince anlam değişikliklerini bulmalarını istemektir.

Bu bitmek bilmeyen kontrol gerekliliği, yerelleştirme ekiplerinin yapay zeka çevirileriyle ilgili en sık dile getirdikleri şikayetlerden biridir. Bu durum, dil alanında yapay zeka araştırmalarıyla uğraşan herkes için temel bir soruyu gündeme getirir. Makine çevirileri, kendilerine güvenen kuruluşların güvenini nasıl kazanabilir? Sadece emin olmak için, insan inceleyicilerden zaten yapılmış olan işi tekrar inceleyip onaylamalarını istemekten nasıl kaçınabilirler?

DeepL için bağımsız bir TQE yapay zeka modeli oluşturmak

Görünüşe göre yapay zeka bu sorunu çözebilir, ancak bunu çeviriyi ilk başta oluşturan aynı yapay zeka modeli aracılığıyla yapamaz. Kalite testleri, büyük dil modellerinin (LLM'ler) çevirileri kontrol ederken kendi modellerinin sonuçlarını tercih ettiklerini ve potansiyel zayıflıklarını gözden kaçırdıklarını göstermiştir. Yapay zeka söz konusu olduğunda, bir modelden kendi ödevini kontrol etmesini isteyerek güven kazanamazsınız. Ancak, olası hataları veya yanlış anlamları tespit etmeye tamamen odaklanmış farklı bir model geliştirip eğiterek bunu başarabilirsiniz.

DeepL’in Kıdemli Ürün Müdürü Marta Danylenko, Kıdemli Araştırma Bilimcisi Martin Berger ve Çeviri Kalite Değerlendirmesi aracımızın arkasındaki ekipin geri kalanı da tam olarak bunu yapıyor. Tek bir amaç için bağımsız bir TQE yapay zeka modeli geliştirdiler: çevirileri stres testine tabi tutmak ve müşterilerin bilmesi gereken hataları veya olası hataları sınıflandırmak.

TQE pratikte nasıl çalışır?

TQE’nin uzman yapay zeka düzenleyicisi, çevirileri bölüm bölüm inceleyerek kaynak metni ve çevrilmiş metni yan yana gösterir. Ayrı bir sütunda, çevirideki olası sorunları “Kritik”, “Önemli” veya “Küçük” ciddiyet kategorileriyle vurgular. İnsan inceleyiciler, her bir potansiyel soruna atlayabilir, bölümü inceleyebilir, çeviriyi doğrudan düzenleyebilir, sorunu çözüldü olarak işaretleyebilir veya alternatif olarak uyarıyı görmezden gelebilir.

Bu, akla gelen ve Marta ile Martin’in sık sık yanıtlamak zorunda kaldıkları bir soruyu gündeme getirir:  TQE hataların varlığını biliyorsa, neden bunları kendisi düzeltemiyor? Neden insan inceleyicileri devreye sokuluyor? Bunun nedeni, hataların doğasından kaynaklanmaktadır. Ve bu, yapay zekanın doğasının doğrudan bir sonucudur.

Yapay zeka, düzeltemediği hataları tespit ederek en iyi şekilde güven kazanır

Yapay zeka modelleri temelde olasılıksaldır. İnanılmaz bir doğrulukla son derece toplu, istatistiksel tahminlerde bulunurlar, ancak bunlar yine de en iyi tahminlerdir – ve bazen yanılırlar. Önemli bağlam eksik olduğunda, bu olasılık artar. Başka bir model, bu sapmayı ve olası belirsizliği tespit edebilir, ancak yeni bir tahminde bulunmadan bunu düzeltemez. Bir insanı sürece dahil etmek çok daha iyidir.

Bazen, hatalı tahminlere yol açan bağlam eksikliği, örtük bilgiye dayanır: yapay zekanın bilemeyeceği, ancak bir insan çevirmenin bildiği bir şey. Bazen de bu durum, kaynak metnin kendisinin doğasından kaynaklanır. Metin, yapay zeka modelini yanıltan gramer hataları içerebilir. Hatta tarz seçimini yansıtan kasıtlı gramer hataları bile içerebilir. Bir yapay zeka çevirmeni, niyet ve anlamı tahmin ederek bu boşlukları doldurmak zorundadır. Kalite değerlendirmesi için özel olarak tasarlanmış bir model, orijinal metinden bu sapmayı tespit edebilir ve işaretleyebilir.

Hassasiyet/geri çağırma dengesi: Bir TQE modeli ne kadar katı olmalı?

Martin, Marta ve ekip için asıl ilginç tartışmalar, çevirideki bu “hataları” nasıl sınıflandıracakları ve her birine ne kadar ciddiyet atfedecekleri sorusuyla başladı. İlk olarak, çeviri kalitesi için uzun süredir kullanılan Çok Boyutlu Kalite Metrikleri (MQM) çerçevesini kullandılar; bu çerçeve, dilbilgisi, imla, okunabilirlik gibi alanların yanı sıra çevirinin kaynak metindeki içeriğe doğru bir şekilde uyup uymadığına da odaklanır. 

Ancak dil uzmanlarıyla birlikte çalışan ekip, insan yerine yapay zeka tarafından üretilen bir çeviriyle uğraşırken hata türlerinin değiştiğini kısa sürede fark etti. Makine çevirisinde yazım hatası yoktur. Ancak, örtük bilgi eksikliğinin ortaya çıktığı pek çok durum vardır.

Bu nedenle TQE’nin amacı hiçbir zaman insan inceleyicilerin yerini almak olmamıştır. Çeviri modelini değerlendirme modeliyle birleştirerek, yapay zekanın kendi sınırlarını tespit etmesini ve gerektiğinde bu inceleyicileri sürece dahil etmesini sağlıyoruz; böylece inceleyicilerin çok değerli zamanından tasarruf etmelerini sağlıyoruz. Onlar, sürecin vazgeçilmez bir parçası olmaya devam ediyor. Amaç, onların yapay zeka ile daha tatmin edici bir şekilde çalışabilmelerini sağlamaktır.

Bu, her tür potansiyel hatayı işaretleyip inceleyicilere daha fazla iş yükü yaratmak ile yalnızca ciddi sonuçları olan hatalar için uyarı vermek arasında bir denge kurulmasını gerektirir. Bu nedenle, neyin “Kritik”, “Önemli” veya “Küçük” çeviri hatası olduğunu belirlemeye yönelik tartışmalar, TQE’nin geliştirilme sürecindeki en ilginç tartışmalardan bazılarıydı. 

Müşterilerle birlikte TQE’nin en iyi sürümünü oluşturmak

TQE'nin ne kadar katı olması gerektiğini belirlemek, modeli iyileştirmek için müşterilerle birlikte çalıştığımız birçok alandan biridir. Modele daha fazla bağlamsal bilgi kazandırmak için DeepL’in terim listeleri ve tarz kuralları gibi özelleştirme özelliklerini entegre ediyoruz. TQE’yi bir API olarak kullanıma sunduk; ayrıca hataların nasıl düzeltileceğine dair öneriler ve hataları toplu olarak kabul etme veya reddetme seçenekleri de ekliyoruz.

Bu gelişmelerin çoğu, TQE test aracımızı kullanan müşterilerimizin paylaştığı görüşlerden kaynaklanmaktadır. Yapay zeka çevirisinde bu bir sonraki adımı geliştirme sürecine katılmak isterseniz, lütfen test ortamına erişim talebinde bulunmak için bizimle iletişime geçin. TQE'nin sizin için nasıl çalıştığını duymaktan memnuniyet duyarız.

TQE test ortamımıza erişim elde etmek ister misiniz? marta.danylenko@deepl.com adresine e-posta gönderin.