Satu model untuk menerjemahkan, satu model untuk mengevaluasi: Bagaimana Kami Mengembangkan Sistem Evaluasi Mutu Terjemahan untuk DeepL

Masalah dengan terjemahan AI adalah terjemahan tersebut terlihat sempurna, meskipun sebenarnya tidak. Karena kesalahan tidak terlihat jelas pada pandangan pertama, Anda harus mempercayai pernyataan model AI bahwa semuanya sudah benar. Satu-satunya alternatif adalah meminta para ahli bahasa untuk memeriksa hasil terjemahan tersebut baris demi baris, mencari kesalahan, terjemahan yang tidak lengkap, dan perubahan makna yang halus yang kemungkinan besar akan terlewatkan oleh orang yang bukan ahli.

Kebutuhan pemeriksaan yang tak berujung ini merupakan salah satu keluhan paling umum yang disampaikan tim pelokalan mengenai terjemahan AI. Hal ini memunculkan pertanyaan mendasar bagi siapa pun yang terlibat dalam penelitian AI untuk bahasa. Bagaimana terjemahan mesin dapat memperoleh kepercayaan dari organisasi yang mengandalkannya? Bagaimana cara menghindari meminta pemeriksa manusia untuk memeriksa ulang pekerjaan yang telah mereka lakukan, hanya untuk memastikan?

Membangun model AI TQE independen untuk DeepL

Ternyata AI dapat memecahkan masalah ini, tetapi tidak dapat melakukannya melalui model AI yang sama yang awalnya menghasilkan terjemahan tersebut. Pengujian kualitas telah menunjukkan bahwa, ketika model bahasa besar (LLM) memeriksa terjemahan, mereka cenderung lebih menyukai hasil dari model mereka sendiri, dan melewatkan kelemahan potensial yang dimilikinya. Dalam hal AI, Anda tidak bisa mendapatkan kepercayaan dengan meminta model untuk memeriksa hasil kerjanya sendiri. Namun, Anda dapat melakukannya dengan membangun dan melatih model yang berbeda yang sepenuhnya berfokus pada identifikasi kesalahan potensial atau makna yang salah.

Itulah yang telah dilakukan oleh Manajer Produk Senior DeepL, Marta Danylenko, Ilmuwan Riset Senior Martin Berger, dan seluruh tim di balik alat Evaluasi Mutu Terjemahan kami. Mereka telah mengembangkan model AI TQE independen dengan satu tujuan khusus: menguji terjemahan secara ketat, dan mengkategorikan kesalahan atau potensi kesalahan apa pun yang perlu diketahui pelanggan.

Cara kerja TQE dalam praktiknya

Editor AI ahli TQE memeriksa terjemahan segmen demi segmen, menampilkan teks sumber dan terjemahan secara berdampingan. Di kolom terpisah, sistem ini menyoroti potensi masalah dalam terjemahan, dengan kategori tingkat keparahan Kritis, Utama, atau Ringan. Pemeriksa manusia dapat langsung membuka setiap potensi masalah, meninjau segmen tersebut, edit terjemahan secara langsung, menandainya sebagai telah diselesaikan, atau sebaliknya, mengabaikan tanda tersebut.

Hal ini menimbulkan pertanyaan yang jelas, dan pertanyaan yang sering dijawab oleh Marta dan Martin:  Jika TQE tahu ada kesalahan, mengapa tidak langsung memperbaikinya saja? Mengapa harus melibatkan pemeriksa manusia? Alasannya terletak pada sifat kesalahan itu sendiri. Dan itu merupakan akibat langsung dari sifat AI itu sendiri.

AI paling baik mendapatkan kepercayaan dengan mengidentifikasi kesalahan yang tidak dapat diperbaikinya

Model AI pada dasarnya bersifat probabilistik. Model-model ini membuat perkiraan statistik yang sangat diagregasi dengan akurasi luar biasa, tetapi tetap saja itu hanyalah perkiraan terbaik – dan terkadang perkiraan tersebut salah. Ketika konteks penting hilang, kemungkinan itu meningkat. Model lain dapat mendeteksi perbedaan dan potensi ambiguitas tersebut, tetapi tidak dapat memperbaikinya tanpa membuat perkiraan lain. Jauh lebih baik melibatkan manusia.

Terkadang, kurangnya konteks yang menyebabkan perkiraan yang keliru bermuara pada pengetahuan implisit: sesuatu yang tidak dapat diketahui oleh AI, tetapi dapat diketahui oleh penerjemah manusia. Terkadang hal itu disebabkan oleh sifat teks sumber itu sendiri. Teks tersebut mungkin mengandung kesalahan tata bahasa yang membingungkan model AI. Teks tersebut bahkan mungkin mengandung kesalahan tata bahasa yang disengaja sebagai pilihan gaya. Penerjemah AI harus mengisi celah-celah tersebut, menebak maksud dan makna. Model yang dirancang khusus untuk evaluasi mutu dapat mendeteksi penyimpangan ini dari teks asli dan menandainya.

Perbandingan antara presisi dan recall: Seberapa ketat seharusnya model TQE itu?

Bagi Martin, Marta, dan tim, diskusi yang sangat menarik dimulai dengan pertanyaan tentang bagaimana mengkategorikan “kesalahan” dalam terjemahan ini, dan seberapa parah tingkat kesalahannya masing-masing. Mereka memulai dengan menggunakan kerangka kerja Multi-dimensional Quality Metrics (MQM) yang telah lama ada untuk kualitas terjemahan, yang berfokus pada bidang-bidang seperti tata bahasa, ejaan, keterbacaan, serta apakah terjemahan tersebut secara akurat sesuai dengan teks sumber. 

Namun, saat bekerja sama dengan para ahli bahasa, tim tersebut segera menyadari bahwa jenis kesalahan berubah ketika berurusan dengan terjemahan yang dihasilkan oleh AI, bukan oleh manusia. Tidak ada kesalahan ketik dalam terjemahan mesin. Namun, ada banyak kasus di mana kurangnya pengetahuan implisit terungkap.

Itulah mengapa tujuan TQE tidak pernah untuk menggantikan pemeriksa manusia. Dengan menggabungkan model penerjemahan dan model evaluasi, kami memastikan bahwa AI mampu mendeteksi keterbatasannya sendiri dan melibatkan para pemeriksa tersebut kapan pun diperlukan, sehingga menghemat waktu yang sangat berharga bagi mereka. Mereka tetap menjadi bagian penting dari proses ini. Tujuannya adalah memungkinkan mereka bekerja dengan AI dengan cara yang lebih memuaskan.

Hal ini membutuhkan keseimbangan: antara menandai setiap jenis kesalahan potensial, yang justru akan menambah beban kerja para pemeriksa, dan hanya mengeluarkan peringatan untuk kesalahan yang memiliki implikasi serius. Itulah mengapa diskusi seputar apa yang dimaksud dengan kesalahan terjemahan Kritis, Utama, atau Minor menjadi salah satu hal paling menarik dalam pengembangan TQE. 

Bekerja sama dengan pelanggan untuk membangun versi TQE terbaik

Menyesuaikan seberapa ketat TQE seharusnya diterapkan merupakan salah satu dari banyak bidang di mana kami bekerja sama dengan pelanggan untuk menyempurnakan model ini. Kami mengintegrasikan fitur penyesuaian DeepL seperti glosarium dan aturan gaya untuk memberikan model pengetahuan kontekstual yang lebih baik. Kami telah membuat TQE tersedia sebagai API, dan kami juga menambahkan saran tentang cara memperbaiki kesalahan, serta opsi untuk menerima dan menolak kesalahan secara massal.

Banyak dari pengembangan ini berasal dari wawasan yang dibagikan oleh pelanggan yang menggunakan alat pengujian TQE kami. Jika Anda ingin turut serta dalam pengembangan langkah selanjutnya dalam terjemahan AI ini, silakan hubungi kami untuk meminta akses ke lingkungan pengujian. Kami sangat ingin mendengar bagaimana TQE bekerja untuk Anda.

Tertarik untuk mendapatkan akses ke lingkungan pengujian TQE kami? Kirim email ke marta.danylenko@deepl.com.