نموذج واحد للترجمة، ونموذج واحد للتقييم: كيف نعمل على تطوير نظام تقييم الجودة للترجمة في DeepL

تكمن مشكلة الترجمات التي تعتمد على الذكاء الاصطناعي في أنها تبدو مثالية، حتى عندما لا تكون كذلك. ونظرًا لأن الأخطاء لا تظهر للعيان للوهلة الأولى، فأنت مضطر إلى تصديق نموذج الذكاء الاصطناعي بأن كل شيء صحيح. البديل الوحيد هو أن تطلب من المتخصصين في اللغة مراجعة العمل، سطراً سطراً، بحثاً عن الأخطاء والترجمات غير المكتملة والتغييرات الدقيقة في المعنى التي من المرجح أن يفوتها غير الخبراء.

هذا المطلب اللامتناهي للتدقيق هو أحد الشكاوى الأكثر شيوعًا التي توجهها فرق الترجمة/التوطين بشأن الترجمات التي تعتمد على الذكاء الاصطناعي. وهذا يطرح سؤالًا جوهريًّا لأي شخص يعمل في مجال أبحاث الذكاء الاصطناعي في مجال اللغة. كيف يمكن للترجمات الآلية أن تكسب ثقة المؤسسات التي تعتمد عليها؟ كيف يمكنها تجنب مطالبة المُراجعين البشريين بمراجعة العمل الذي أنجزته بالفعل، لمجرد التأكد؟

بناء نموذج مستقل للذكاء الاصطناعي لتقييم جودة الترجمة (TQE) لـ DeepL

اتضح أن الذكاء الاصطناعي قادر على حل هذه المشكلة، لكنه لا يستطيع القيام بذلك من خلال نفس نموذج الذكاء الاصطناعي الذي أنتج الترجمة في المقام الأول. أظهرت اختبارات الجودة أنه عندما تقوم نماذج اللغة الكبيرة (LLMs) بفحص الترجمات، فإنها تفضل نتائج نموذجها الخاص، وتغفل نقاط الضعف المحتملة فيه. عندما يتعلق الأمر بالذكاء الاصطناعي، لا يمكنك كسب الثقة من خلال مطالبة النموذج بمراجعة عمله الخاص. ومع ذلك، يمكنك تحقيق ذلك من خلال بناء وتدريب نموذج مختلف يركز بشكل كامل على تحديد أي أخطاء محتملة أو معاني غير صحيحة.

وهذا ما يقوم به مارتا دانيلينكو، مديرة المنتجات الأولى في DeepL، ومارتن بيرغر، عالم الأبحاث الأول، وبقية الفريق المسؤول عن أداة تقييم جودة الترجمة (TQE) الخاصة بنا. لقد طوروا نموذجًا مستقلًا للذكاء الاصطناعي لتقييم جودة الترجمة (TQE) لغرض محدد واحد: إجراء اختبارات تحمل على الترجمات، وتصنيف أي أخطاء أو أخطاء محتملة يجب أن يكون العملاء على علم بها.

كيف يعمل TQE عمليًا

يقوم مُحرّر الذكاء الاصطناعي الخبير في TQE بمراجعة الترجمات جزءًا جزءًا، مع عرض النص المصدر والنص المترجم جنبًا إلى جنب. وفي عمود منفصل، يبرز المحرر أي مشكلات محتملة في الترجمة، مع تصنيف خطورتها إلى «حرجة» أو «كبيرة» أو «طفيفة». يمكن للمُراجعين البشريين الانتقال إلى كل مشكلة محتملة، ومراجعة الجزء المعني، وتحرير/تعديل الترجمة مباشرةً، ووضع علامة «تم حلها»، أو بدلاً من ذلك، تجاهل الإشارة فحسب.

وهذا يطرح سؤالًا واضحًا، وهو سؤال يُطرح على مارتا ومارتن كثيرًا:  إذا كانت TQE تعلم بوجود الأخطاء، فلماذا لا تقوم بتصحيحها فحسب؟ لماذا يتم إشراك المُراجعين البشريين أصلاً؟ يعود السبب في ذلك إلى طبيعة الأخطاء نفسها. وهذا نتيجة مباشرة لطبيعة الذكاء الاصطناعي.

يكسب الذكاء الاصطناعي الثقة بشكل أفضل من خلال تحديد الأخطاء التي لا يستطيع إصلاحها

نماذج الذكاء الاصطناعي تعتمد بشكل أساسي على الاحتمالات. فهي تُقدّم تخمينات إحصائية مجمّعة للغاية بدقة مذهلة، لكنها تظل مجرد تخمينات – وأحيانًا تكون خاطئة. وعندما يكون السياق الحاسم مفقودًا، تزداد احتمالية حدوث ذلك. يمكن لنموذج آخر أن يكتشف هذا الاختلاف والغموض المحتمل، لكنه لا يستطيع إصلاحه دون إجراء تخمين آخر. من الأفضل بكثير إشراك الإنسان في العملية.

في بعض الأحيان، يعود نقص السياق الذي يؤدي إلى التخمينات الخاطئة إلى المعرفة الضمنية: شيء لا يمكن للذكاء الاصطناعي معرفته، في حين أن المترجم البشري يعرفه. وأحيانًا ما ينتج ذلك عن طبيعة النص المصدر نفسه. قد يحتوي النص على أخطاء نحوية تربك نموذج الذكاء الاصطناعي. بل وقد يحتوي حتى على أخطاء نحوية متعمدة تمثل خيارًا للأسلوب. يتعين على المترجم الذي يعتمد على الذكاء الاصطناعي سد هذه الثغرات، من خلال التخمين بشأن القصد والمعنى. يمكن للنموذج المصمم خصيصًا لتقييم الجودة اكتشاف هذا الاختلاف عن النص الأصلي والإبلاغ عنه.

المفاضلة بين الدقة والاسترجاع: إلى أي مدى يجب أن يكون نموذج تقييم الجودة (TQE) صارمًا؟

بالنسبة لمارتن ومارتا والفريق، بدأت المناقشات المثيرة للاهتمام حقًا بالسؤال حول كيفية تصنيف هذه «الأخطاء» في الترجمة، ومدى الخطورة التي يجب إسنادها لكل منها. بدأوا باستخدام إطار عمل «مقاييس الجودة متعددة الأبعاد» (MQM) الراسخ منذ زمن طويل لتقييم جودة الترجمة، والذي يركز على مجالات مثل القواعد النحوية، والتهجئة، وسهولة القراءة، بالإضافة إلى مدى دقة مطابقة الترجمة لما ورد في النص المصدر. 

ومع ذلك، من خلال العمل مع خبراء اللغات، أدرك الفريق سريعًا أن أنواع الأخطاء تتغير عند التعامل مع ترجمة أنتجتها الذكاء الاصطناعي بدلاً من الإنسان. لا توجد أخطاء إملائية في الترجمة الآلية. ومع ذلك، هناك العديد من الحالات التي يتجلى فيها نقص المعرفة الضمنية.

ولهذا السبب، لم يكن هدف TQE أبدًا استبدال المُراجعين البشريين. من خلال الجمع بين نموذج الترجمة ونموذج التقييم، نضمن أن الذكاء الاصطناعي قادر على اكتشاف حدوده الخاصة وإشراك هؤلاء المُراجِعين حيثما دعت الحاجة، مما يوفر لهم وقتًا ثمينًا. فهم يظلون جزءًا أساسيًا من العملية. الهدف هو تمكينهم من العمل مع الذكاء الاصطناعي بطريقة أكثر إرضاءً.

وهذا يتطلب تحقيق توازن: بين الإبلاغ عن كل نوع من الأخطاء المحتملة، مما يؤدي إلى زيادة عبء العمل على المُراجِعين، وبين إصدار تنبيهات فقط للأخطاء التي لها تداعيات خطيرة. لهذا السبب كانت المناقشات حول ما يشكل خطأً «حرجًا» أو «كبيرًا» أو «بسيطًا» في الترجمة من بين أكثر المناقشات إثارة للاهتمام في عملية تطوير TQE. 

العمل مع العملاء لإنشاء أفضل نسخة من TQE

يُعد تحديد مدى صرامة TQE أحد المجالات العديدة التي نعمل فيها مع العملاء على تحسين النموذج. نقوم بدمج ميزات التخصيص في DeepL مثل قوائم المصطلحات وقواعد الأسلوب لتزويد النموذج بمزيد من المعرفة السياقية. لقد أتحنا TQE كواجهة برمجة تطبيقات (API)، كما أننا نضيف اقتراحات حول كيفية تصحيح الأخطاء، وخيارات لقبولها أو رفضها بشكل جماعي أيضًا.

تأتي العديد من هذه التطورات من الأفكار التي شاركها العملاء الذين يستخدمون أداة اختبار TQE الخاصة بنا. إذا كنت ترغب في المشاركة في تطوير هذه الخطوة التالية في مجال الترجمة المعتمدة على الذكاء الاصطناعي، فيُرجى التواصل معنا لطلب الوصول إلى بيئة الاختبار. يسعدنا أن نسمع رأيك حول أداء TQE.

هل أنت مهتم بالحصول على حق الوصول إلى بيئة اختبار TQE الخاصة بنا؟ أرسل بريدًا إلكترونيًا إلى marta.danylenko@deepl.com.