ماجرای ترجمه بین گویش‌های عربی با هوش مصنوعی: کدوم مدل بهتر بود؟

بیا یه موضوع جالب رو با هم بررسی کنیم! می‌خوایم ببینیم وقتی بحث ترجمه بین گویش‌های مختلف عربی میاد وسط، مدل‌های بزرگ زبون (LLMها یعنی همون مدل‌های خیلی پیشرفته‌ای که می‌تونن مثل آدم‌ها متن بسازن و جواب بدن) چطوری از پسش برمیان.

خب، همون‌طور که همه می‌دونن، عربی فقط یه زبون نیست؛ گویش‌های خیلی زیادی داره که هر کدوم تو یه منطقه معروفه. بررسی تفاوت‌های این گویش‌ها توی پروژه‌های پردازش زبان طبیعی (NLP یعنی همون کارایی که با کمک کامپیوتر به زبون آدم‌ها رسیدگی می‌کنن) خیلی مهمه.

حالا یه عده اومدن گرفتن دست به کار شدن تا ببینن مدل‌هایی مثل GPT-3.5، GPT-4 و Bard (که الان بهش Gemini هم می‌گن) چه‌جوری از پس ترجمه این گویش‌ها برمیان. حتی یه مدل جدیدتر به اسم GPT-5 رو هم باهاش کار کردن، ولی فقط روی دیتاست MADAR (یه مجموعه داده که متن‌های عربی رو از ۱۵ تا کشور جمع میکنه و توش گویش‌های مختلف هست) آزمایش کردن.

برای اینکه بدونن کدوم مدل بهتره، کلی معیار سنجش (Metric) استفاده کردن: مثلاً Cosine Similarity (یعنی شباهت زاویه‌ای بین دو جمله، خلاصه بگم روشیه برای اینکه ببینی دو جمله چقدر از نظر مفهومی بهم نزدیکن)، Universal Similarity Encoder (یک مدل برای سنجش نزدیکی معنا)، Sentence-BERT (یه مدل هوشمند برای تبدیل جملات به اعداد قابل مقایسه)، TER (یعنی Translation Edit Rate که نشون می‌ده چقدر باید یه ترجمه رو اصلاح کنی تا درست بشه)، ROUGE و BLEU (دوتا معیار معروف برای سنجش کیفیت ترجمه ماشینی).

یه نکته باحال هم اینه که برای هر گویش، دوتا روش مختلف امتحان کردن: zero-shot و few-shot. Zero-shot یعنی مدل هیچ نمونه‌ای از قبل نمی‌گیره و خودش باید سر دربیاره. Few-shot یعنی چندتا مثال بهش می‌دن تا یاد بگیره. (یادگیری با چند نمونه)

حالا نتیجه چی شد؟
توی دیتاست QADI (یه مجموعه داده‌ی دیگه برای ترجمه از عربی استاندارد به گویش‌های مختلف)، GPT-4 قشنگ از بقیه مدل‌ها بهتر عمل کرد، مخصوصاً توی ترجمه از عربی رسمی (MSA) به گویش محلی (DA). وقتی آنووا (یه تست آماری برای مقایسه بین چند گروه!) زدن، مشخص شد تو بیشتر معیارها (به جز BLEU و TER که خیلی فرق معنی‌داری نداشتن) GPT-4 از بقیه بالاتر بود.

از نظر شباهت معنایی (Semantic similarity)، نمره‌ی GPT-4 شد ۰٫۶۶ (نسبت به ۰٫۶۱ برای GPT-3.5 و ۰٫۶۳ برای Bard). یعنی دقیقا بهتر تونست مفهوم رو منتقل کنه. همچنین تو پیدا کردن جملات مشابه (اونایی که متن ورودی و خروجی یکیه)، GPT-4 با BLEU و ROUGE-L ترکیبی نمره‌ی ۰٫۴۱ گرفت. همه مدل‌ها توی TER نمره‌هایی بین ۶ تا ۲۵ درصد آوردن، که یعنی ترجمه‌ها در کل خوب بودن.

ولی یه نکته جالب: مدل‌های GPT مخصوصاً GPT-5، وقتی قرار شد به گویش‌های کشورهای لوانت (یعنی کشورهایی مثل لبنان، سوریه، اردن) ترجمه کنن، از Bard (یا همون Gemini) بهتر بودن.

توی دیتاست MADAR هم که پر از گویش‌های مختلفه، تفاوت خیلی خاصی تو بعضی معیارها (مانند Sentence-BERT, ROUGE-L و TER) نبود، ولی تو معیارهای Cosine similarity و BLEU و Universal Similarity Encoder تفاوت دیده شد و اینجا هم رای به نفع GPT-5 بود برای پیدا کردن جملات مشابه (BLEU و ROUGE-L ترکیبی نمره‌ی ۰٫۳۷ گرفت).

یه سوال مهم این بود که آیا اگر به مدل چند تا مثال آموزش بدی (few-shot)، بهتر میشه یا نه؟ جوابش برای بیشتر مدل‌ها خیلی دلچسب نبود. یعنی مثلاً وقتی این کار رو برای گویش تونسی (که از بقیه ضعیف‌تر نتیجه داده بود) انجام دادن، حتی GPT-4 و Bard بدتر شدن! فقط GPT-3.5 بود که ثابت و بی‌حاشیه نتیجه داد. به‌طور کلی، همون zero-shot جواب میده و خیلی لازم نیست مدل رو با مثال گرم کنیم.

در آخر، اگه بخوام جمعبندی کنم، ترجمه بین گویش‌های عربی بسیار پیچیده‌ست ولی مدل‌های زبانی جدید مثل GPT-4 و GPT-5 واقعاً پیشرفت خوبی دارن و تو رقابت با Bard (Gemini) هنوز سرتر ظاهر می‌شن، مخصوصاً اگه دنبال معنی دقیق‌تر و تطابق جملات باشی. اگه یه‌بار خواستی مدل هوش مصنوعی رو برای ترجمه یه گویش خاص عربی امتحان کنی، این نتایج می‌تونن کلی بهت دید بدن که دنبال کدوم مدل بری!

منبع: +