خب بچه‌ها، بذارید یه موضوع جذاب رو با هم بررسی کنیم: چطوری میشه مطمئن شد هوش مصنوعی واقعاً می‌تونه همه پیچ‌وخم‌های زبان سواحیلی رو بفهمه و خوب پردازش کنه؟ یه تیم از محققای خفن اومدن و اولین «ارزیابی هدایت‌شده با دسته‌بندی» تو حوزه سواحیلی رو درست کردن که خلاصه یعنی اینکه با یه روش خاص، دارن بررسی میکنن ماشین‌ها چقدر تو شناسایی تنوع‌های زبانیِ این زبان پیچیده موفق هستن.
حالا داستان از اینجا شروع شد که دیدن هوش مصنوعی‌ها (مثل همونا که توی ChatGPT یا گوگل ترنسلیت استفاده می‌شن) معمولاً با زبونای انگلیسی و چندتا زبان معروف دیگه خوب کار میکنن، اما برن سراغ سواحیلی که دنیا دنیای گویش‌ها و لهجه‌ها و تفاوت فرهنگیه، می‌زنن تو جاده خاکی!
واسه اینکه بتونن این موضوع رو دقیق‌تر بسنجن، یه دیتاست درست کردن که توش ۲۱۷۰ تا جواب متنیِ آزاد از سخنگویای اهل کنیا جمع‌آوری شده. دیتاست یعنی مجموعه‌داده، یه جور مخزن داده‌های خام. این پاسخ‌ها پر از خلاقیت بود؛ مثل اثرات قبیله‌ای (مثلاً بعضی کلمات و ساختارها مربوط به یک قوم خاصه)، کلمات امروزی شهری، کد-میکسینگ (یعنی قاطی‌پاطی انگلیسی و سواحیلی حرف زدن که بین جوونا مد شده)، و همچنین لغات قرضی از زبونای دیگه.حتماً دیدین این سبک کلام رو که یکی یه جمله می‌گه و وسطش یه کلمه انگلیسی مثلاً پرت می‌کنه!
نکته جالب‌تر اینکه تیم تحقیق یه «طبقه‌بندی ساختاریافته» واسه این ویژگی‌های زبون درست کردن؛ یه جور راهنمای دسته‌بندی که نشون میده چطور باید هرنوع تنوع اجتماعی-زبانی رو تشخیص بدیم. طبقه‌بندی ساختاریافته یعنی یه جور کادر و معیار که باهاش قشنگ میشه دسته‌بندی کرد داده‌ها رو.
حالا با این ابزار باحال، اومدن هوش مصنوعی‌های مختلف رو تست کردن؛ بعضیاش فقط آموزش دیده بودن (pre-trained) و بعضیاشون مخصوص دستور گرفتن و اجراکردن کار خاصی تنظیم شدن (instruction-tuned). مثلاً مدل Pre-trained یعنی مدلی که یه عالمه داده رو خورده و یه دانش عمومی داره، ولی instruction-tuned یعنی بهش گفتن یه کار مشخص رو خیلی دقیق انجام بده. دیگه اونا رو با پاسخ‌های این دیتاست سنجیدن و دیدن کی بهتر می‌تونه این تنوع‌ها رو بفهمه و کی بیشتر خطا می‌زنه.
نتیجه‌ها خیلی بامزه بود: فهمیدن ارزیابی‌هایی که عمق فرهنگی رو در نظر بگیره، خیلی ضروریه چون این تفاوت‌های زبانی واقعاً روی کارایی هوش مصنوعی‌ها تاثیر مهم داره. خلاصه حرفشون اینه که نباید فقط با داده‌های تمیز و ساده مدل‌ها رو بسنجیم؛ تنوع واقعی زبان توی زندگی خیلی بیشتر و پیچیده‌تره و مدل‌ها باید واقعاً با اینجور موارد هم سر و کار داشته باشن.
این کار می‌تونه راه رو باز کنه برای این که بقیه هم تو بقیه زبونا، مخصوصاً زبونای آفریقایی و باحالِ کمترشناخته‌شده، همین روش رو پیاده کنن و بفهمن کدوم مدل واقعاً مردم رو می‌فهمه 🙂
منبع: +
