اگه فکر کردی همه هوش مصنوعیهایی که میبینی انگلیسی حرف میزنن، خیلی هم اشتباه نکردی! اکثر این مدلها مخصوص زبانهای معروف مثل انگلیسی، فرانسوی یا آلمانی ساخته میشن و زبانهای آفریقایی، خب، معمولاً یه گوشهای افتادن و کسی بهشون محل نمیذاره.
حالا داستان جالبی برات دارم که یکی از این زبانها یعنی “شونا” (Shona) رو به دنیای هوش مصنوعی وارد کرده. شونا یه زبان بانتو (Bantu) هست که تو زیمبابوه و زامبیا حرف میزنن، ولی مشکل اصلی این بود که دیتاستهایی که براش وجود دارن معمولاً رسمیان و اصلاً اون حال و هوای مکالمههای روزمره یا اسلنگ (همون لحن خودمونی و عامیانه) توش نیست.
اینجاست که این پروژه خفن شروع میشه! یه تیم اومده کلی پیام و گفتگوی واقعی و بینام تو فضای مجازی رو جمع کرده و دیتاست جدیدی ساخته که پره از اسلنگ شونا-انگلیسی. یعنی هم شونا داره، هم قاطیپاطی انگلیسی و شونا (که بهش میگن code-mixing، یعنی دو زبون رو وسط یه جمله قاطی میکنن)، و حتی لحن شوخی یا رسمی بودن دیالوگها هم روش برچسب خوردن! بعلاوه، دیتاستشون مشخص میکنه طرف چی تو ذهنشه (همون intent یا نیت حرف زدن)، احساسش چیه (sentiment)، نوع دیالوگش چیه (dialogue acts یعنی مثلاً سؤال پرسیده یا پاسخ داده)، و حتی تُن یا لحنش از چه جنسیه.
حال این دیتاست رو اگه دوست داشتی خودت ببینی و باهاش حال کنی، رایگان گذاشتنش روی گیتهاب: https://github.com/HappymoreMasoka/Workingwithshona-slang
بعدش اومدن یه مدل هوش مصنوعی ساختن که بر پایه DistilBERT (یه مدل سبک و جمعوجور از خانواده BERT که برای زبونهای مختلف ساخته شده و مخصوص شناخت متن و معنی جملاته) و به چندزبانه هم کار میکنه. یعنی مدلشون با همین دیتاست روی شناخت نیت (intent recognition) آموزش دادن و تونسته دقت ۹۶.۴٪ و F1-score حدود ۹۶.۳٪ بگیره. (F1-score یه معیار ترکیبیه بین دقت و یادآوری که هرچی بالاتر باشه مدل بهتره.)
خود این مدل به صورت آنلاین هم هست و اگه اهل این فضا باشی، رو هوگینگ فیس (huggingface) میتونی ببینیش: https://huggingface.co/HappymoreMasoka
ولی اصل ماجرا اینجاست: مدلشون رو توی یه چتبات ترکیبی (hybrid chatbot) استفاده کردن که ترکیبی از جوابهای قاعدهمند (rule-based یعنی جواب به سبک قدیمی که دقیقاً براش قواعد تعریف میکنی) و تولید با بازیابی (retrieval-augmented generation یا RAG که یعنی اول اون چیزی که کاربر میخواد پیدا میشه، بعد یه مدل جواب مناسب براش تولید میکنه) هست.
یه سناریوی واقعی هم برایش ساختن: کمک به دانشجوها که دنبال اطلاعات برای پذیرش تو مقطع کارشناسی ارشد دانشگاه Pace هستن. چتباتشون میتونه با سبک شونا-انگلیسی و با اسلنگ و لحن خودمونی جواب بده، طوری که کاربر احساس راحتی کنه و حرف زدن باهاش مثل صحبت با یه دوست باشه.
نتیجه مقایسه: این چتبات ترکیبیشون از یه مدل فقط RAG (یعنی مدل تولیدکننده جواب بدون قواعد اضافی) هم بهتر شده؛ هم از نظر فرهنگی درستتر جواب میده و هم کاربرها ارتباط بیشتری برقرار میکنن.
خلاصه بگم، با انتشار دیتاست، مدل و روششون دارن هوش مصنوعی و چتباتها رو برای زبانهای آفریقایی و مخصوصاً مکالمات باحال و واقعی مردم بهبود میدن، تا بعداً هیچکس حس عقبموندگی تو دنیای دیجیتال نداشته باشه. به قول خودشون: همه باید تو دنیای AI صدا داشته باشن!
منبع: +
