خب بذار خیلی راحت و دوستانه براتون توضیح بدم که این مقاله درباره چیه! اگه اهل دنیای هوش مصنوعی باشی—or حتی اگه یکی دو بار به گوشِت خورده باشه—اسم BERT رو احتمالا شنیدی. BERT یه مدل زبانیه که گوگل ساخته و به درد کلی کار مختلف میخوره، مثلاً تحلیل متن یا همین تشخیص نویسنده که اینجا قراره دربارهش حرف بزنیم.
قدیما کسایی که میخواستن بفهمن یه متن رو کی نوشته، بیشتر از روشهای آماری استفاده میکردن. مثلاً یه سری خصوصیتهای نوشتاری (همون خصوصیات سبکی یا stylistic features یعنی مثلاً چه کلمههایی رو زیاد استفاده میکنه، یا جملههاش چقدر بلندن) رو میکشیدن بیرون و باهاش مدل میساختن. اما الان با این مدلهای زبون جدید مثل BERT، اوضاع خیلی متفاوت شده.
چالش اصلی اینه که وقتی داده خیلی کم باشه—مثلاً از هر نویسنده فقط چندتا متن داریم—BERT هم همیشه خوب عمل نمیکنه و دقیق نیست. حالا این دانشمندهای ژاپنی گفتن: بیاید هوشمندانه رویکرد جدید بسازیم و بهترینهای دو دنیا رو با هم قاطی کنیم!
کاری که کردن این بود: مدلی ساختن که قشنگ مدلهای BERT رو با همون روشهای قدیمی ترکیب میکنه. به این ترکیب میگن “Integrated Ensemble” یا همون “ترکیب یکپارچه”. منظور از Ensemble مدل همون سیستمیه که چند مدل مختلف رو با هم قاطی میکنه تا نتیجه نهایی دقیقتر بشه.
تو این پروژه اومدن پنج تا ورژن مختلف از BERT رو با سه نوع ویژگی مختلف و دو تا ساختار مدل دستهبند مختلف تست کردن. مثلاً ویژگیهاش میتونه چیزایی باشه مثل طول جمله، تنوع کلمات و این جور بحثها.
حالا نتیجه چی شد؟ BERT حتی توی کمبود داده هم عملکردش خوب بود و از اون روشهای سنتی بهتر عمل کرد. اما وقتی BERT رو با همون روشهای قدیمی قاطی کردن و یه مدل ترکیبی ساختن، نتیجه شگفتانگیز شد! مخصوصاً توی یه مجموعه داده (که بهش میگن Corpus B و توی آموزش اولیه BERT نبود)، امتیاز F1 مدل ترکیبی از ۰.۸۲۳ یههو رسید به ۰.۹۶! (F1 score یه جور معیار دقت مدل تو دستهبندیه، هرچی به ۱ نزدیکتر باشه یعنی مدل خیلی دقیقه.)
این اختلاف انقدر زیاد بود که تو زبان آماری میگن “از لحاظ آماری معنادار”: p value کمتر از ۰.۰۱۲ بود و Cohen’s d شد ۴.۹۳۹ (یعنی اختلاف خیلی زیادی بین مدلها وجود داشت). این عددها فقط به درد آماریها میخوره ولی خلاصه اگر دوست داری بدونی، یعنی نتیجه واقعاً قابل توجه بود!
یه نکته باحال دیگه هم کشف کردن: اینکه دادههایی که باهاش BERT آموزش دیده بود، تاثیر زیادی روی عملکردش داشتن. پس باید فقط دنبال مدل دقیق نباشیم، بلکه به مدلهایی نگاه کنیم که با هم فرق دارن. اینو بهش میگن مدل دیورس (یا همون تنوع مدل)، که مدلها آدم همدیگه رو تکرار نکنن و هرکدوم سر رشته خاصی رو پوشش بدن.
درنهایت مقاله میگه این کارها و این ترکیبها میتونن هم به کار تشخیص نویسنده کمک کنن و هم تو آینده مسیر توسعه هوش مصنوعی عمومی (Artificial General Intelligence یعنی اون هوش مصنوعیای که تقریبا هر کاری آدمیزاد بتونه بکنه، اینم بتونه) تاثیر بذارن.
خلاصه اگه حتی قراره تو زمینه ادبیات ژاپنی کار کنی یا دوست داری بدونی چطوری مدلهای زبانی میتونن با روشهای سنتی ترکیب شن، این مقاله حسابی میتونه برات جالب باشه. همهش هم درباره اهمیت تنوع مدل و داده و همین ترکیب خلاقانه بود!
منبع: +
