راستی! تاحالا به این فکر کردی که دیتایی که از ما تو شبکه‌های اجتماعی می‌مونه، چی‌ها رو درباره‌مون لو می‌ده؟ یه تیم تحقیقاتی اومدن دقیقاً سر همین قضیه تحقیق کردن و از هوش مصنوعی‌های خفن (که بهشون Large Language Models یا همون مدل‌های زبانی بزرگ می‌گن) استفاده کردن تا بفهمن چی تو شبکه‌های اجتماعی درباره واکسن کرونا گفته می‌شه، و اصلاً این رفتار مردم درباره واکسیناسیون چجوریه.
قبل از هر چیز، مدل زبانی بزرگ یا همون LLM چی هست؟ یه مدل کامپیوتریه که با خوندن کلی جمله، متن، مقاله و چیزای دیگه، یاد گرفته با آدم راحت گپ بزنه یا حتی محتوا تولید کنه. مثلاً همین ChatGPT یه نمونه از ایناست!
خب این تحقیق، اومده سراغ پستهای مربوط به واکسن کرونا از سال ۲۰۲۰ تا ۲۰۲۱ که مردم تو شبکه‌های اجتماعی گذاشتن. هدف‌شون این بود که ببینن آیا می‌تونن با هوش مصنوعی، رفتار واقعی آدما رو (مخصوصاً درباره واکسن زدن یا نزدن) پیش‌بینی کنن یا نه.
حالا چیکار کردن؟ سه‌تا مدل مختلف رو امتحان کردن:
۱- GPT-4o که یکی از جدیدترین و پیشرفته‌ترین مدل‌هاست
۲- یه نسخه کوچیک‌ترش به نام GPT-4o-mini
۳- همون GPT-4o-mini ولی یکم روش سفارشی‌سازی و تنظیم (اوکی کردنش با داده‌های خاص، که بهش می‌گن Fine-tuning) انجام دادن
حالا یه توضیح کوچولو راجع به Fine-tuning: یعنی مدل رو می‌برن روی مسائل خاص‌تر (اینجا درباره واکسن و کرونا)، و با یه سری داده درست و حسابی تنظیمش می‌کنن تا بهتر جواب بده.
اینا از مدل‌ها خواستن ببینن می‌تونن تو پستهای آدما سه تا چیز رو تشخیص بدن یا نه:
۱- آیا فرد درباره رفتار شخصی واکسیناسیون (مثلاً من رفتم واکسن زدم) نوشته؟
۲- آیا گفته تصمیم داره واکسن بزنه یا نه؟
۳- آیا فقط داره اطلاعات درباره واکسن و کرونا به اشتراک می‌ذاره؟
در نهایت اومدن و این پیش‌بینی‌هایی که مدل انجام داده بود رو با آمار رسمی واکسیناسیون تو کشور مقایسه کردن که ببینن این مدل‌های هوش مصنوعی چقدر دقیق حدس زدن.
نتیجه‌ها خیلی جالب بود! بهترین عملکرد رو اون مدل سوم نشون داد، یعنی GPT-4o-mini که روش Fine-tuning انجام دادن. از نظر دقت (accuracy)، جامعیت (recall) و اینکه نتیجه‌اش معتبر باشه (precision و F1 score، که معیارهای ارزیابی کیفیت هستند)، از دوتا مدل دیگه بهتر بود.
خب حالا بریم سر داده‌ها:
— حدود ۹.۸۴ درصد از پست‌ها (تقریباً ۳۶,۹۱۲تا پست) درباره رفتار شخصی واکسن زدن بود، یعنی افراد گفتن که واکسن زدن یا نظرشون رو گفتن.
— اکثریت پست‌ها (۷۱.۴۵ درصد یا تقریباً ۲۶۷,۹۳۰تا پست) فقط اطلاعات عمومی یا اخبار درباره کرونا رو به اشتراک می‌ذاشتن، نه تجربه شخصی.
یه نکته فوق‌العاده باحال این بود که مدل نشون داد بین میزان صحبت‌کردن مردم درباره واکسن و آمار واقعی واکسیناسیون یه همبستگی خیلی قوی وجود داره (همبستگی یعنی اینکه دو تا چیز با هم بالا و پایین می‌رن. اینجا مقدارش r = 0.76 بود که عدد خیلی خوبیه و اعتبارش هم p < 0.01 بود که یعنی الکی نیست).
در کل این تحقیق می‌گه LLMها (یعنی همین مدل‌های زبانی بزرگ) می‌تونن ابزار خیلی خوبی باشن برای اینکه بفهمیم تو دنیای واقعی آدم‌ها چه رفتارهایی دارن. مخصوصاً اگه مدل رو یه ذره با موضوع موردنظر اوکی کنیم (همون Fine-tuning). پس به‌زودی ممکنه محققان، سیاست‌گذارها یا حتی نهادهای مرتبط به سلامت، بتونن با استفاده از این تکنولوژی تصمیم‌های بهتری بگیرن.
در پایان، این تحقیق نشون می‌ده که اگه شبکه‌های اجتماعی رو هوشمندانه به کمک هوش مصنوعی تحلیل کنیم، تصویر دقیق‌تر و قابل اعتمادتری از رفتار جمعی آدم‌ها به دست میاریم. مخصوصاً وقتی پای مسائلی مثل سلامت عمومی درمیونه، این روش‌ها می‌تونن حسابی به کار بیان!
منبع: +
