بررسی عملکرد مدل‌های زبانی بزرگ برای پیدا کردن خطا تو ماشین‌های خودران!

Fall Back

خب، بذارید یه موضوع خیلی جذاب رو باهاتون درمیون بذارم! تو این چند سال اخیر، مدل‌های زبانی بزرگ (همون LLM ها که مثلاً ChatGPT هم یه نمونه‌شه) کلی پیشرفت کردن و رسماً دارن همه جا سرک می‌کشن! حالا جدیداً بچه‌های دنیای تحقیق اومدن سراغ اینکه ببینن این LLM ها تو ماشین‌های خودران چه کارایی می‌تونن بکنن، مخصوصاً به عنوان یه ابزار کمکی تو بخش‌های ادراک و تصمیم‌گیری این ماشین‌ها.

حالا اصلاً منظور از LLM چی بود؟ مدل زبانی بزرگ یعنی یه مدل هوش مصنوعی که با کلی داده و متن آموزش دیده و می‌تونه متن بنویسه، سوال جواب بده، و حتی استدلال کنه. داشتم می‌گفتم… البته بیشتر تست‌هایی که تا حالا انجام دادن یا با داده‌های شبیه‌سازی‌شده بوده یا با داده‌هایی که کامل «حقیقت واقعی» هر اتفاق رو نمی‌شه توش پیدا کرد (Ground Truth یعنی همون حقیقت ماجرا، که مثلاً واقعاً چه اتفاقی افتاده و برنامه چطور باید تشخیص بده). برای همین، نتایج خیلی دقیق و قابل اطمینان نبوده.

حالا این مقاله اومده سراغ یه سوال خیلی مهم: وقتی ماشین‌های خودران تو شرایط خاص و عجیب (که بهشون می‌گن Edge Case، یعنی موقعیت‌هایی که معمول نیست و ممکنه ماشین اشتباه کنه یا نتونه خوب تشخیص بده) خراب می‌کنن، آیا LLM ها می‌تونن بهتر عمل کنن یا نه؟ یعنی اگه مثلاً یه اتفاق عجیب بیفته یا ماشینی گیر کنه، مدل زبانی بزرگ می‌تونه بفهمه مشکل رو و هشدار بده؟

خلاصه کاری که انجام دادن این بوده: اول یه سیستم ساختن که یه “Object Detector” با قابلیت تشخیص چیزهای مختلف (Open Vocabulary Object Detector یعنی می‌تونه هر شیئی رو حتی اگه ندیده باشه تشخیص بده!) رو با LLM قاطی کردن. بعد به مدل، سوال یا پرامپت‌هایی دادن (Prompt Engineering یعنی همون قلق دادن به مدل زبانی تا بهتر راه بیفته!) تا اوضاع رو تفسیر کنه و راجع به وضعیت تصمیم بگیره.

توی این تحقیق، چند تا از بهترین مدل‌های امروزی رو به چالش کشیدن و گذاشتن‌شون سر شرایط واقعی که مدل‌های قبلی کم آورده بودن. اومدن هم مقایسه کیفی انجام دادن (یعنی فقط عدد و رقم نبوده، بلکه توضیح دادن که چه اتفاقایی افتاده و چرا) هم یه کم داده دادن دستمون که بفهمیم LLM ها تا چه حد می‌تونن سر از اتفاقات عجیب و غریب تو بیارن.

آخرش هم کلی نتیجه‌گیری و بحث اومده که مثلاً چطوری این مدل‌های زبانی بزرگ می‌تونن به عنوان “شکارچی خطا” یا همون Anomaly Detector — یعنی سیستمی که اشکال‌ها و چیزهای غیرمعمول رو پیدا می‌کنه — تو ماشین‌های خودران کمک کنن. مقاله نشون داده که این رویکرد می‌تونه به بهتر شدن ایمنی و اعتماد ما به ماشین‌های هوشمند کلی کمک کنه، به شرط اینکه مدل‌ها رو همین‌طوری الکی رها نکنیم و خوب تربیت و تستشون کنیم!

خلاصه که اگه شما هم به هوش مصنوعی و دنیای اتومبیل‌های خودران علاقه دارید، این یه تحقیق خیلی جالب و آینده‌دار بود که نشون میده LLM ها فقط برای چت کردن یا نوشتن شعر نیستن، می‌تونن حتی جون مردم رو هم حفظ کنن!

منبع: +