خب، فرض کن یه روز وسط شهر یکهو سیل راه بیفته و مردم شروع کنن از محل حادثه عکس و فیلم توی شبکههای اجتماعی منتشر کنن! این عکسها خیلی میتونن برای نیروهای امدادی و مسئولها ارزشمند باشن چون کمک میکنن سریعتر ببینن اوضاع کجاست و چقدر جدی شده. ولی یه مشکل داریم: خیلی وقتا این عکسها لوکیشن (یعنی اطلاعات جغرافیایی) درست و حسابی ندارن یا اصلاً معلوم نیست دقیقاً کجا گرفته شدن.
حالا اینجاست که یه موضوع جذاب وارد داستان میشه: مدلهای Visual Place Recognition یا همون VPR (یعنی مدلهایی که میتونن تشخیص بدن هر عکس مربوط به کجاست با توجه به تصویر) معمولاً واسه عکسهایی که از منابع مختلف میان و مخصوصاً برای عکسهایی که تو سیلاب و بحران گرفته شدن، خوب کار نمیکنن. چرا؟ چون این عکسها پر از نویز و اعوجاج و تفاوت با دیتاستهای آروم و کلاسیکن!
توی این مقاله، یه روش جدید جذاب معرفی شده به اسم VPR-AttLLM. این روش نه نیاز به آموزش مجدد داره، نه باید کلی دادهی جدید جمع کنیم! ماجراش چیه؟ روش VPR-AttLLM میاد از مدلهای LLM یا Large Language Models (یعنی همون مدلهای زبانی خیلی بزرگی که الان باهاشون همیشه تو اخبار و تکنولوژی برخورد میکنیم مثل ChatGPT)، کمک میگیره تا مناطق مهم و به دردبخور تو عکس رو که به پیدا کردن محل عکس ربط دارن، خوب شناسایی کنه. بعدش با یه سیستم هدایت توجه یا همون attention (یه جور الگوریتم که کمک میکنه مدل بیشتر به بخشهای مهمِ تصویر توجه کنه)، باعث میشه قسمتهایی که بیربطن یا فقط سر و صدای تصویری بیخود دارن، کنار گذاشته بشن.
یه جورایی انگار هوش مصنوعی داره شبیه آدمهایی که شهر رو خوب میشناسن، با دید باز بین تصویرها جستجو میکنه!
برای اینکه بفهمن این سیستم واقعاً بهتر شده یا نه، این VPR-AttLLM رو گرفتن و با دیتاستهای متنوع مثل SF-XL (که بهش عکسهای واقعی سیلاب از شبکههای اجتماعی اضافه کردن)، عکسهای مصنوعی با سناریوی سیلابی، عکسهای Mapillary (یه سرویس جمعسپاری عکسه) و یه دیتاست جدید از شهر هنگکنگ با ظاهر شهری متفاوت، امتحانش کردن. تازه اومدن این روش رو به سه مدل معروف و بهروز VPR یعنی CosPlace، EigenPlaces و SALAD هم اضافه کردن و نتیجهها رو بررسی کردن.
نتیجه خیلی جالبه: آمارا نشون داده که عملکرد بازیابی عکس (مثلاً اینکه سریعتر و درستتر بفهمن این عکس مال کدوم منطقهی شهره) بین ۱ تا ۳ درصد بهتر شده و جالبتر اینکه توی عکسهای بحران سیل که پیدا کردن موقعیت توشون خیلی سخته، تا ۸ درصد بهتر جواب داده!
پس این روش نه فقط باعث شده این سیستمها بهتر یاد بگیرن شبیه ما آدمها، شهر رو حس کنن و عکسها رو تشخیص بدن، بلکه کاملاً یه ایدهی جدید هم هست برای آیندهی سیستمهای هوشمند بازیابی تصویری که میخوان تصاویر بحران (مثل سیل یا هر اتفاق غیرمنتظره دیگه) رو سریع و دقیق مکانیابی کنن.
خلاصه الان با این سیستم جدید، خیلی راحتتر میشه عکسهای جمعسپاریشده یا همون تصاویر دریافتی از هزار تا آدم تو نقاط مختلف، سریعاً به محل دقیقشون وصل بشن و این یعنی زمان واکنش به بحرانها حسابی کاهش پیدا میکنه!
اگر بخوام جمعبندی کنم، ترکیب چندتا تکنولوژی خفن مثل مدل زبانی بزرگ (LLM)، مکانیزم توجه (attention) و تئوری ادراک شهری (یعنی علم اینکه آدما چطور محیط شهری رو میشناسن)، باعث شده این ابزار هم قوی و هم انعطافپذیر باشه و بدون دردسر میشه اونو روی هر سیستم VPR جدیدی سوار کرد. واقعاً ایدهش به درد آیندهی هوشمند شهرها میخوره!
منبع: +
