خب بذارین یه خبر هیجان‌انگیز رو باهاتون به اشتراک بذارم! محققین دانشگاه Penn State آمریکا یه برنامه موبایلی جدید ساختن به اسم NaviSense که با کمک هوش مصنوعی، پیدا کردن وسایل مختلف رو برای افراد کم‌بینا یا نابینا خیلی راحت‌تر می‌کنه. تصور کنین اگر یه نفر نتونه به‌راحتی اشیای اطرافشو ببینه، چه دردسرهایی برای پیدا کردن یه کلید کوچیک یا لیوان روی میز می‌کشه!
حالا NaviSense دقیقا اومده که این مشکل رو حل کنه. این اپلیکیشن با استفاده از AI (همون هوش مصنوعی که سیستم‌هایی مثل ChatGPT رو می‌سازه) و یه سری مدل پیشرفته بینایی کامپیوتری و زبانی – مثلاً VLMs و LLMs یعنی مدل‌هایی که می‌تونن عکس ببینن و بفهمن و با زبان حرف بزنن – اشیا رو توی همون لحظه و بر اساس فرمان صوتی کاربر تشخیص می‌دن. یعنی لازم نیست مدل اشیا از قبل توی برنامه باشه، هرچی بگی همون موقع می‌فهمه و پیداش می‌کنه.
مثلاً کاربر به گوشی می‌گه: «لیوان آب کجاست؟» برنامه با دوربین موبایلش محیط رو بررسی می‌کنه و با صدا و حتی ویبره (که بهش می‌گن هپتیک، همون لرزشی که موقع پیام دادن گوشی می‌لرزه!) راهنمایی می‌ده که دستت رو کجا ببر تا به شی مورد نظر برسی.
جالب این‌جاست که تیم پشت این پروژه، یعنی دکتر Vijaykrishnan Narayanan و دانشجوش Ajay Narayanan Sridhar و بقیه، قبل از ساخت برنامه کلی با آدم‌های کم‌بینا صحبت کردن تا بفهمن واقعا تو روزمره چه مشکلاتی دارن و چی می‌خوان. یکی از چیزایی که خیلی درخواست شده بود همین راهنمایی دست بود: یعنی فقط نگن شیء کجاست، بلکه کمک کنن کاربر دسته‌شو مستقیم به طرف شی ببَره. واسه همین گوشی رو دنبال حرکت دست کاربر رصد می‌کنه و دستور می‌ده برو چپ، برو راست، بیا پایین… و خلاصه bullseye، شیء پیدا شد!
توی نمایشگاه بزرگ ACM SIGACCESS ASSETS 2025 تو دنور آمریکا ارائه دادن این تکنولوژی رو و جایزه محبوب‌ترین پوستر رو هم گرفتن!
تست کردن NaviSense رو با دوازده نفر توی محیط کنترل‌شده و برنامه رو با دو تا اپلیکیشن دیگه مقایسه کردن. نتیجه؟ هم سرعت پیدا کردن اشیا بیشتر بود، هم دقتش بالاتر. خود شرکت‌کننده‌ها هم همه راضی بودن و می‌گفتن تجربه‌شون خیلی بهتر شده.
یکی از فواید NaviSense اینه که اگر برنامه درست متوجه درخواست نشه، خودش شروع می‌کنه سوال پرسیدن تا مطمئن بشه دقیقا کاربر دنبال چیه. اینطوری تعامل برنامه با آدم خیلی طبیعی‌تر و دوستانه‌تره.
فعلا تیم تحقیقاتی داره روی کاهش مصرف باطری و بهینه‌شدن مدل کار می‌کنه تا به زودی این دستیار هوشمند وارد بازار شه و دسترسیش واسه همه آسون‌تر بشه.
راستی بد نیست بدونین بخش زیادی از هزینه این پروژه رو بنیاد ملی علوم آمریکا (National Science Foundation) تأمین کرده. خلاصه NaviSense قراره تأثیر بزرگی بذاره تو زندگی افراد کم‌بینا و نابینا و به نظر میاد آینده ابزارهای کمک‌یار حسابی روشنه!
منبع: +
