بیا با هم یک داستان جالب و کمی ترسناک درباره امنیت سایبری و هوش مصنوعی مرور کنیم! الان دنیای هک و امنیت با سرعت وحشتناکی داره پیشرفت می‌کنه، واسه همین یه چیزی به اسم Cyber Threat Intelligence یا همون CTI اومده وسط که بخوام خیلی ساده بگم، یعنی هوش تهدیدات سایبری. این CTI خیلی کمک می‌کنه که بفهمیم تهدید جدیدی تو اینترنت هست یا نه، و چقدر خطرناکه و چطور باید جلوش بایستیم.
کاری که CTI می‌کنه اینه که هی اطلاعات از هرجای نت جمع می‌کنه: شبکه‌های اجتماعی، انجمن‌ها، بلاگ‌ها و همه جاهایی که مردم یا حتی هکرها صحبت می‌کنن. بعد این داده‌ها رو با کمک هوش مصنوعی مخصوصاً مدل‌های NLP (یعنی Natural Language Processing، پردازش زبانی طبیعی که می‌تونه با زبان آدمی کار کنه!) یا ML (Machine Learning یعنی یادگیری ماشینی!)، تحلیل می‌کنه. اصل کارش هم اینه که یه سری IoC یا همون Indicator of Compromise (نشونه‌هایی که بفهمیم یه سیستم شاید هک شده) رو از دل این اطلاعات بیرون بکشه.
حالا چرا این سیستم‌ها رفتن سراغ هوش مصنوعی؟ چون حجم داده‌هایی که باید تحلیل بشه اصلاً با عقل جور در نمیاد! اگه بخوان دستی بررسی کنن که ممکن نیست، پس هوش مصنوعی همه جا هست.
اما… اینجا یه مشکل خیلی جدی پیش میاد! اگه هوش مصنوعی قراره از کلی منبع باز و ناشناس اطلاعات بگیره، خب احتمال این که اطلاعات ساختگی (فیک) هم واردش بشه خیلی بالاست دیگه. اینجا یه نوع حمله جدید شکل می‌گیره که بهش میگن حمله‌هایی از جنس adversarial attack یا همون «حمله خصمانه» (یعنی هکرها یا حتی آدمای معمولی دارن اطلاعاتی تولید می‌کنن که هوش مصنوعی رو به اشتباه بندازن).
تو این تحقیق درباره این حمله‌ها به سیستم‌های CTI با مدل‌های هوش مصنوعی حرف زده‌اند. جالبیش اینجاست که قبلاً بیشتر فقط خود مدل‌های ML رو بررسی می‌کردن تا بفهمن چجوری هک میشن، اما این بار اومدن کل زنجیره CTI رو نگاه کردن! یعنی همه بخش‌هایی که از داده خام تا تحلیل نهایی رو می‌گیرن و هر کدوم هم می‌تونن آسیب‌پذیر باشن.
سه مدل حمله مختلف رو هم بررسی کردن:
- حمله evasion یا «گریز» (یعنی اطلاعات جعلی طوری ساخته میشن که مدل اصلاً متوجه جعلی بودنشون نشه و راحت گول بخوره!)
- حمله flooding یا «سیل اطلاعاتی» (هکرها کلی اطلاعات فیک می‌فرستن که سیستم نتونه درست انتخاب کنه و از بین اون همه، واقعیت رو جدا کنه)
- حمله poisoning یا «مسموم‌سازی» (یعنی داده‌های سیستم اونقدر فیک و بد میشن که هوش مصنوعی آموزش اشتباه ببینه و چیزی که یاد می‌گیره سر تا سر اشتباه باشه)
تو این پژوهش بیشتر روی حمله evasion تمرکز کردن. چرا؟ چون این مدل جزو شروع‌کننده‌هاست، یعنی قبل اینکه حملات flooding و poisoning اجرا بشن، معمولاً حملات evasion راه رو باز می‌کنن. با ایجاد متن‌های فیک (که خودشون از راه adversarial text generation ساخته میشن؛ یعنی هوش مصنوعی یا انسان‌ها متنی رو طوری می‌سازن که مدل‌ها رو گول بزنه)، سیستم عملاً نمی‌تونه درست داده‌های واقعی و مهم رو تشخیص بده.
فرض کن مثلاً یه مدل امنیتی داریم که با متن ها کار می‌کنه و قراره تهدیدات سایبری مثل حمله فیشینگ، یا ورود بدافزار رو شناسایی کنه. هکرها با adversarial attacks، متن‌هایی درست می‌کنن که شبیه هشدار جدی امنیتی باشه، در حالی که کلش فیکه و مدل نمی‌تونه فرقش رو با واقعیت بفهمه. این طوری زنگ خطرهای اشتباهی به صدا درمیاد یا حتی اطلاعات اصلی بین کلی مزخرف گم میشن.
نتیجه این حمله‌ها چی میشه؟ عملکرد سیستم شدیداً پایین میاد و راحت‌تر سیستما آسیب‌پذیر میشن. چون دیگه نه میشه به داده‌ها اعتماد کرد، نه مدل درست تصمیم می‌گیره!
در کل، این پژوهش هشدار می‌ده که هرچی بیشتر به مدل‌های مبتنی بر Large Language Model (مدل‌های زبان بزرگ مثل ChatGPT و غیره) تو امنیت سایبری تکیه کنیم، بیشتر باید حواسمون به حملات متنی و فیک باشه. مخصوصاً وقتی قراره داده رو از جاهایی مثل شبکه‌های اجتماعی و انجمن‌ها جمع کنیم که پر از مطالب غیرقابل اعتماد و ساختگیه!
در آخر، داستان اینه: ورود هوش مصنوعی به امنیت سایبری همه چیز رو سریع‌تر و دقیق‌تر می‌کنه، اما در عوض در برابر حمله‌هایی مثل جعل متن حسابی آسیب‌پذیرش می‌کنه. باید راه‌هایی پیدا کنیم که بفهمیم چه متنی واقعیه و چه متنی مخصوص گمراه کردن مدل‌ها ساخته شده. پس دفعه بعد که دیدی یه سیستم امنیتی داره باهوش عمل می‌کنه، یادت باشه ممکنه هوش مصنوعی‌اش رو با کمی حرف فیک بتونن گول بزنن!
منبع: +
