خب رفقا، بذارین براتون یه داستان جالب از دنیای هوش مصنوعی تعریف کنم! موضوع سر یه استارتاپ به اسم Perplexity هست که تو حوزه جستجوی هوشمند کار می‌کنه. حالا داستان چیه؟ Cloudflare که یه شرکت معروف تو زمینه خدمات زیرساخت اینترنتیه (یعنی همونایی که کمک می‌کنن سایت‌ها امن‌تر و سریع‌تر کار کنن)، گفته Perplexity اومده با یه حرکت خفن (ولی بحث‌برانگیز!) قوانین دسترسی به سایت‌ها رو دور زده!
ماجرا از اینجا شروع شد که کلی سایت، واسه جلوگیری از خزیدن بات‌های هوش مصنوعی مثل بات‌های Perplexity، یه فایل به اسم robots.txt می‌ذارن تو سایتشون. این فایل همون جور که از اسمش پیداست، برای گفتن به ربات‌هاست که “آقا! اینجا نیای!” یا “فقط اینجا رو مجاز داری بخونی!”. اما Cloudflare میگه Perplexity وقتی می‌بینه راه بسته‌س، هویتش رو قایم می‌کنه و دیگه همونی که باید باشه، نشون نمی‌ده. این کار رو تو دنیای وب بهش میگن “stealth crawling”، یعنی خزیدن مخفیانه!
چی کار می‌کنن؟ خب اول با هویت واقعی خودشون مثل “PerplexityBot” یا “Perplexity-User” وارد میشن. اگه ببینن دسترسی ندارن، یه حقه جالب می‌زنن: “user agent” رو عوض می‌کنن. حالا user agent چیه؟ همون اطلاعاتی که به سایت میگه تو چه مرورگری و چه سیستمی هستی، یا اینکه اصلاً رباتی یا آدم! اونا خودشون رو به جای Google Chrome روی مکینتاش جا می‌زنن که کسی شک نکنه! حتی از IPهای متغیر هم استفاده می‌کنن، یعنی هی آدرس IP عوض میشه تا نشه راحت ردشون رو گرفت. جالبتر اینکه حتی شماره شبکه مستقل (ASN) عوض می‌کنن؛ این یه شماره‌س که نشون میده پشت این IPها چه اپراتور یا سازمانیه!
Cloudflare گفته این حرکات تو ده‌ها هزار دامنه و میلیون‌ها درخواست روزانه رخ داده! خلاصه، انگار یارو هر جوری بتونه، بالاخره می‌خواد بره تو سایت‌ها و محتوا جمع کنه. البته بحث جمع کردن محتوا به کمک هوش مصنوعی (که بهش میگن scraping یا واکاوی) خودش کلی جنجال داشته، مخصوصاً وقتی بدون اجازه از پشت paywall (یعنی دیوار پرداخت؛ همون صفحاتی که باید پول بدی تا ببینی) یا robots.txt رد میشن.
جالبتر اینه که پارسال هم کلی سر همین داستان برای Perplexity حاشیه درست شد و مدیرش انداخت گردن بات‌های شخص ثالث، ولی حالا دوباره پای خودشون وسطه. از اون طرف سخنگوی Perplexity کل گزارش Cloudflare رو یه “شو تبلیغاتی” خونده و گفته کلی سو تفاهم توش هست.
Cloudflare هم دیگه از لیست “بات‌های معتبر” اسم Perplexity رو حذف کرده. تازه خودش یه سری امکانات داده که هر کی خواست، بتونه راحت جلوی این خزنده‌های مخفی رو بگیره.
یه نکته مهم دیگه: مدیر عامل Cloudflare کلاً از طرفدارای سرسخت مقابله با هوش مصنوعی بی‌در و پیکره و میگه این بات‌ها واسه ناشران محتوا «تهدید وجودی» هستن. اخیراً هم Cloudflare سرویس جدیدی راه انداخته که سایت‌ها می‌تونن به شرکت‌های هوش مصنوعی بگن آقا اگه می‌خواین تو محتوای ما بچرخین و داده جمع کنین، باید پول بدین! حتی تازه به طور پیش‌فرض، بات‌های هوش مصنوعی رو بلاک می‌کنه.
خلاصه این داستان نشون میده که جنگ بین سازنده‌های هوش مصنوعی و کسایی که صاحب محتوا هستن، داره هی جدی‌تر میشه و هر طرف هم حقایق خودش رو داره! نظر شما چیه؟ این حقه‌ها تکنولوژیه یا انصافاً یه کم کار کثیف؟
منبع: +
