اگه تا الان فکر می‌کردی فقط برنامه‌نویس‌ها و دانشمندای داده دارن هوش مصنوعی رو پیش می‌برن، باید این نگاهت رو عوض کنی! الان تو هر شرکتی که بخواد هوش مصنوعی (AI یعنی همین ماشین‌هایی که خودشون می‌تونن فکر کنن و تصمیم بگیرن) رو وارد کار و زندگیش کنه، نقش مهندسای داده حرف نداره! واقعاً این بچه‌ها اصل کاری هستن، چون بدون داده‌های زیاد، تمیز و مدیریت‌شده اصلاً نمی‌شه هیچ مدلی رو آموزش داد یا پروژه رو جلو برد.
طبق گزارشی که MIT Technology Review Insights تهیه کرده (این یعنی یه تیم مستقل که فقط محتوا تولید می‌کنه و کارشون جدای از تحریریه اصلی مجله‌ست)، درباره ۴۰۰ تا مدیر داده و تکنولوژی تحقیق شده. اونا فهمیدن که مهندسای داده کارشون خیلی فراتر از اون درست‌کردن لوله‌کشی داده‌ها یا Data Pipeline (یعنی همون راه و روش منتقل کردن داده از این قسمت به اون قسمت سیستم) رفته و تأثیرشون کلی بیشتر شده. جالب‌تر اینه که خود فنّاوری هم یه جورایی داره کار مهندسای داده رو عوض می‌کنه! یعنی دیگه بیشتر وقتشون داره می‌ره سمت پروژه‌های مربوط به AI و کارهای سنتی (مثل دیتا نگهداری و تمیزکاری) از اولویت می‌افته.
مثلاً طبق همین بررسی، تو دو سال اخیر، مهندسای داده تقریباً دو برابر بیشتر وقتشون رو دارن روی پروژه‌های هوش مصنوعی می‌ذارن. سال ۲۰۲۳ حدود ۱۹ درصد وقتشون بود، ولی تو ۲۰۲۵ می‌شه ۳۷ درصد! فکرشو بکن، تا دو سال دیگه هم پیش‌بینی می‌کنن برسه به ۶۱ درصد! معلومه که اینم باعث شده کار و بار مهندسای داده خیلی بیشتر بشه و ۷۷ درصد مدیرها گفتن حجم کارهای این بندگان خدا همینجور داره سنگین‌تر می‌شه و کم که نمی‌شه هیچ، زیاد هم می‌شه!
چالش بزرگشون چیه؟ اصل دردسر مهندسای داده اینه که هر چی مدل‌های هوش مصنوعی پیشرفته‌تر می‌شن، اداره کردن داده‌های غیرساخت‌یافته (Unstructured Data یعنی داده‌هایی که توی قالب جدول و اینا نیستن. مثلاً عکس، ویدیو، متن پراکنده) و مدیریت جریان داده به صورت زنده و real-time سخت‌تر می‌شه. تازه حجم کارهاشون هم هر روز بیشتر می‌شه.
تو این تحقیقات یه نتایج جالب هم داشتن:
- ۷۲ درصد مدیرای تکنولوژی گفتن مهندس داده واقعاً عضو اساسی تیمه. حالا تو شرکتای گنده که حسابی تو کار AI رفتن، این عدد می‌رسه به ۸۶ درصد! مخصوصاً بانک‌ها و کارخانه‌ها خیلی این رو قبول دارن.
- هوش مصنوعی کلاً کار مهندسی داده رو زیر و رو کرده؛ همونطور که گفتیم، روز به روز درصد بیشتری از وقتشون رو باید بذارن روی پروژه‌های هوش مصنوعی و مشغله‌شون خیلی بیشتر شده.
در کل، دیگه نمی‌تونیم مهندسی داده رو فقط محدود به کارای فنی پشت صحنه بدونیم. هر چی دنیا بیشتر با هوش مصنوعی گره می‌خوره، اینا کلیدی‌ترین آدمای سازمان‌ها می‌شن. پس دفعه بعد که یکی راجع به مهندسی داده گفت “فقط انتقال داده که کاری نداره!”، حواست باشه که قضیه خیلی جدی‌تر و مهم‌تر از این حرفاست!
راستی اگه خواستی گزارش کامل رو بخونی، یه سر به سایت snowflake.com بزن.
پ.ن: اگه کنجکاوی بدونی، محتوای این گزارش رو آدما نوشتن و جمع کردن، حتی دیتاهای نظرسنجی رو هم خودشون جمع‌آوری‌کردن. اگه از ابزارهای AI هم کمک گرفتن، فقط تو بخشای جانبی بوده و بعدش کلی آدم روش نظارت کردن که مطمئن بشن همه چی اوکیه.
منبع: +
