احتمالاً شنیدید که مدلهای زبان بزرگ یا همون LLMها (یعنی هوش مصنوعیهایی که میتونن متن بنویسن، کد بزنن و کلی کار خفن دیگه انجام بدن) توی ساختن کد غوغا کردن. ولی واقعیت اینه که وقتی پای ساختن نمودارهای خیلی پیچیده و تعاملی میاد وسط، هنوز خیلی راه دارن تا فول بشن. یعنی چی؟ یعنی مثلاً اگه به یکی از این هوش مصنوعیا بگین یه نمودار قشنگ و خفن برای دادههای مالی یا علمی درست کنه، خیلی وقتها گیر میکنن یا نتیجهشون دلچسب نیست.
حالا چندتا محقق باحال اومدن و یه چالش درست کردن به اسم PlotCraft. این کار یه بنچمارک جدیده (بنچمارک یعنی یه جور آزمون و معیار که باهاش عملکرد مدلها رو میسنجن) که حدود هزار تا تسک بصورت واقعاً سخت داره! موضوعاتش هم خیلی متنوعه؛ مثلاً از نمودارهای مالی گرفته تا دادههای علمی و جامعهشناسی رو شامل میشه. توی این بنچمارک، هفت مدل کلی از وظایف تصویری هست و بچهها ۴۸ نوع مختلف چارت (نمودار) رو هم پوشش دادن. تازه؛ فرقش با بقیه اینه که هم یه مرحلهای (یعنی دفعه اول درستش کن) و هم چندمرحلهای (یعنی هی اصلاحش کن) بودنِ خروجی رو میسنجه.
تا حالا ۲۳ تا از معروفترین مدلهای LLM رو با این چالش سنجیدن و خب، نتیجه جالب بود: بیشترشون توی ساختن نمودارهای پیچیده یا وقتی کار چالشبرانگیزتر میشه، کم میارن و خروجی جالبی ندارن.
برای اینکه این مشکل رو حل کنن، تیم محققها اومدن یه دیتاست جدید ساختن به اسم SynthVis-30K. این دیتاست چیه؟ یه مجموعه خیلی بزرگ و باکیفیت از نمونه کدهای نمودار بسیار پیچیدهست که بهصورت مصنوعی توسط چندتا هوش مصنوعی با همدیگه ساخته شده. (اینجا بهش میگن collaborative agent framework یعنی چندتا هوش باهم همکاری کردن که دیتا تولید کنن)
بعدشم رفتن سراغ ساختن یه مدل جدید به اسم PlotCraftor. این مدل رسماً طوری آموزش دیده که روی ساخت کد برای نمودارهای پیچیده و کاربردی حرف نداره – اونم با اندازهای خیلی جمع و جور! یعنی دیگه لازم نیست مدل خیلی گنده باشه تا هوشمند عمل کنه.
توی آزمونهایی مثل VisEval و PandasPlotBench (که هر دوشون معمولاً برای سنجش قدرت هوش مصنوعی در دیتاویژوالایزیشن یعنی مصورسازی داده استفاده میشه) و همین PlotCraft، مدل PlotCraftor خیلی خوب جواب داده! در واقع میگن عملکردش در حد مدلهای تجاری و گرونقیمتِ ماشینای خصوصیه. جالبتر اینکه توی تسکهای خیلی سخت، بیش از ۵۰ درصد بهبود کارایی داشته!
ضمناً قول دادن همه این چیزا (یعنی دیتاست، بنچمارک و کدها) رو رایگان بذارن تو گیتهاب. اگه با دیتاساینس یا هوش مصنوعی سر و کار داری، پیشنهاد میکنم سری به https://github.com/Speakn0w/PlotCraft-Benchmark بزنی.
خلاصه که PlotCraft داره نشون میده هوش مصنوعی راه زیادی برای تبدیل شدن به یه ویژوالایزر حرفهای داره، ولی با چیزی مثل PlotCraftor، سرعت پیشرفت بیشتر از قبل شده و آینده نمودارهای خودکار خیلی هیجانانگیزه!
منبع: +
