خب بچهها، اگه دنبال دنیای هوش مصنوعی و مخصوصاً بحثهای مالی هستین، قطعاً اسم مدلهایی مثل GPT به گوشتون خورده. حالا یه مدلی هست به اسم FinGPT که دقیقاً واسه فهمیدن و کار کردن با متون مالی طراحی شده. یعنی مدل زبونیشه که فقط و فقط واسه دنیای مالی تربیت شده! توی این مقاله میخوایم با زبون ساده هم بدونیم که واقعاً این مدل FinGPT چی کارا میتونه بکنه و کجاها هنوز کم میاره.
خب قضیه از این قراره: محققها اومدن و FinGPT رو روی شش تا از اصلیترین کارهای پردازش زبان تو دنیای مالی تست کردن. منظورم از NLP همون پردازش زبان طبیعیه؛ یعنی کارهایی مثل فهمیدن احساسات، دستهبندی متنها و این حرفا. شش کاری که بررسی کردن ایناست:
۱. Sentiment Analysis یا همون تشخیص احساسات توی متن، مثلاً بفهمه اخبار بورس مثبته یا منفی.
۲. Text Classification یعنی دستهبندی خودکار متنها.
۳. Named Entity Recognition یعنی پیدا کردن اسم شرکتها، بانکها یا افراد توی متن (یه جورایی مثل هایلایت کردن اسم آدمها یا برندها تو متن!).
۴. Financial Question Answering یا همون جواب دادن به سوالات مالی که مربوط به اعداد و دادههاس (یه چیزی مثل چتبات مالی).
۵. Text Summarization یعنی خلاصه کردن گزارشهای طولانی مالی.
۶. Stock Movement Prediction، پیش بینی اینکه یه سهم قراره بره بالا یا بیاد پایین.
حالا بیاین ببینیم فینجیپیتی تو این کارا چه نمرهای گرفته؟
جالب اینجاست که تو کارهایی مثل تشخیص احساسات (Sentiment Analysis) و دستهبندی تیتر خبرها، تقریباً دوش به دوش مدل خفن GPT-4 کار کرده! یعنی وقتی بحث سر دستهبندی یا طبقهبندی مشخص باشه، فینجیپیتی خیلی خوب جواب میده و نزدیک به بهترین مدلاست. ولیییی… وقتی کار پیچیدهتر میشه، مثلاً باید یه سوال دقیق مالی رو جواب بده یا خلاصه مفهومی یه متن مالی بلند رو بنویسه، اینجا دیگه مدل کم میاره و نتایجش خیلی پایینتر از جیپیتی-۴ و حتی آدما درمیاد.
مثلاً تو جواب دادن به سوالات مالی که نیاز به استدلال و دقت عددی داره، فینجیپیتی خیلی خطا داره. اینجا پای دقت عددی یا Numerical Accuracy وسطه، یعنی اینکه مدل بتونه اعداد و حساب کتابهای مالی رو دقیق بفهمه و اشتباه نکنه. تو این زمینه، همچنان جیپیتی-۴ و حتی آدمای حرفهای خیلی جلوترن.
یه نتیجه خیلی مهم که از این تحقیق گرفتن اینه: فینجیپیتی واسه یه سری کارهای مشخص خیلی جواب میده، ولی مثلاً نمیشه همه کارهای مالی رو سپرد دست این مدل و بیخیال شد. مثلاً شاید بشه باهاش اخبار بورس رو سریع دستهبندی کرد یا سریع از یه گزارش بلند یه خلاصه اولیه درآورد، ولی وقتی باید عمیقتر فهمید یا به سوالات سخت مالی جواب داد، فعلاً نمیتونه جای آدما یا مدلهای خیلی پیشرفته رو بگیره.
خلاصه اینکه این تحقیق یه جورایی یه معیار یا Benchmark درست کرده واسه هوش مصنوعیهایی که تو حوزه مالی کار میکنن. مثلاً Benchmark یعنی یه جور خطکش یا استاندارد برای مقایسه قدرت مدلها. همین نتیجهها نشون میده هنوز باید روی ساختار این مدلها و بهینهسازیشون برای کارهای تخصصی مالی، بیشتر کار بشه.
آخرش میخوام بگم: FinGPT یه مدل قوی برای بعضی وظایف روتین و دستهبندی تو دنیای مالیه، ولی هنوز یک مدل همهفنحریف محسوب نمیشه. پس واسه آینده باید مدلها رو هوشمندتر و دقیقتر بسازن تا واقعاً بتونن همه کارای پیچیده دنیای مالی رو هندل کنن!
اگه دنبال کار کردن با این مدلها هستین یا تو حوزه مالی فعالیت میکنین، این مقاله براتون میتونه خیلی راهنمای خوبی باشه تا بدونین دقیقاً مدلها کجاها قویان و کجاها انتظار معجزه نداشته باشین.
منبع: +