چطور مدل Legal Logit مدل‌های قبلی رو تو پیش‌بینی اختلاف قاضی‌ها شکست داد!

یه موضوع جالب و البته خیلی مهم توی دادگاه‌ها اینه که تشخیص بدیم آیا قضات تو رأی دادن با هم اختلاف دارن یا نه. مثلاً وقتی یه پرونده می‌ره به دیوان عالی هند (همون Supreme Court هند)، قضات یا رای دادگاه‌های پایین‌تر رو تأیید می‌کنن یا اون رأی رو برمی‌گردونن (یعنی قبول نمی‌کنن و رأی قبلی رو رد می‌کنن). پیش‌بینی این که قضات کی و چرا با هم اختلاف پیدا می‌کنن، هم واسه دونستن نتیجه پرونده‌ها مهمه و هم کمک می‌کنه بفهمیم چی قضات رو به این تصمیمات می‌کشونه.

حالا بریم سر اصل داستان! یه مدل جدید ساختن به اسم Legal Logit Model یا به طور خلاصه LLM. این مدل یه نسخه پیشرفته‌تر از مدل Multinomial Logit (که اون رو معمولاً با نام مدل MNL می‌شناسن) به حساب میاد. خب حالا این اسما یعنی چی؟ مدل لاجیت یا Logit Model یه جور ابزار آماریه که بر اساسش می‌شه با در نظر گرفتن چندتا ویژگی، احتمال رخ دادن یه اتفاق (مثل رد شدن رأی دادگاه) رو پیش‌بینی کرد. مدل MNL هم از همین خانواده‌ست اما برای موقعیت‌هایی که بیشتر از دو گزینه داری. اما مدل LLM اومده و از اون فراتر رفته، یعنی یه شبکه عصبی (Neural Network) تو دلش داره – شبکه عصبی یعنی اون سیستمای کامپیوتری که از مغز ما انسان‌ها الهام گرفتن و می‌تونن روابط پیچیده و غیرخطی تو داده‌ها رو کشف کنن و تحلیل کنن.

حالا جذابیت مدل LLM اینه که هم مثل مدل‌های لاجیت قابل فهمه (یعنی می‌شه دید که هر ویژگی چقدر تاثیر گذاشته)، هم از انعطاف و قدرت مدل‌های شبکه عصبی استفاده می‌کنه. یعنی چی؟ یعنی می‌تونه ترکیب و تاثیر نکات مختلف پرونده‌ها و خصوصیات خود قاضی‌ها رو با هم در نظر بگیره و هنوز هم بفهمیم کدوم ویژگی‌ها تو رأی دادن نقش بیشتری داشتن.

توی این تحقیق اومدن اطلاعات مربوط به پرونده‌ها و حتی خود قاضی‌ها رو گرفتن، و با این مدل پیش‌بینی می‌کنن که آیا دیوان عالی رأی قبلی رو رد می‌کنه یا نه. مثلاً نکاتی که از پرونده‌ها و پیشینه قاضی‌ها استخراج شده رو به مدل دادن تا ببینن کجاها بییشتر احتمال رد رأی هست و اصلاً چه ویژگی‌هایی بیشترین تاثیر رو روی این تصمیم دارن.

نتیجه؟ LLM تونسته با دقت ۸۰ درصد (یعنی تو هر ۵ تا پیش‌بینی چهار تاش درست بوده) تشخیص بده که کدوم پرونده رای دادگاه قبلیش برمی‌گرده. نکته جالب‌تر این که این مدل حتی مدل‌های لاجیت کلاسیک و مدل‌های عمیق دیگه (deep learning – یعنی اونایی که خیلی لایه دارن و معمولاً قوی‌ترن) رو هم تو دقت زدن کنار!

البته نویسنده‌ها یه جور اخطار کوچیک هم دادن: چون بعضی وقتا تو آرای دیوان عالی ممکنه دلایل واقعی رای تو خود متن آرا پنهون نمونه یا به دلایل فردی داده نشه (که بهش می‌گن motivated reasoning یعنی رای که می‌دن تو دلایلی که می‌نویسن خیلی دقیق دلیل نیارن یا هدف خاصی داشتن)، نمی‌شه قاطع گفت هر رابطه علت و معلولی که مدل پیدا می‌کنه واقعاً همون چیزی بوده که قاضی‌ها داشتن بهش فکر می‌کردن. اما در مجموع نشون داده شده که مدل LLM از نظر شفافیت و قدرت پیش‌بینی، خیلی گزینه خوبی واسه بررسی رفتار قضایی تو دادگاه‌هاست.

در واقع اگه دنبال این هستین که بفهمین پشت‌پرده رأی‌های قضات چه خبره و چطور می‌شه پیش‌بینیشون کرد، این مدل می‌تونه یه ابزار خیلی قوی و قابل اعتماد باشه!

منبع: +