نگاهی باحال به تعمیم معنایی تئوری اطلاعات شنون و کاربردهاش

تا حالا شده فکر کنی این همه حرف از اطلاعات و داده‌ها و این چیزها می‌زنن، ولی وقتی پای معنی واقعی و مفهوم‌ها وسط میاد، اصلاً فرق می‌کنه؟ خب، داستان این مقاله دقیقاً همینه. یکی اومده بررسی کرده که آیا برای برقراری ارتباط معنایی (یعنی ارتباطی که فقط خود دیتا نیست، بلکه معنی و مفهومش هم مهمه) لازمه یه تئوری اطلاعات جدید بسازیم یا همون تئوری قدیمی شنون (همون نابغه‌ای که مفهوم اطلاعات رو برامون تعریف کرد) رو می‌شه کمی اپدیت کنیم؟

نویسنده‌های این مقاله میگن: جواب ساده‌ست، لازمه که تئوری شنون رو یه آپگرید معنایی بدیم! خودشون به این مدل جدید می‌گن G theory یا مدل «تعمیم‌یافته‌ی شنون».

بذارید ساده‌ترش کنم: تو مدل شنون، همه‌ چی با مفهوم «دستورشن» یا همون «تحریف» محاسبه میشه. یعنی هر چقدر اطلاعات بیشتر تحریف بشه (مثلاً نویز بیاد وسط یا انتقال اشتباه بشه)، اینو با اعداد و فرمول حساب می‌کنن. ولی تو دنیای ارتباط معنایی، بحث سر این نیست فقط نویز داشته باشیم یا نه، بلکه اصلِ داستان، معنی و تفسیر اطلاعاته.

اینجا بحث truth functions یا «توابع صدق» وسط میاد. این‌ها یه جور ابزار ریاضی‌ان که میان نشون میدن اطلاعاتمون چقدر با واقعیت ارتباط داره، معنی می‌ده یا تو تفسیر ما داره خوب کار می‌کنه یا نه.

یه نکته جذاب تو این مقاله اینه که اومدن گفتن: معیار بیشترین اطلاعات معنایی (maximum semantic information) در واقع همون معیار ماکسیمم لایکی‌هود (maximum likelihood criterion یعنی احتمال اینکه داده‌ی ما درست باشه ماکسیمم بشه) هست و حتی شباهت‌هایی به یه روشی به اسم رگولارایزد لینست اسکوئرز (Regularized Least Squares یعنی یه شیوه واسه پیدا کردن بهترین حالت با کمترین خطا، و پیچوندن اطلاعات اضافی) هم داره.

کاربردایی که برای G theory معرفی کردن خیلی جالبه. از روزمره و ارتباط انسانی ساده بگیر، تا ارتباطات الکترونیکی، بحث‌های یادگیری ماشین (Machine Learning یعنی آموزش کامپیوترها برای یاد گرفتن چیزها از روی داده)، کنترل محدودیت‌ها (Constraint Control یعنی اینکه یه سیستمی فقط با قوانینی که براش گذاشتن کار کنه)، تایید بیزی (Bayesian Confirmation یعنی روش‌هایی که با احتمال، درست بودن یه فرضیه رو چک می‌کنن)، حتی انتخاب سبد سهام (portfolio theory یعنی چیدمان بهینه‌ی سرمایه‌گذاری) و بررسی ارزش اطلاعات.

توی یادگیری ماشین، این مدل جدید کمک می‌کنه به مسائلی مثل یادگیری چند برچسبی (multilabel learning یعنی وقتی یه موضوع چندین جواب درست داره)، دسته‌بندی با بیشترین اطلاعات مشترک (Maximum Mutual Information Classification)، مدل‌های ترکیبی (mixture models یعنی ترکیب چند مدل مختلف برای رسیدن به یه نتیجه بهتر)، و حل متغیرهای پنهان (latent variables یعنی اون عوامل مخفی که تو داده‌ها هستن اما مستقیم نمی‌بینیشون).

یه قسمت خیلی جالب دیگه هم اینه که نویسنده‌ها از توی فیزیک آماری (statistical physics یعنی همون دانشی که رفتار مجموعه‌های عظیم ذرات رو تحلیل می‌کنه) الهام گرفتن. مثلاً میگن اطلاعات شنون شبیه Free Energy یا «انرژی آزاد» هست؛ اطلاعات معنایی هم شبیه انرژی آزاد توی سیستم‌های تعادل محلی. راندمان اطلاعاتی (information efficiency) هم شبیه راندمان انرژی آزاد برای انجام کار مفید تعریف میشه.

تازه یه پیشنهاد جالب هم دادن که اصل مینیمم انرژی آزاد فریستون (Friston’s minimum free energy principle یعنی توی مغز و سیستم‌های هوشمند، کمترین مصرف انرژی برای بیشترین کارایی) رو میشه با اصل بیشترین کارایی اطلاعاتی (maximum information efficiency principle) جایگزین کنیم.

در نهایت، G theory رو با بقیه تئوری‌های اطلاعات معنایی مقایسه کردن و یه ایراد هم گفتن: فعلاً نمی‌تونه معنای بعضی داده‌های خیلی پیچیده رو به خوبی نشون بده.

خلاصه، اگه می‌خواید بفهمید چطور میشه معنی و مفهوم اطلاعات رو توی ارتباطات وارد فرمول‌ها و تئوری‌ها کنیم و پای هوش مصنوعی و فیزیک و حتی سرمایه‌گذاری رو هم وسط بکشیم، این مقاله کلی ایده باحال داره!

منبع: +