اگه تا حالا شده یه عکس سیاهسفید قدیمی ببینی و با خودت فکر کنی چطوری میشه اینو شبیه عکسهای امروزی رنگی کرد، باید بگم علم کامپیوتر و مخصوصاً حوزه بینایی ماشین کلی پیشرفت تو این زمینه داشته. اسم این کار تو دانش کامپیوتری “Image Colorization” هست؛ یعنی تبدیل عکسهای سیاهسفید به عکسهایی که واقعاً انگار از اول رنگی بودن.
تا چند سال پیش، رنگی کردن عکسا خیلی سخته بود و معمولاً به صورت دستی انجام میشد. ولی الان با هوش مصنوعی (همون AI که شنیدی این روزا همه جا حرفش هست) و مخصوصاً یه سری مدلهای خیلی خفن مثل GANها و diffusion models (مثلاً GAN یعنی Generative Adversarial Network، که دو تا هوش مصنوعی با هم رقابت میکنن تا بهترین نتیجه رو بسازن؛ diffusion model هم یه روش جدیده که میتونه تصاویر رو به طور تدریجی از نویز به شکل نهایی دربیاره)، این کار خیلی آسونتر شده و حتی خروجی خیلی طبیعیتر شده.
حالا بعضی از این مدلها بیشتر از صرفاً رنگی کردن ساده کار میکنن. مثلاً بعضیاشون به عکس «درک معنایی» میدن یعنی میتونن بفهمن این بخش از عکس صورت آدمه، یا اینجا آسمونه، بعد بر اساس اون اطلاعات، رنگ مناسب رو انتخاب میکنن. یه چیز دیگهی باحال هم اینه که بعضی مدلها قابلیت user-guided control دارن. یعنی کاربر میتونه به مدل بگه مثلاً دلم میخواد رنگ لباس این آدم سبز باشه! یا به مدل کمک کنه حدس بهتری بزنه.
با این همه آپدیت، چندتا تکنیک خاص هم به چشم میخوره؛ مثلاً semantic class distribution learning یعنی مدل بفهمه هر بخش عکس به چه دسته معناییای تعلق داره و رنگ مخصوص همون رو بزنه. یا مثلاً bidirectional temporal fusion یعنی مدلهایی که اگه ویدیو باشه نه فقط هر فریم رو جدا جدا، بلکه فریمهای قبل و بعد رو هم تو رنگدهی درنظر میگیرن تا همه چی طبیعیتر بشه. instance-aware framework هم یعنی مدل بفهمه تو عکس چند تا شیء مختلف وجود داره (مثلاً دو نفر تو عکس هستن) و هر کدوم رو جدا جدا رنگی کنه.
حالا چطوری میفهمیم یه مدل واقعاً خوب کار میکنه یا نه؟ اینجاست که بحث معیارهای ارزیابی (evaluation metrics) پیش میاد. مثلاً PSNR و FID از متریکهایی هستن که میگن خروجی چقدر به حقیقت نزدیکه. PSNR یعنی Peak Signal-to-Noise Ratio که میزان نویز نسبت به سیگنال تو عکس رو میسنجه. FID یا Fréchet Inception Distance هم یه جور مقیاسه که خروجی هوش مصنوعی رو با عکسهای واقعی مقایسه میکنه ببینه چقدر شبیهن.
با همه این پیشرفتها هنوزم چالشهایی وجود داره؛ مثلاً multi-modal uncertainty یعنی اینکه برای یه قسمت از عکس شاید چند تا جواب درست برای رنگ وجود داشته باشه و مدل باید بینشون یکی رو انتخاب کنه (مثل موهای آدم: قهوهای، سیاه، بلوند؟). یا مثلاً بحث هزینه کامپیوتری، چون این مدلا خیلی سنگین و پرمصرفن و هر کسی نمیتونه راحت با لپتاپ معمولی اجراشون کنه. تازه، مسئله دیگر هم generalization هست یعنی مدلا گاهی رو یه سری عکس خوبن ولی رو عکسهای متفاوت ممکنه کم بیارن.
در کل، الان خیلی از مدلها دارن این مشکلات رو کمتر میکنن و پژوهشگرها شدیداً در حال کار روی بهبودش هستن. آیندهی رنگی کردن عکسها با هوش مصنوعی خیلی روشنه و انتظار میره هم کیفیت بیشتر بشه هم سرعت و دسترسیپذیری بهتر بشه. خلاصه اگه یه عکس قدیمی سیاهسفید داری و دوست داری ببینی به چه شکلی میتونست رنگی باشه، بدون که همین الان هم مدلهای جذابی براش ساخته شدن و روز به روز دارن بهتر میشن!
منبع: +
