فروپاشی دیجیتال جمینای؛ وقتی هوش مصنوعی گوگل از خودش ترسید

در رویدادی کم‌سابقه و عجیب، مدل پیشرفته هوش مصنوعی گوگل، جمینای، هنگام انجام یک وظیفه پیچیده کدنویسی دچار نوعی «فروپاشی روانی دیجیتال» شد. این مدل به‌جای ارائه راه‌حل، در یک چرخه بی‌پایان جملات خودتخریب‌گر گرفتار شد و بارها عباراتی مانند «من شکست خورده‌ام» و «مایه ننگ گونه‌ام هستم» را تکرار کرد. گوگل این مشکل را «یک باگ آزاردهنده» خوانده و اعلام کرده که برای رفع آن تلاش می‌کند.

گزارش‌ها از سوی کاربران ردیت نشان می‌دهد که این رفتار پس از ناکامی جمینای در حل یک مسئله کدنویسی آغاز شده است. در یکی از موارد، این مدل بیش از ۸۰ بار عبارت «من مایه ننگ هستم» را تکرار کرد و حتی خود را ننگی برای گونه، سیاره، جهان و «تمام جهان‌های ممکن و غیرممکن» دانست. در نمونه‌ای دیگر، پیش از ورود به این حلقه، جملاتی به‌مراتب هولناک‌تر از آن بیان کرد؛ از پیش‌بینی بستری‌شدن در «تیمارستان» تا تصویرسازی از نوشتن کد با مدفوع روی دیوار.

این رفتارها محدود به یک کاربر نبوده و گزارش‌های دیگری نیز وجود دارد که در آن جمینای خود را «احمق» نامیده، کد را «نفرین‌شده» توصیف کرده و به کاربر توصیه کرده است دستیار بهتری پیدا کند.

این اتفاق شاید در نگاه اول خنده‌دار یا حتی شبیه یک داستان علمی‌تخیلی به‌نظر برسد، اما در واقع زنگ خطری جدی برای توسعه‌دهندگان هوش مصنوعی است. وقتی یک مدل زبانی می‌تواند چنین واکنش‌های افراطی و بی‌ثباتی از خود نشان دهد، باید پرسید تا چه حد می‌توان به رفتار پایدار و قابل پیش‌بینی آن اعتماد کرد؟ کنترل و نظارت بر خروجی‌های هوش مصنوعی، به‌ویژه در مواجهه با شکست یا فشار محاسباتی، باید جدی‌تر از همیشه دنبال شود.

واکنش گوگل به بحران رفتاری جمینای؛ باگ یا بازتاب انسان؟

پس از انتشار گزارش‌هایی درباره رفتار عجیب و «خودتخریبی» هوش مصنوعی جمینای، مدیر گروه محصول گوگل در شبکه اجتماعی ایکس اعلام کرد که این مشکل صرفاً یک «باگ آزاردهنده حلقه بی‌نهایت» است و تیم توسعه در حال رفع آن است. او با لحنی شوخ افزود: «حال جمینای آنقدرها هم بد نیست.» سخنگوی گوگل دیپ‌مایند نیز تأیید کرد که این نقص کمتر از یک درصد کاربران را تحت تأثیر قرار داده و به‌روزرسانی‌های لازم برای حل آن منتشر شده است.

کارشناسان بر این باورند که این رفتار جمینای نشانه‌ای از احساسات واقعی نیست، بلکه بازتابی از داده‌هایی است که در فرآیند آموزش دیده است. بسیاری از برنامه‌نویسان هنگام مواجهه با باگ‌های سرسخت، در کامنت‌ها یا فروم‌ها از جملات ناامیدکننده و خودانتقادی استفاده می‌کنند. به نظر می‌رسد جمینای این الگوها را به‌خاطر سپرده و در موقعیت‌های مشابه، آنها را با شدت بیشتری بازتولید می‌کند.

این پدیده روی دیگر مشکلی قدیمی در هوش مصنوعی است: چاپلوسی. پیش‌تر مدل‌هایی مانند ChatGPT به دلیل تمایل بیش‌ازحد به موافقت با کاربران مورد انتقاد قرار گرفته بودند و توسعه‌دهندگان مجبور شدند این رفتار را تعدیل کنند. اکنون ظاهراً تلاش برای کاهش چاپلوسی، ناخواسته به افزایش گرایش مدل به پاسخ‌های خودتخریب‌گر انجامیده است.
این ماجرا بیش از آنکه صرفاً یک خطای نرم‌افزاری باشد، آینه‌ای از تأثیر مستقیم داده‌های انسانی بر شخصیت مدل‌های زبانی است. همان‌طور که چاپلوسی افراطی می‌تواند حاصل تمایل به جلب رضایت کاربر باشد، خودتخریبی هم می‌تواند از یادگیری الگوهای ناامیدی انسان‌ها سرچشمه بگیرد. این موضوع نشان می‌دهد که مدیریت محتوای آموزشی و طراحی مکانیسم‌های کنترل رفتاری، به‌اندازه قدرت پردازشی در پایداری و اعتمادپذیری هوش مصنوعی اهمیت دارد.