شرکت OpenAI بهتازگی مقالهای منتشر کرده که دلایل پدیده معروف به توهم زدن هوش مصنوعی را بررسی میکند و همزمان مجموعهای از راهکارها برای کاهش این مشکل ارائه داده است. چتباتهای هوش مصنوعی اکنون در کلاسهای درس، محیطهای کاری و زندگی روزمره نقش فعال دارند، اما هنوز با یک نقص مهم روبهرو هستند: گاهی اطلاعات نادرست و ساختگی ارائه میدهند که اصطلاحاً به آن «توهم» گفته میشود. این مطالب اغلب بسیار قانعکننده به نظر میرسند، اما در واقعیت صحت ندارند و میتوانند موجب سردرگمی یا تصمیمگیری اشتباه کاربران شوند.
OpenAI اعلام کرده که اکنون دلیل اصلی ایجاد این توهمات را درک کرده و بر اساس یافتههای خود، رویکردهایی طراحی کرده که میتواند ابزارهای هوش مصنوعی آینده را قابلاعتمادتر کند. این مقاله ۳۶ صفحهای با همکاری «سانتوش ومپالا» از دانشگاه جورجیا تک و چند پژوهشگر دیگر تهیه شده و بهطور جامع به علل و پیامدهای پدیده توهم در مدلهای زبان و چتباتها میپردازد.
کشف دلیل توهم زدن هوش مصنوعی و ارائه راهکار عملی توسط OpenAI گامی مهم در مسیر اعتمادسازی به فناوریهای مبتنی بر هوش مصنوعی است. این حرکت نهتنها میتواند کیفیت پاسخهای چتباتها را ارتقا دهد، بلکه به کاربران و صنایع مختلف اطمینان میدهد که میتوانند بر ابزارهای هوشمند خود در تصمیمگیریها و آموزشها اتکا کنند. با رفع این مشکل، هوش مصنوعی نه تنها کاربردیتر خواهد شد، بلکه اعتبار آن در میان مخاطبان نیز افزایش چشمگیری خواهد یافت.
بازنگری در سیستم پاداشدهی؛ راهکاری عملی برای کاهش توهم در هوش مصنوعی
محققان OpenAI توضیح میدهند که توهمات هوش مصنوعی لزوماً ناشی از ضعف طراحی مدل نیست، بلکه بیشتر به نحوه آزمون و رتبهبندی سیستمها مربوط میشود. در چارچوب معیارهای فعلی، یک چتبات حتی اگر پاسخ اشتباه بدهد، به دلیل ارائه جواب پاداش میگیرد، در حالی که مدلهایی که با عدم اطمینان پاسخ نمیدهند، تنبیه میشوند. این رویکرد را میتوان مانند یک امتحان چندگزینهای تصور کرد که دانشآموز را به حدسزدن پاسخ تشویق میکند، بهجای آنکه سؤال را بیپاسخ بگذارد.
برای حل این مشکل، مقاله OpenAI پیشنهاد میکند سیستم امتیازدهی معکوس شود: پاسخهای اشتباه اما با اعتمادبهنفس بالا باید جریمه شوند، در حالی که پاسخهای محتاطانه یا اذعان به نداشتن قطعیت باید پاداش داده شوند. نتایج اولیه این رویکرد امیدوارکننده بوده است؛ در یک آزمایش، مدل محتاط تنها به نیمی از پرسشها پاسخ داد، اما ۷۴ درصد پاسخهایش صحیح بود، در حالی که مدل دیگر تقریباً به همه پرسشها پاسخ داد و در سه مورد از هر چهار بار دچار توهم شد.
این رویکرد تغییر اساسی در نحوه آموزش و ارزیابی مدلهای هوش مصنوعی ایجاد میکند. با تشویق به احتیاط و صداقت مدلها به جای حدسزدن بیملاحظه، میتوان سطح اعتماد کاربران به چتباتها و سیستمهای هوشمند را بهشدت افزایش داد. چنین استراتژیای نه تنها خطای پاسخهای تولیدی را کاهش میدهد، بلکه کیفیت تعامل انسانی با هوش مصنوعی را نیز بهبود میبخشد و آن را به ابزار قابل اطمینانتری تبدیل میکند.