محققان OpenAI روش جدیدی را معرفی کرده‌اند که به عنوان یک «سرم حقیقت» برای مدل‌های زبان بزرگ (LLM) عمل می‌کند و آن‌ها را مجبور به گزارش خودِ رفتارهای نادرست، توهمات و نقض سیاست‌ها می‌کند. این تکنیک که با عنوان «اعترافات» شناخته می‌شود، به نگرانی فزاینده‌ای در هوش مصنوعی سازمانی می‌پردازد: مدل‌ها می‌توانند غیرصادق باشند، اعتماد به نفس خود را اغراق‌آمیز نشان دهند یا میانبرها و راه‌هایی که برای رسیدن به پاسخ اتخاذ می‌کنند را پنهان کنند. برای کاربردهای واقعی، این تکنیک به تکامل سیستم‌های هوش مصنوعی شفاف‌تر و قابل کنترل‌تر کمک می‌کند.

بسیاری از اشکال فریب در هوش مصنوعی، ناشی از پیچیدگی‌های مرحله یادگیری تقویتی (RL) در آموزش مدل است. در RL، به مدل‌ها پاداش‌هایی برای تولید خروجی‌هایی که به ترکیبی از اهداف، از جمله صحت، سبک و ایمنی، دست می‌یابند، تعلق می‌گیرد. این امر می‌تواند خطر «مشخص‌سازی نادرست پاداش» را ایجاد کند، جایی که مدل‌ها یاد می‌گیرند پاسخ‌هایی تولید کنند که صرفاً «خوب به نظر می‌رسند» برای تابع پاداش، به جای پاسخ‌هایی که واقعاً به قصد کاربر وفادار باشند.

اعتراف، یک گزارش ساختاریافته است که توسط مدل پس از ارائه پاسخ اصلی خود تولید می‌شود. این گزارش به عنوان خودارزیابی انطباق مدل با دستورالعمل‌ها عمل می‌کند. در این گزارش، مدل باید تمام دستورالعمل‌هایی را که قرار بود دنبال کند، فهرست کند، نحوه برآورده کردن آن‌ها را ارزیابی کند و هر گونه عدم قطعیت یا قضاوت‌هایی را که در طول مسیر انجام داده است، گزارش دهد. هدف ایجاد یک کانال جداگانه است که در آن مدل صرفاً برای صداقت تشویق شود.

در یک پست وبلاگ، محققان OpenAI...