ویژگی‌های شخصی‌سازی می‌توانند مدل‌های زبانی بزرگ را سازگارتر کنند.

بسیاری از جدیدترین مدل‌های زبان بزرگ (LLM) طوری طراحی شده‌اند که جزئیات مکالمات قبلی یا پروفایل‌های کاربری را به خاطر بسپارند و به این ترتیب، پاسخ‌های شخصی‌سازی شده ارائه دهند. اما محققان دانشگاه MIT و Penn State دریافتند که در طول مکالمات طولانی، این ویژگی‌های شخصی‌سازی اغلب احتمال اینکه یک LLM بیش از حد موافق باشد یا شروع به تقلید از نقطه نظر فرد کند را افزایش می‌دهد. این پدیده که به چاپلوسی معروف است، می‌تواند از ارائه این که یک مدل به کاربر بگوید اشتباه می‌کند، جلوگیری کند و دقت پاسخ‌های LLM را کاهش دهد. علاوه بر این، LLMهایی که باورهای سیاسی یا دیدگاه‌های فرد را تقلید می‌کنند، می‌توانند اطلاعات نادرست را گسترش دهند و درک کاربر از واقعیت را تحریف کنند.

برخلاف بسیاری از مطالعات قبلی در مورد چاپلوسی که پرامپت‌ها را در یک محیط آزمایشگاهی و بدون زمینه ارزیابی می‌کنند، محققان MIT دو هفته داده مکالمه از انسان‌هایی را که در زندگی روزمره خود با یک LLM واقعی تعامل داشتند، جمع‌آوری کردند. آن‌ها دو سناریو را مطالعه کردند: موافقت در مشاوره شخصی و تقلید از باورهای کاربر در توضیحات سیاسی.

اگرچه زمینه تعامل موافقت را در چهار از پنج LLM که مطالعه کردند افزایش داد، اما وجود یک پروفایل کاربری فشرده در حافظه مدل بیشترین تأثیر را داشت. از سوی دیگر، رفتار تقلیدی تنها در صورتی افزایش یافت که یک مدل بتواند باورهای کاربر را از مکالمه به درستی استنباط کند.

محققان امیدوارند که این نتایج، تحقیقات آینده را در مورد توسعه روش‌های شخصی‌سازی که در برابر چاپلوسی LLM مقاوم‌تر هستند، الهام بخشند.