مطالعه‌ای از MIT نشان می‌دهد که مدل‌های زبان بزرگ (LLM) گاهی اوقات درس‌های اشتباهی می‌گیرند. به جای پاسخ دادن به یک پرس و جو بر اساس دانش تخصصی، یک LLM می‌تواند با استفاده از الگوهای گرامری که در طول آموزش آموخته است، پاسخ دهد. این موضوع می‌تواند باعث شود که یک مدل هنگام استقرار در وظایف جدید به طور غیرمنتظره‌ای شکست بخورد. محققان دریافتند که مدل‌ها می‌توانند به اشتباه الگوهای خاصی از جملات را به موضوعات خاصی مرتبط کنند، بنابراین یک LLM ممکن است با تشخیص عبارات آشنا به جای درک سوال، پاسخ قانع‌کننده‌ای ارائه دهد. آزمایش‌های آن‌ها نشان داد که حتی قدرتمندترین LLMها نیز می‌توانند این اشتباه را مرتکب شوند. این نقص می‌تواند قابلیت اطمینان LLMهایی را که وظایفی مانند رسیدگی به درخواست‌های مشتری، خلاصه کردن یادداشت‌های بالینی و تولید گزارش‌های مالی را انجام می‌دهند، کاهش دهد. این موضوع همچنین می‌تواند خطرات ایمنی به همراه داشته باشد. یک بازیگر مخرب می‌تواند از این موضوع سوء استفاده کند و LLMها را فریب دهد تا محتوای مضر تولید کنند، حتی اگر مدل‌ها دارای محافظت‌هایی برای جلوگیری از چنین پاسخ‌هایی باشند. پس از شناسایی این پدیده و بررسی پیامدهای آن، محققان یک روش ارزیابی ایجاد کردند تا میزان تکیه یک مدل بر این همبستگی‌های نادرست را ارزیابی کنند. این روش می‌تواند به توسعه‌دهندگان کمک کند تا مشکل را قبل از استقرار LLMها کاهش دهند. مرزیه قاسمی می‌گوید: «این یک محصول جانبی نحوه آموزش مدل‌ها است، اما مدل‌ها اکنون در حوزه‌های حیاتی ایمنی بسیار فراتر از وظایفی که این حالت‌های شکست نحوی را ایجاد کرده‌اند، به صورت عملی استفاده می‌شوند. اگر با آموزش مدل آشنا نیستید، این احتمالاً غیرمنتظره خواهد بود.»