راهی جدید برای افزایش قابلیت‌های مدل‌های زبان بزرگ.
بیشتر زبان‌ها از جایگاه کلمات و ساختار جمله برای استخراج معنا استفاده می‌کنند. برای مثال، "گربه روی جعبه نشست" با "جعبه روی گربه بود" یکسان نیست. در یک متن طولانی، مانند سند مالی یا رمان، نحو این کلمات احتمالاً تکامل می‌یابد. به طور مشابه، یک فرد ممکن است متغیرها را در یک قطعه کد ردیابی کند یا دستورالعمل‌هایی را دنبال کند که اقدامات شرطی دارند. این‌ها نمونه‌هایی از تغییرات حالت و استدلال ترتیبی هستند که انتظار داریم سیستم‌های هوش مصنوعی پیشرفته در آن‌ها عالی عمل کنند. با این حال، مکانیسم توجه پیشرو در ترانسفورمرها – معماری اصلی مورد استفاده در مدل‌های زبان بزرگ (LLM) برای تعیین اهمیت کلمات – محدودیت‌های نظری و تجربی در این زمینه دارد.
مکانیسم توجه به یک LLM اجازه می‌دهد تا به قسمت‌های قبلی یک پرس و جو یا سند نگاه کند و بر اساس آموزش خود، تعیین کند که کدام جزئیات و کلمات مهم‌تر هستند. با این حال، این مکانیسم به تنهایی ترتیب کلمات را درک نمی‌کند. این مکانیسم تمام کلمات ورودی، که به آن‌ها توکن نیز گفته می‌شود، را به طور همزمان "می‌بیند" و آن‌ها را به ترتیبی که ارائه شده‌اند، پردازش می‌کند. به همین دلیل، محققان تکنیک‌هایی برای رمزگذاری اطلاعات موقعیت ایجاد کرده‌اند. این موضوع برای حوزه‌هایی که به شدت ساختاریافته هستند، مانند زبان، کلیدی است. اما روش غالب رمزگذاری موقعیت، که به آن رمزگذاری موقعیت چرخشی (RoPE) گفته می‌شود، فقط فاصله نسبی بین توکن‌ها را در یک دنباله در نظر می‌گیرد و از داده‌های ورودی مستقل است. این بدان معناست که