برای افزایش دقت مدل‌های زبانی بزرگ (LLM) در پاسخ به سوالات دشوارتر، محققان می‌توانند به مدل اجازه دهند زمان بیشتری را صرف فکر کردن به راه‌حل‌های احتمالی کند. اما رویکردهای رایج که این قابلیت را به LLMها می‌دهند، بودجه محاسباتی ثابتی را برای هر مسئله، صرف نظر از پیچیدگی آن، تعیین می‌کنند. این بدان معناست که LLM ممکن است منابع محاسباتی را برای سوالات ساده‌تر هدر دهد یا نتواند مسائل پیچیده‌ای را که به استدلال بیشتری نیاز دارند، حل کند.

برای رفع این مشکل، محققان MIT روش هوشمندانه‌تری برای تخصیص تلاش محاسباتی در حین حل مسئله توسط LLM توسعه داده‌اند. روش آن‌ها به مدل اجازه می‌دهد تا بودجه محاسباتی خود را به‌طور پویا بر اساس سختی سوال و احتمال اینکه هر راه‌حل جزئی به پاسخ صحیح منجر شود، تنظیم کند.

محققان دریافتند که رویکرد جدید آن‌ها به LLMها اجازه می‌دهد تا از یک‌دوم محاسبات کمتری نسبت به روش‌های موجود استفاده کنند، در حالی که به دقت قابل مقایسه‌ای در طیف وسیعی از سوالات با سطوح دشواری مختلف دست یابند. علاوه بر این، روش آن‌ها به LLMهای کوچک‌تر و کم‌هزینه‌تر اجازه می‌دهد تا در مسائل پیچیده به خوبی یا حتی بهتر از مدل‌های بزرگ‌تر عمل کنند.

با بهبود قابلیت اطمینان و کارایی LLMها، به‌ویژه هنگام مواجهه با وظایف استدلالی پیچیده، این تکنیک می‌تواند مصرف انرژی سیستم‌های هوش مصنوعی مولد را کاهش دهد و استفاده از LLMها را در کاربردهای پرخطر و حساس به زمان ممکن سازد. «هزینه محاسباتی استنتاج به سرعت به یک گلوگاه اصلی برای ارائه مدل‌های پیشرو تبدیل شده است.»