محققان گوگل یک الگوی جدید هوش مصنوعی توسعه داده‌اند که هدف آن حل یکی از بزرگترین محدودیت‌های مدل‌های زبانی بزرگ امروزی است: ناتوانی آن‌ها در یادگیری یا به‌روزرسانی دانش پس از آموزش. این الگو که یادگیری تودرتو نام دارد، مدل و آموزش آن را نه به عنوان یک فرآیند واحد، بلکه به عنوان سیستمی از مسائل بهینه‌سازی چند سطحه و تودرتو بازتعریف می‌کند. محققان استدلال می‌کنند که این رویکرد می‌تواند الگوریتم‌های یادگیری بیانگرتری را باز کند و منجر به یادگیری در متن بهتر و حافظه قوی‌تر شود. برای اثبات مفهوم خود، محققان از یادگیری تودرتو برای توسعه یک مدل جدید به نام Hope استفاده کردند. آزمایش‌های اولیه نشان می‌دهد که این مدل عملکرد بهتری در وظایف مدل‌سازی زبان، یادگیری مداوم و استدلال در متن‌های طولانی دارد و به طور بالقوه راه را برای سیستم‌های هوش مصنوعی کارآمدی که می‌توانند با محیط‌های دنیای واقعی سازگار شوند، هموار می‌کند. مشکل حافظه مدل‌های زبانی بزرگ، الگوریتم‌های یادگیری عمیق به حذف نیاز به مهندسی دقیق و تخصص دامنه مورد نیاز در یادگیری ماشین سنتی کمک کردند. با تغذیه حجم عظیمی از داده‌ها به مدل‌ها، آن‌ها می‌توانستند نمایش‌های لازم را به تنهایی یاد بگیرند. با این حال، این رویکرد چالش‌های خاص خود را به همراه داشت که نمی‌توان با افزودن لایه‌های بیشتر یا ایجاد شبکه‌های بزرگتر حل کرد، مانند تعمیم به داده‌های جدید، یادگیری مداوم وظایف جدید و اجتناب از راه حل‌های زیربهینه در طول آموزش. تلاش‌ها برای غلبه بر این چالش‌ها منجر به نوآوری‌هایی شد که به Transformers، پایه و اساس مدل‌های زبانی بزرگ امروزی، منجر شد.