فراتر از ریاضی و کدنویسی: چارچوب یادگیری تقویتی جدید به آموزش عامل‌های مدل زبان بزرگ برای وظایف پیچیده و دنیای واقعی کمک می‌کند.

محققان دانشگاه علم و فناوری چین یک چارچوب یادگیری تقویتی (RL) جدید به نام Agent-R1 توسعه داده‌اند که به آموزش مدل‌های زبان بزرگ (LLM) برای وظایف پیچیده عاملی فراتر از مسائل خوش‌تعریف مانند ریاضی و کدنویسی کمک می‌کند. این چارچوب با الگوریتم‌های یادگیری تقویتی محبوب سازگار است و بهبود قابل توجهی در وظایف استدلال که نیازمند مراحل متعدد بازیابی و تعاملات چند دوره‌ای با ابزارها هستند، نشان می‌دهد. این چارچوب بر اساس بازتعریف پارادایم یادگیری تقویتی ساخته شده است که ماهیت پویا کاربردهای عاملی را که نیازمند تعامل با محیط‌های در حال تکامل و اطلاعات ناقص هستند، در نظر می‌گیرد. این چارچوب‌بندی بسیار شبیه به کاربردهای دنیای واقعی است و می‌تواند کاربردهای مهمی برای وظایف عاملی در محیط‌های سازمانی داشته باشد.

بازاندیشیدن یادگیری تقویتی برای عامل‌ها یادگیری تقویتی به سنگ بنای آموزش LLMها برای وظایف استدلال خوش‌تعریف تبدیل شده است. در زمینه‌هایی مانند ریاضیات و کدنویسی، مدل یک سیگنال واضح دریافت می‌کند: پاسخ درست یا غلط است. این امر پاداش دادن یا مجازات رفتار آن را نسبتاً آسان می‌کند. اما این رویکرد در انجام وظایف عاملی که نیازمند کارکردن مدل‌ها در محیط‌های تعاملی، توسعه حافظه‌های پویا در طول مکالمات، انجام استدلال چند مرحله‌ای و پاسخ به بازخورد غیرقابل پیش‌بینی است، با مشکل مواجه می‌شود. آموزش عامل‌ها با استفاده از یادگیری تقویتی برای این سناریوها چالش‌های منحصربه‌فردی را به همراه دارد، به‌ویژه در تعاملات چند دوره‌ای که طراحی پاداش‌های مؤثر پیچیده است و عامل آموزش‌دیده اغلب با...