چارچوب جدید گوگل به عامل‌های هوش مصنوعی کمک می‌کند تا بودجه محاسباتی و ابزار خود را عاقلانه‌تر خرج کنند.
در یک مقاله جدید که به مطالعه استفاده از ابزار در عامل‌های مدل زبانی بزرگ (LLM) می‌پردازد، محققان گوگل و UC Santa Barbara چارچوبی را توسعه داده‌اند که به عامل‌ها امکان می‌دهد تا از بودجه ابزار و محاسبات به طور موثرتری استفاده کنند. محققان دو تکنیک جدید را معرفی می‌کنند: یک «ردیاب بودجه» ساده و یک چارچوب جامع‌تر به نام «مقیاس‌بندی آگاه از بودجه». این تکنیک‌ها عامل‌ها را از میزان بودجه باقی‌مانده برای استدلال و استفاده از ابزار آگاه می‌کنند.
با تکیه عامل‌های هوش مصنوعی بر فراخوانی ابزار برای کار در دنیای واقعی، مقیاس‌بندی در زمان تست دیگر به معنای مدل‌های هوشمندتر نیست، بلکه بیشتر به کنترل هزینه و تاخیر مربوط می‌شود. برای رهبران و توسعه‌دهندگان سازمانی، تکنیک‌های مقیاس‌بندی آگاه از بودجه، مسیری عملی برای استقرار عامل‌های هوش مصنوعی موثر را بدون مواجهه با هزینه‌های غیرقابل پیش‌بینی یا کاهش بازده سرمایه‌گذاری در هزینه‌های محاسباتی ارائه می‌دهند.
چالش مقیاس‌بندی استفاده از ابزار، مقیاس‌بندی سنتی در زمان تست بر روی اجازه دادن به مدل‌ها برای «فکر کردن» بیشتر تمرکز دارد. با این حال، برای وظایف عاملی مانند مرور وب، تعداد فراخوانی ابزار به طور مستقیم عمق و گستردگی اکتشاف را تعیین می‌کند. این امر هزینه‌های عملیاتی قابل توجهی را برای کسب و کارها به همراه دارد. Zifeng Wang و Tengxiao Liu، نویسندگان مشترک این مقاله، به VentureBeat گفتند: «فراخوانی ابزار مانند مرور صفحات وب منجر به مصرف توکن‌های بیشتر، افزایش طول متن و ایجاد تاخیر زمانی اضافی می‌شود.» «فراخوانی ابزار به خودی خود هزینه‌های API اضافی را به همراه دارد.»