مطالعه: پلتفرم‌هایی که جدیدترین مدل‌های زبان بزرگ را رتبه‌بندی می‌کنند، ممکن است غیرقابل اعتماد باشند.

یک شرکت که می‌خواهد از یک مدل زبان بزرگ (LLM) برای خلاصه کردن گزارش‌های فروش یا دسته‌بندی درخواست‌های مشتری استفاده کند، می‌تواند از بین صدها مدل منحصربه‌فرد با ده‌ها نوع مختلف، که هر کدام عملکردی اندکی متفاوت دارند، انتخاب کند. برای محدود کردن این انتخاب، شرکت‌ها اغلب به پلتفرم‌های رتبه‌بندی LLM متکی می‌شوند که بازخورد کاربران در مورد تعامل با مدل‌ها را جمع‌آوری می‌کنند تا آخرین LLMها را بر اساس عملکردشان در وظایف خاص رتبه‌بندی کنند. اما محققان MIT دریافتند که تعداد کمی تعامل کاربر می‌تواند نتایج را منحرف کند و باعث شود کسی به اشتباه تصور کند که یک LLM انتخاب ایده‌آل برای یک مورد استفاده خاص است. مطالعه آن‌ها نشان می‌دهد که حذف کسری اندکی از داده‌های جمع‌آوری‌شده از طریق منابع مردمی می‌تواند رتبه‌بندی مدل‌های برتر را تغییر دهد. آن‌ها روشی سریع برای آزمایش پلتفرم‌های رتبه‌بندی و تعیین اینکه آیا در برابر این مشکل آسیب‌پذیر هستند یا خیر، توسعه داده‌اند. این تکنیک ارزیابی، رای‌های منفردی را که بیشترین مسئولیت را در انحراف نتایج دارند، شناسایی می‌کند تا کاربران بتوانند این رای‌های تأثیرگذار را بررسی کنند. محققان می‌گویند این کار بر نیاز به استراتژی‌های دقیق‌تر برای ارزیابی رتبه‌بندی مدل‌ها تأکید می‌کند. اگرچه آن‌ها در این مطالعه بر کاهش اثرات منفی تمرکز نکردند، اما پیشنهاداتی ارائه می‌دهند که ممکن است استحکام این پلتفرم‌ها را بهبود بخشد، مانند جمع‌آوری بازخورد دقیق‌تر برای ایجاد رتبه‌بندی‌ها. این مطالعه همچنین هشداری را به کاربرانی ارائه می‌دهد که ممکن است برای تصمیم‌گیری در مورد LLMهایی که می‌توانند تأثیرات گسترده و پرهزینه‌ای بر یک کسب‌وکار یا سازمان داشته باشند، به رتبه‌بندی‌ها متکی شوند. «ما شگفت‌زده شدیم که این پلتفرم‌های رتبه‌بندی