چرا عبور از معیارهای یادگیری ماشین بیش از حد تجمیع‌شده ضروری است.

محققان MIT نمونه‌های قابل توجهی از شکست مدل‌های یادگیری ماشین را هنگام اعمال آن‌ها به داده‌هایی غیر از داده‌هایی که با آن‌ها آموزش داده شده‌اند، شناسایی کرده‌اند. این موضوع سوالاتی را در مورد نیاز به آزمایش هر زمان که مدلی در یک محیط جدید مستقر می‌شود، مطرح می‌کند.

مرضیه قاسمی، دانشیار بخش مهندسی برق و علوم کامپیوتر (EECS) MIT، عضو موسسه مهندسی پزشکی و علوم و محقق اصلی در آزمایشگاه اطلاعات و سیستم‌های تصمیم‌گیری، می‌گوید: «ما نشان می‌دهیم که حتی زمانی که مدل‌ها را با حجم زیادی از داده‌ها آموزش می‌دهید و بهترین مدل متوسط را انتخاب می‌کنید، در یک محیط جدید این 'بهترین مدل' می‌تواند بدترین مدل برای 6 تا 75 درصد از داده‌های جدید باشد.»

در مقاله‌ای که در کنفرانس سیستم‌های پردازش اطلاعات عصبی (NeurIPS 2025) در دسامبر ارائه شد، محققان خاطرنشان کردند که مدل‌هایی که برای تشخیص موثر بیماری در عکس‌های رادیولوژی قفسه سینه در یک بیمارستان آموزش داده شده‌اند، ممکن است به طور متوسط در بیمارستان دیگری موثر تلقی شوند. با این حال، ارزیابی عملکرد محققان نشان داد که برخی از بهترین مدل‌های عملکردی در بیمارستان اول، بدترین عملکرد را در تا 75 درصد از بیماران در بیمارستان دوم داشتند، حتی اگر با تجمیع همه بیماران در بیمارستان دوم، عملکرد متوسط بالا این شکست را پنهان کند.

یافته‌های آن‌ها نشان می‌دهد که اگرچه همبستگی‌های نادرست (به عنوان مثال، زمانی که یک سیستم یادگیری ماشین 'ندیده' است) می‌توانند وجود داشته باشند، اما این موضوع می‌تواند منجر به نتایج نادرست شود.