یادگیری هدایت‌شده به شبکه‌های عصبیِ «غیرقابل آموزش» اجازه می‌دهد تا به پتانسیل خود دست یابند.

حتی شبکه‌هایی که مدت‌ها تصور می‌شد "غیرقابل آموزش" هستند، می‌توانند با کمی کمک موثر یاد بگیرند. محققان آزمایشگاه علوم کامپیوتر و هوش مصنوعی (CSAIL) MIT نشان داده‌اند که یک دوره کوتاه هم‌ترازی بین شبکه‌های عصبی، روشی که آن‌ها آن را "هدایت" می‌نامند، می‌تواند به طور چشمگیری عملکرد معماری‌هایی را که قبلاً برای وظایف مدرن نامناسب تلقی می‌شدند، بهبود بخشد. یافته‌های آن‌ها نشان می‌دهد که بسیاری از شبکه‌های به اصطلاح "بی‌اثر" ممکن است صرفاً از نقاط شروع کمتر از ایده‌آل شروع به کار کنند و هدایت کوتاه‌مدت می‌تواند آن‌ها را در موقعیتی قرار دهد که یادگیری را برای شبکه آسان‌تر کند.

روش هدایت این تیم با تشویق شبکه هدف به مطابقت با بازنمودهای داخلی شبکه راهنما در طول آموزش کار می‌کند. بر خلاف روش‌های سنتی مانند تقطیر دانش که بر تقلید از خروجی‌های یک معلم تمرکز دارد، هدایت دانش ساختاری را مستقیماً از یک شبکه به شبکه دیگر منتقل می‌کند. این بدان معناست که شبکه هدف یاد می‌گیرد که شبکه راهنما چگونه اطلاعات را در هر لایه سازماندهی می‌کند، به جای اینکه صرفاً رفتار آن را کپی کند. نکته قابل توجه این است که حتی شبکه‌های آموزش ندیده نیز دارای سوگیری‌های معماری هستند که می‌توانند منتقل شوند، در حالی که راهنماهای آموزش دیده علاوه بر این، الگوهای آموخته شده را نیز منتقل می‌کنند.

ویگنش سوبرامانیام، دانشجوی دکتری مهندسی برق و علوم کامپیوتر (EECS) MIT و محقق CSAIL و نویسنده اصلی مقاله ارائه این یافته‌ها، می‌گوید: "ما این نتایج را بسیار شگفت‌انگیز یافتیم. این بسیار چشمگیر است."