ربات‌هایی که در خیابان قدم می‌زنند و در میان تماشاگران متعجب حرکت می‌کنند، منظره‌ای به طور فزاینده‌ای رایج است. اما این ماشین‌ها هنوز دستیارهای همه‌کاره‌ای که بخواهید در آشپزخانه یا کارخانه با آن‌ها کار کنید نیستند و یک گلوگاه اصلی، داده‌ها هستند. درست مانند انسان‌ها، ربات‌ها نیز بهترین یادگیری را از طریق تجربه دارند. چالش این است که آموزش فیزیکی این ماشین‌ها برای انجام اقدامات متعدد در محیط‌های مختلف، کاری زمان‌بر و پرهزینه است.

«یک ایده طبیعی استفاده از شبیه‌سازی به عنوان زمین تمرین است. در حالی که در سال‌های اخیر پیشرفت‌های قابل توجهی در موتورهای فیزیکی که شبیه‌سازهای رباتیک را به کار می‌گیرند حاصل شده است، یکی از چالش‌های باقی‌مانده، ایجاد محتوای شبیه‌سازی به اندازه کافی غنی و متنوع برای به تصویر کشیدن پیچیدگی دنیای واقعی است»، روس تدراک، استاد مهندسی برق و علوم کامپیوتر (EECS)، هوانوردی و نجوم، و مهندسی مکانیک در MIT و محقق اصلی در آزمایشگاه علوم کامپیوتر و هوش مصنوعی MIT (CSAIL) می‌گوید.

آشکار شده است که عوامل هوش مصنوعی یا برنامه‌های نیمه خودکار که «فکر» می‌کنند و وظایف مشخصی را انجام می‌دهند، می‌توانند به تولید محیط‌های مجازی واقعی که ربات‌ها به آن‌ها نیاز دارند کمک کنند. سیستم جدید "SceneSmith" که توسط محققان در MIT CSAIL و موسسه تحقیقاتی تویوتا توسعه یافته، از سه عامل برای کنار هم قرار دادن اشیاء، دیوارها و ظاهر کلی یک صحنه سه بعدی استفاده می‌کند. بازسازی‌های آن از فضاهای داخلی مانند رستوران‌ها، اتاق خواب‌ها و هتل‌ها واقع‌گرایانه‌تر و دقیق‌تر هستند.