روش جدید با هدف حفظ امنیت کودکان در برابر محتوای غیرقانونی تولید شده توسط هوش مصنوعی.
با محبوبیت روزافزون هوش مصنوعی مولد، مدل‌های متن‌باز بسیاری اکنون به‌صورت آنلاین در دسترس هستند تا هر کسی بتواند آن‌ها را برای وظایف خود، مانند تولید رندرهای محصول در یک سبک هنری خاص، تطبیق دهد. اما این مدل‌ها همچنین به دست افراد سودجو می‌افتند که ممکن است آن‌ها را برای تولید محتوای غیرقانونی، مانند نفرت‌پراکنی یا تصاویر سوءاستفاده جنسی از کودکان (CSAM) بهینه‌سازی کنند. این یک مشکل رو به رشد است – مرکز ملی کودکان گمشده و مورد سوءاستفاده قرار گرفته در سال 2025 بیش از 1.5 میلیون گزارش از CSAM تولید شده توسط هوش مصنوعی دریافت کرد، در حالی که این رقم در سال 2024 تنها 67000 گزارش بود.
مهندسان معمولاً با درخواست از مدل و بررسی خروجی‌های آن، هوش مصنوعی را از نظر قابلیت‌های مضر آزمایش می‌کنند، اما این امر برای CSAM غیرممکن است، زیرا تولید چنین محتوایی در ایالات متحده، صرف نظر از قصد، غیرقانونی است.
برای اجتناب از این معضل و بهبود ایمنی هوش مصنوعی، تیمی از دانشمندان MIT به رهبری دانشجوی فارغ‌التحصیل، وینیت سوری‌کومار و اساتید همکار، اشیا ویلسون و مرزیه قاسمی، با محققان Thorn همکاری کردند تا یک رویکرد جدید برای ممیزی توسعه دهند که تعیین کند آیا یک مدل می‌تواند CSAM تولید کند یا خیر، بدون اینکه به آن درخواست شود. Thorn یک سازمان غیرانتفاعی ایمنی کودکان است که ماموریت آن متحول کردن نحوه محافظت از کودکان در برابر سوء استفاده و بهره‌کشی جنسی در عصر دیجیتال است.
تکنیک آن‌ها نحوه تطبیق عملکرد داخلی یک مدل را بررسی می‌کند، اما هرگز خروجی تولید نمی‌کند. با بررسی نمایش‌های پنهان، می‌تواند به‌طور قابل اعتمادی استنباط کند که آیا یک مدل برای تولید محتوای CSAM تخصصی شده است یا خیر.