
سقف ۷۰ درصدی صحت: چرا معیار جدید «FACTS» گوگل یک هشدار برای هوش مصنوعی سازمانی است.
تعداد زیادی معیار ارزیابی هوش مصنوعی مولد وجود دارد که برای سنجش عملکرد و دقت مدلها در انجام وظایف مختلف و مفید سازمانی - از کدنویسی گرفته تا پیروی از دستورالعملها و مرور وب به عنوان یک عامل هوشمند و استفاده از ابزارها - طراحی شدهاند. اما بسیاری از این معیارها یک نقص بزرگ دارند: آنها توانایی هوش مصنوعی در تکمیل مسائل و درخواستهای خاص را اندازه میگیرند، نه اینکه مدل تا چه حد در خروجیهای خود دقیق است - یعنی تا چه حد اطلاعات صحیح و عینی متصل به دادههای دنیای واقعی تولید میکند - به ویژه هنگام برخورد با اطلاعات موجود در تصاویر یا گرافیکها.
برای صنایعی که دقت در آنها از اهمیت بالایی برخوردار است - مانند حقوقی، مالی و پزشکی - فقدان یک روش استاندارد برای سنجش صحت اطلاعات یک نقطه ضعف بحرانی بوده است. این مشکل امروز برطرف میشود: تیم FACTS گوگل و واحد علوم داده Kaggle، مجموعه معیار ارزیابی FACTS را منتشر کردند، یک چارچوب ارزیابی جامع که برای پر کردن این شکاف طراحی شده است. مقاله تحقیقاتی مرتبط، تعریف دقیقتری از این مشکل ارائه میدهد و "صحت اطلاعات" را به دو سناریوی عملی متمایز تقسیم میکند: "صحت اطلاعات متنی" (استناد به دادههای ارائه شده) و "صحت اطلاعات دانش جهانی" (بازیابی اطلاعات از حافظه یا وب).
در حالی که خبر اصلی، عملکرد برجسته Gemini 3 Pro است، داستان عمیقتر برای توسعهدهندگان، "دیوار صحت اطلاعات" در کل صنعت است. طبق نتایج اولیه، هیچ مدلی - از جمله Gemini 3 Pro، GPT-5 یا Claude 4.5 Opus - نتوانست این دیوار را بشکند.