شکاف ارزیابی عامل: سازمان‌های هوش مصنوعی سازمانی مشکل هم‌راستایی با واقعیت دارند، نه مشکل پوشش - و با این حال بیشتر آن‌ها محصول را به تولید می‌فرستند.

در میان 157 شرکت و سازمان، سطح استقلال هوش مصنوعی (AI) در حال افزایش است، در حالی که اعتماد به ارزیابی‌هایی که این استقلال را کنترل می‌کنند، کاهش یافته است. نیمی از این سازمان‌ها، هوش مصنوعی را که در ارزیابی‌های داخلی موفق بوده، به مرحله تولید فرستاده‌اند، اما در نهایت با شکست در تجربه مشتری مواجه شده‌اند. تنها یک نفر از هر بیست نفر به ارزیابی‌های خودکار اعتماد کامل دارد و مهم‌ترین ضعف شناسایی شده، عدم همسویی ارزیابی‌ها با نتایج واقعی است. با این حال، دو سوم سازمان‌ها در حال حاضر یا به طور فعال در حال مهندسی برای استقرار تغییرات هوش مصنوعی در تولید صرفاً بر اساس ارزیابی‌های خودکار هستند – بدون دخالت انسانی. نتیجه این امر، شکاف ارزیابی است – فاصله بین میزان استقلالی که سازمان‌ها به هوش مصنوعی خود می‌دهند و میزان اعتمادی که به آزمایش‌هایی دارند که قرار است خطاها را شناسایی کنند.

این پژوهش از VentureBeat Pulse به بررسی نحوه ارزیابی عملکرد هوش مصنوعی توسط رهبران فنی می‌پردازد: از چه پلتفرم‌های قابلیت اطمینان و ارزیابی استفاده می‌کنند، چگونه آن‌ها را انتخاب و به آن‌ها اعتماد می‌کنند، چه مواردی در تولید دچار مشکل می‌شوند و تا چه حد اجازه می‌دهند هوش مصنوعی بدون دخالت انسانی کار کند.

یافته اصلی این پژوهش، شکاف ارزیابی است – فاصله بین استقلالی که سازمان‌ها به هوش مصنوعی خود می‌دهند و اعتمادی که به ارزیابی‌هایی دارند که قرار است آن را کنترل کنند. نیمی از سازمان‌ها (50%) در سال گذشته، هوش مصنوعی یا ویژگی‌های LLM را مستقر کرده‌اند که در ارزیابی‌های داخلی موفق شده اما باعث بروز مشکلاتی در تجربه مشتری شده است و یک چهارم آن‌ها این مشکل را بیش از یک بار تجربه کرده‌اند. اعتماد به خود آزمایش‌ها نیز کم است: تنها 5 درصد می‌گویند که به طور کامل به آن‌ها اعتماد دارند.