
خطر واقعی هوش مصنوعی سازمانی، عاملهای خودگردان نیستند. بلکه پیچیدگی بین آنهاست.
پیچیدگی عاملها (Agent) سایهای پنهان در دل سازمانهاست که نیازمند توجه فوری است. سازمانها تنها یک عامل را مستقر نمیکنند و منتظر عملکرد آن نمیمانند، بلکه مجموعهای از آنها را به کار میگیرند. هر کدام از این عوامل با استفاده از APIها با سایر عوامل ارتباط برقرار کرده و به برنامههایی دسترسی پیدا میکنند که اصلاً برای تصمیمگیری ماشینی طراحی نشدهاند. همین موضوع است که باید شما را نگران کند: سیستمی پیچیده و درهمتنیده که هیچکس نمیتواند آن را بهطور کامل ببیند و مدیریت کند. اما چرا همه چیز اینقدر سریع مبهم میشود؟ با افزودن یک عامل دوم به سیستم، تنها یک اتصال اضافه میکنید. اما با افزودن عامل دهم، نه تنها 10 اتصال بلکه احتمالاً دهها اتصال ایجاد میشود؛ زیرا هر عاملی میتواند با هر عامل دیگری ارتباط برقرار کند و هر کدام از این تماسها میتوانند باعث ایجاد تماسی در جای دیگر شوند. پیچیدگی با افزایش تعداد عوامل بالا نمیرود، بلکه با افزایش مسیرهای ارتباطی بین آنها بهصورت تصاعدی رشد میکند و هیچکس مسئول ترسیم این نمودار نیست. یک درخواست پشتیبانی که قبلاً تنها به یک سیستم دسترسی داشت، ممکن است اکنون از طریق چهار عامل عبور کند تا اینکه یک انسان آن را بررسی کند. و هر کدام از این انتقالها نقطه تصمیمگیری هستند که کسی آنها را تایید نکرده است. اکثر برنامههای هوش مصنوعی در سازمانها زمانی متوقف میشوند که مسئولان عوامل، کنترل خود را بر روند کار از دست میدهند. از تیم امنیتی یک سوال ساده بپرسید: کدام عاملها میتوانند به کدام سیستمها دسترسی داشته باشند و شاهد سکوت آنها باشید. از آنها بپرسید چه عاملی سه مرحله قبل، چه اقدامی را آغاز کرده است. باز هم سکوت. غریزه اول این است که این موضوع را مانند یک چکلیست در نظر بگیریم: عامل را تایید کنید، اطلاعات مربوط به آن را ثبت کنید.