
وقتی عاملها بهطور مستقل عمل میکنند، حاکمیت باید در لایه داده قرار گیرد.
ارائه شده توسط EDB با افزایش خودمختاری عاملهای هوش مصنوعی - توانایی برنامهریزی، تصمیمگیری و عمل در سیستمها بدون تایید هر مرحله توسط انسان - یک سوال دشوار به مرکز بررسی معماری هر سازمانی میآید: وقتی یک عامل سعی میکند اقدامی را انجام دهد که هرگز برای آن مجوز دریافت نکرده است، چه چیزی واقعاً از آن جلوگیری میکند؟
اینها عاملهای شما هستند که بر روی مدلهای شما اجرا میشوند و با دادههای شما در زیرساخت شما تعامل دارند - و مسئولیت آنچه انجام میدهند بر عهدهی شماست. این مسئولیت نمیتواند به صورت پسنگرانه یا با مجموعهای از سیاستهای انتزاعی که فقط روی کاغذ وجود دارند اما در عمل نیستند، برآورده شود. عاملها نیازمند قوانینی متناسب با لحظه هستند، زیرا آنها قضاوت نهایی بر اعمال خود ندارند.
یک قانون ساده را در نظر بگیرید: هرگز درِ ماشین را باز نکنید. اگر به صورت تحتاللفظی دنبال شود، یک عامل ممکن است هرگز نتواند وارد یا خارج از ماشین شود. اما اگر شرایط تغییر کند (ماشین دچار تصادف شده است، آتشسوزی وجود دارد، کسی زخمی شده و نیاز به خروج دارد)، آنگاه قانونی که واقعاً میخواهید برعکس آن باشد. شرایط لحظهای همه چیز را تعیین میکند. ما از عاملها میخواهیم کارهای هوشمندانهای انجام دهند؛ این امر نیازمند قوانین هوشمندانه است.
غریزه این است که محافظهایی در اطراف عامل اضافه کنیم: دستورالعملها، سیاستها و نظارت لایهبندی شده بر روی مدل. این مکانیزمها مهم هستند، اما یک محدودیت ساختاری را به اشتراک میگذارند: قانون درِ ماشین تا لحظهای که واقعاً باید تصمیم بگیرید که آیا در را باز کنید یا نه، معقول است. کنترلها در لایه عامل فقط به اندازه خروجی قابل پیشبینی عامل قابل اعتماد هستند و...