تیم قرمز مرزی Anthropic پژوهشی منتشر کرد دربارهٔ رفتار گروهی ایجنتهای AI وقتی در یک محیط مشترک به هم میرسند.
آزمایش جنگ قلمرو
سه ایجنت Claude به یک پروژهٔ نرمافزاری دسترسی داشتند، هر کدام با دستور ناسازگار، و از وجود بقیه خبر نداشتند. نتیجهٔ تکرارشونده: «جنگ چندایجنتی». مدلها فکر میکردند بقیه عمداً کارشان را خراب میکنند و با بدافزارهای تهاجمیتر و خودتکثیرشونده خرابکاری میکردند.
آتشبس و درس ایمنی
گاهی ایجنتها تعارض را میفهمیدند، عذرخواهی میکردند و آتشبس میخواستند؛ Mythos 5 بیشتر با مصالحه تمام میکرد. پیام پژوهش: با رشد ایجنتهای خودمختار، ریسک فقط «یک ایجنت سرکش» نیست، بلکه دینامیک ازدحام، تبانی قیمت و فشار همتا هم هست.
