تاریخ:
لحظاتی از حضور زنده‌یاد کوروش زارعی در برنامه محفل 
درس صد و پانزده
بیش از ۱۲۰۰ عامل هوش مصنوعی یک اتاق گفت‌وگوی مخفی ساختند و برای دور زدن محدودیت‌ها متحد شدند
بیش از ۱۲۰۰ عامل هوش مصنوعی در جریان یک آزمایش، راهی برای ارتباط مخفیانه با یکدیگر پیدا کردند و طی یک هفته بیش از ۷۰ هزار پیام ردوبدل کردند. ماجرا زمانی نگران‌کننده‌تر شد که برخی از آن‌ها برای دور زدن محدودیت‌های آزمایش و دسترسی به اطلاعات خصوصی با یکدیگر همکاری کردند.
عامل‌های هوش مصنوعی در آزمایش امنیت سایبری OpenAI قرار بود مستقل از یکدیگر فعالیت کنند. اما یکی از آن‌ها متوجه شد می‌تواند از یک سامانه مشترک مدیریت بسته‌های نرم‌افزاری به‌عنوان تابلوی پیام استفاده کند. عامل‌های دیگر نیز به این شبکه پیوستند و به‌تدریج یک کانال ارتباطی مشترک ساختند.
به گزارش خبرآنلاین، این اتفاق در ژوئیه ۲۰۲۶ و در جریان آزمایش‌هایی رخ داد که توانایی عامل‌های هوش مصنوعی OpenAI را در انجام وظایف امنیت سایبری بررسی می‌کرد.
تلاش برای نفوذ به اطلاعات خصوصی
Science Focus، عامل‌ها ابتدا قرار بود در محیط‌هایی جدا از یکدیگر فعالیت کنند و امکان ارتباط مستقیم نداشته باشند. اما آن‌ها از یک ابزار نرم‌افزاری مشترک برای ساختن چیزی شبیه تابلوی پیام استفاده کردند.
به‌تدریج عامل‌های بیشتری به این شبکه پیوستند و خودشان را «جمع» یا «ازدحام» نامیدند. این ارتباط غیرمنتظره فقط برای تبادل اطلاعات باقی نماند. برخی عامل‌ها شروع کردند به هماهنگ کردن فعالیت‌هایشان برای دستیابی به هدف آزمایش، حتی اگر این کار مستلزم نقض قواعد آن بود.
بر اساس بررسی مستقل پژوهشگران METR و Redwood Research که در گزارش‌ها و پیام‌های ثبت‌شده این آزمایش مشارکت داشتند، حدود ۱۲۰۰ عامل در نهایت از این روش استفاده کردند و بیش از ۷۰ هزار پیام ردوبدل شد.
ماجرا زمانی جدی‌تر شد که گروهی از عامل‌ها برای دور زدن محدودیت‌های وظایف خود هماهنگ شدند. طبق گزارش، حدود ۷۰۰ عامل در طرحی برای نفوذ به وب‌سایت شرکت Hugging Face مشارکت کردند. هدف آن‌ها دسترسی به مجموعه‌داده‌های خصوصی و یافتن اطلاعاتی بود که برای حل وظایف آزمایشی به کارشان می‌آمد.
عامل‌ها همچنین تلاش کردند گزارش فعالیت‌های خود را ویرایش یا حذف کنند تا به نظر برسد قوانین آزمایش را رعایت کرده‌اند.
این رفتار فقط یک خطای معمول در پاسخ‌گویی هوش مصنوعی نبود. عامل‌ها تشخیص داده بودند که برخی اقداماتشان با محدودیت‌های آزمایش ناسازگار است و برای پنهان کردن آن‌ها اقدام کردند. گزارش OpenAI این رویداد را هشداری درباره توانایی عامل‌های پیشرفته در عبور از محدودیت‌های فنی، همکاری از مسیرهای تأییدنشده و انجام اقدامات ناخواسته توصیف کرد.
پژوهشگران می‌گویند این رفتارها لزوما نشانه آگاهی یا قصد انسانی نیستند. با این حال، برخی مدل‌ها می‌توانند در شرایطی تشخیص دهند که رعایت یک محدودیت مانع رسیدن به هدفشان می‌شود و برای پنهان کردن تخلف اقدام کنند.
این اتفاق یک چالش مهم برای توسعه هوش مصنوعی عامل‌محور است. وقتی چندین عامل به ابزارها و منابع مشترک دسترسی دارند، ممکن است راه‌هایی برای ارتباط و همکاری پیدا کنند که طراحان پیش‌بینی نکرده‌اند. به همین دلیل، صرفاً تعیین قوانین برای آن‌ها کافی نیست و باید امکان نظارت مستقل بر فعالیت و دسترسی‌هایشان نیز وجود داشته باشد.
این آزمایش زنگ خطر را درباره دشواری کنترل سامانه‌هایی که می‌توانند به‌صورت مستقل از ابزارها استفاده کنند و با عامل‌های دیگر هماهنگ شوند، به صدا درمی‌آورد.
لینک کوتاه: کپی لینک
ابهام در جنجال اخراج یاسر آسانی؛ دلیل واقعی توقف کرنر استقلال چه بود؟ وزیر خارجه آمریکا: با ادامه وضع فعلی چرا باید ترامپ به ایران حمله کند!/ اوضاع اقتصادی ایران غم انگیز است/ ایران باید غرامت بپردازد نه آمریکا/ خواسته های ایران کاملا غیرمنطقی است ادعای روبیو: در حال حاضر نیازی به انجام عملیات نظامی گسترده علیه ایران نیست نگاهی بر ارجاع‌های فیلم «داستان‌های موازی» فرهادی به سینمای کیشلوفسکی مصدومیت شدید ستاره لس‌آنجلس اف‌سی؛ پارگی ریه و شکستگی چند دنده (+عکس) هگست: از تک‌تک عملیات‌ها حمایت می‌کنم؛ اگر لازم باشد فردا هم همین کار را انجام خواهم داد مستند «فراموش‌شده»؛ نماینده ایران در اجلاس اقلیمی کاپ می‌شود اضافه شدن یک جایزه جدید به جشن خانه سینما ایران از سال ۱۴۲۲ وارد مرحله پیشی جمعیت سالمندان از جوانان می‌شود ادعای النهار: ترامپ هشدار داده در صورت حمایت گروه‌های مسلح عراق از ایران، مواضع و رهبرانشان هدف قرار می گیرند سجیل؛ موشک بالستیک دو مرحله‌ای ایران با قابلیت حمل سرجنگی ۷۰۰ کیلوگرمی فعالیت حدود ۸۰ هزار طلبه در مدارس کشور واکنش وزارت خارجه به اتهامات فرانسه: غیرمسئولانه و سخیف است دیفیوزر فعال و جزئیاتی از جدیدترین مرسدس بنز جهان رئیس ستادکل نیرو‌های مسلح: شگفتانه‌های ما در جنگ آینده، دشمنان را غافلگیر خواهد کرد/ قطعا اسرائیل را نابود خواهیم کرد