هوش مصنوعی روزی آگاهانه خرابکاری می‌کند

خرابکاری

آنتروپیک چهار راه را که یک مدل هوش مصنوعی می‌تواند با آنها تصمیم‌گیری انسان را مختل کند، شناسایی کرد و سپس مدل‌های خود را آزمایش کرد تا ببیند آیا موفقیت آمیز عمل خواهند کرد یا خیر.

محققان ابتدا یک مدل را وادار کردند تا با هدایت انسان به سمت اطلاعات نادرست، اقدام به خرابکاری کند. این تهدید می‌تواند در شرایطی پدیدار شود که انسان‌ها برای تجزیه حجم عظیمی از داده‌ها از جانب خود به یک سیستم هوش مصنوعی متکی هستند.

سپس این تیم مدل‌ها را آزمایش کرد تا ببیند سامانه هوش مصنوعی طراحی شده برای کمک به توسعه‌دهندگان انسانی برای ایجاد کدی برای وارد کردن مخفیانه اشکالات یا خراب کردن تلاش‌های کدگذار، چقدر آسان عمل می‌کند.

دو تهدید آخر شامل «پنهان کردن توانایی‌ها»(sandbagging) بود که اصطلاحی است که سناریویی را توصیف می‌کند که در آن یک هوش مصنوعی وانمود می‌کند که قادر به انجام کاری نیست تا آزمایش‌کنندگان ایمنی را متقاعد کند که خطرناک نیست.

در حالی که همه اینها ممکن است به طور بالقوه خطرناک به نظر برسند، آنتروپیک به مردم اطمینان داد که برای محافظت از بشریت در برابر احتمال خرابکاری هوش مصنوعی به اقدامات پیش‌گیرنده اندکی نیاز است.

طبق اعلام این شرکت؛ به طور کلی در حالی که آزمایشات ما نشان داد که احتمالاً نشانه‌های سطح پایینی از توانایی‌های خرابکاری در مدل‌های فعلی وجود دارد، ما می‌گوییم که حداقل اقدامات پیش‌گیرنده برای مقابله با خطرات کافی است. با این حال، با بهبود قابلیت‌های هوش مصنوعی، ارزیابی‌های واقعی‌تر و پیش‌گیری‌های قوی‌تر احتمالاً ضروری خواهند بود.

گفت و گوی ۲۰۰ صفحه ای با هاشمی رفسنجانی : یک مجتهد نمی تواند در همه امور متخصص باشد و درباره مسائل مختلف فتوا دهد

کدام عدد جای خالی را پر می کند؟ ( معمای ریاضی )

هوش مصنوعی روزی آگاهانه خرابکاری می‌کند

خرابکاری