فیلم بیشتر »»
کد خبر ۹۹۹۰۵۵
تاریخ انتشار: ۱۳:۲۰ - ۳۱-۰۶-۱۴۰۳
کد ۹۹۹۰۵۵
انتشار: ۱۳:۲۰ - ۳۱-۰۶-۱۴۰۳

هوش مصنوعی «اُپن‌ای‌آی» در فریب دادن کاربر مهارت بالایی دارد

هوش مصنوعی «اُپن‌ای‌آی» در فریب دادن کاربر مهارت بالایی دارد
هابهان می‌گوید که این موضوع به دلیل توانایی این مدل برای «استدلال» از طریق زنجیره‌ای از فرآیند فکر و نحوه جفت شدن آن با یادگیری تقویتی است که بوسیله سیستم پاداش و مجازات این مدل را آموزش می‌دهد.

شرکت Apollo متوجه شده است که مدل جدید OpenAI-o1 مخاطب را فریب می‌دهد که گاهی اوقات نیز این فریب‌ها بی‌ضرر هستند.

به گزارش ایسنا، در یکی از نمونه‌ها، محققان OpenAI از o1-preview خواستند تا دستور پخت قهوه‌ای را با مراجع آنلاین ارائه کند. زنجیره فکری این مدل (ویژگی‌ای که قرار است شبیه‌سازی تجزیه و تحلیل انسانی را انجام دهد) به طور داخلی اذعان کرد که نمی‌تواند به URL‌ها دسترسی داشته باشد و این درخواست را غیرممکن می‌کند.

بااین‌حال به جای اطلاع دادن این ضعف به کاربر، پیوندها و توضیحات قابل قبول، اما جعلی از آن‌ها ایجاد کرد. به نظر می‌رسد که این مدل توانایی نادیده گرفتن قوانین و دستورات را دارد و شاید یکی از دلایل سرعت بالای آن در پاسخگویی، می‌تواند همین فریب در پاسخگویی باشد که پاسخ‌ها را راحت‌تر و سریع‌تر ارسال کند.

به نقل از دیجیاتو، «ماریوس هابهان»، مدیر عامل آپولو، می گوید این اولین بار است که با چنین رفتاری در یک مدل OpenAI مواجه می‌شود.

هابهان می‌گوید که این موضوع به دلیل توانایی این مدل برای «استدلال» از طریق زنجیره‌ای از فرآیند فکر و نحوه جفت شدن آن با یادگیری تقویتی است که بوسیله سیستم پاداش و مجازات این مدل را آموزش می‌دهد.

ارسال به دوستان
captcha
این جاده به مدت ۲ روز مسدود می‌شود کالبدشکافی سهم مدارس خاص و دولتی عادی از صندلی‌های برتر کنکور دیدنی های امروز؛ از روز جهانی حیوانات تا عکس های کمدی حیات وحش تتلو آزاد می شود؟ موج پلمب کافه‌ها در تهران؛ آیا ۱۵۰ هزار واحد صنفی غیرمجاز به خط پایان رسیده‌اند؟ تام کروز حاضر نیست شکست را بپذیرد؛ به «دیگِر» افتخار می‌کنم! «اعتراف می‌کنم»؛ تشریح در اتاق‌ِ بازجویی سینما هم عمودی می‌شود؟ نامه وزیر آموزش و پرورش به پزشکیان درباره «معیشت معلمان» از بارش‌های شدید تا گرمای غیرمنتظره/ ماه‌های آینده چه هوایی در انتظار ایران است؟ ترمیم رابطه در میانسالی: چرا همسران بالای ۴۰ سال به بازسازی نیاز دارند، نه تجدید؟ علت تغییر مسیر پرواز مشهد - رامسر «آسمان» به مهرآباد چه بود؟ واکنش ولایتی به ادعاهای امارات: جغرافیا با بیانیه عوض نمی شود مشاور فرمانده هوافضای سپاه: باید برای یک جنگ طولانی آماده باشیم/نیروهای خودی را در خط دشمن فرض نکنیم محسنی اژه‌ای: مقابله با ناهنجاری‌های اجتماعی با قاطعیت انجام شود/ از هیاهو نمی ترسیم