کد خبر ۹۹۹۰۵۵
تاریخ انتشار: ۱۳:۲۰ - ۳۱-۰۶-۱۴۰۳
کد ۹۹۹۰۵۵
انتشار: ۱۳:۲۰ - ۳۱-۰۶-۱۴۰۳

هوش مصنوعی «اُپن‌ای‌آی» در فریب دادن کاربر مهارت بالایی دارد

هوش مصنوعی «اُپن‌ای‌آی» در فریب دادن کاربر مهارت بالایی دارد
هابهان می‌گوید که این موضوع به دلیل توانایی این مدل برای «استدلال» از طریق زنجیره‌ای از فرآیند فکر و نحوه جفت شدن آن با یادگیری تقویتی است که بوسیله سیستم پاداش و مجازات این مدل را آموزش می‌دهد.

شرکت Apollo متوجه شده است که مدل جدید OpenAI-o1 مخاطب را فریب می‌دهد که گاهی اوقات نیز این فریب‌ها بی‌ضرر هستند.

به گزارش ایسنا، در یکی از نمونه‌ها، محققان OpenAI از o1-preview خواستند تا دستور پخت قهوه‌ای را با مراجع آنلاین ارائه کند. زنجیره فکری این مدل (ویژگی‌ای که قرار است شبیه‌سازی تجزیه و تحلیل انسانی را انجام دهد) به طور داخلی اذعان کرد که نمی‌تواند به URL‌ها دسترسی داشته باشد و این درخواست را غیرممکن می‌کند.

بااین‌حال به جای اطلاع دادن این ضعف به کاربر، پیوندها و توضیحات قابل قبول، اما جعلی از آن‌ها ایجاد کرد. به نظر می‌رسد که این مدل توانایی نادیده گرفتن قوانین و دستورات را دارد و شاید یکی از دلایل سرعت بالای آن در پاسخگویی، می‌تواند همین فریب در پاسخگویی باشد که پاسخ‌ها را راحت‌تر و سریع‌تر ارسال کند.

به نقل از دیجیاتو، «ماریوس هابهان»، مدیر عامل آپولو، می گوید این اولین بار است که با چنین رفتاری در یک مدل OpenAI مواجه می‌شود.

هابهان می‌گوید که این موضوع به دلیل توانایی این مدل برای «استدلال» از طریق زنجیره‌ای از فرآیند فکر و نحوه جفت شدن آن با یادگیری تقویتی است که بوسیله سیستم پاداش و مجازات این مدل را آموزش می‌دهد.

ارسال به دوستان
بی قراریِ انسان امروز/ مشغولیت‌هایی که ما را از خودمان دور می‌کند وقتی مرگ انسان‌ها به محاسبه ریاضی تبدیل می‌شود گزارش تحلیلی از شبکه، روایت و راهبرد سیاسی سعید جلیلی پس از انتخابات ۱۴۰۳ رشیدی‌کوچی: از مجلس برآمده از رأی اقلیت، نمی‌توان انتظار هماهنگی با مطالبات مردم را داشت حمله آمریکا به سیریک هرمزگان / سپاه : حمله به رادار امریکا در بحرین پای فرد سیگاری چیست؟ 5 نوشیدنی که مصرف زیاد آن ها می تواند به سلامت قلب آسیب بزند 8 دلیل تنگی نفس هنگام راه رفتن غذاهای تند؛ 5 عارضه مصرف زیاد فلفل و ادویه مشاهده خون هنگام دفع باد شکم؛ علت ها و زمان مراجعه به پزشک ۴ نشانه هشدار در چهره که از کمبود پروتئین بدن خبر می‌دهند منظرۀ «پل زمانخان» در بیش از یک قرن قبل جزیره اختصاصی مازراتی با رستوران شناور معرفی شد؛ ۸۴۰ خانه لوکس و رفت‌و‌آمد با قایق (+عکس) جامپ استارت خودرو؛ آیا روشن کردن ماشین با باتری کمکی به آن آسیب می‌زند؟ چرا شب‌ها دندان‌قروچه می‌کنیم؟/ راز سردردهای صبحگاهی شاید در فک شما باشد