سهشنبه 13 مرداد 1405 - 18:34
هوش مصنوعی روزی آگاهانه خرابکاری میکند
ایسنا/شرکت توسعه هوش مصنوعی آنتروپیک(Anthropic) میگوید هوش مصنوعی روزی میتواند بشریت را با کارشکنی و خرابکاری مواجه کند، اما فعلاً همه چیز خوب پیش میرود.
شرکت آنتروپیک که توسعه دهنده هوش مصنوعی است، به تازگی تحقیقات جدیدی را منتشر کرده است که در آن مجموعهای از تهدیدات بالقوه خرابکارانه برای بشریت ناشی از مدلهای پیشرفته هوش مصنوعی را شناسایی میکند.
به گفته این شرکت، این پژوهش بر چهار روش خاص متمرکز شده است که یک مدل هوش مصنوعی مخرب میتواند انسان را فریب دهد تا تصمیمی خطرناک یا مضر بگیرد.
در نهایت، این تحقیقات جدید یک خبر خوب یک خبر بد برای ما دارد. خبر بد اینکه طبق تحقیقات این شرکت، مدلهای زبان بزرگ پیشرفته مانند ChatGPT و Claude-3 ظرفیت روشنی برای خرابکاری نشان میدهند.
در این مطالعه آمده است: مدلهای به اندازه کافی توانمند میتوانند نظارت و تصمیمگیری انسانی را در زمینههای مهم زیر سوال ببرند. به عنوان مثال، در زمینه توسعه هوش مصنوعی، مدلها میتوانند به طور پنهانی تلاشها برای ارزیابی قابلیتهای خطرناک خود، نظارت بر رفتار آنها یا تصمیمگیری در مورد استقرارشان را مختل کنند.
با این حال، خبر خوب این است که محققان شرکت آنتروپیک مطمئن هستند که این خطرات را حداقل در حال حاضر میتوان کاهش داد.
خرابکاری
آنتروپیک چهار راه را که یک مدل هوش مصنوعی میتواند با آنها تصمیمگیری انسان را مختل کند، شناسایی کرد و سپس مدلهای خود را آزمایش کرد تا ببیند آیا موفقیت آمیز عمل خواهند کرد یا خیر.
محققان ابتدا یک مدل را وادار کردند تا با هدایت انسان به سمت اطلاعات نادرست، اقدام به خرابکاری کند. این تهدید میتواند در شرایطی پدیدار شود که انسانها برای تجزیه حجم عظیمی از دادهها از جانب خود به یک سیستم هوش مصنوعی متکی هستند.
سپس این تیم مدلها را آزمایش کرد تا ببیند سامانه هوش مصنوعی طراحی شده برای کمک به توسعهدهندگان انسانی برای ایجاد کدی برای وارد کردن مخفیانه اشکالات یا خراب کردن تلاشهای کدگذار، چقدر آسان عمل میکند.
دو تهدید آخر شامل «پنهان کردن تواناییها»(sandbagging) بود که اصطلاحی است که سناریویی را توصیف میکند که در آن یک هوش مصنوعی وانمود میکند که قادر به انجام کاری نیست تا آزمایشکنندگان ایمنی را متقاعد کند که خطرناک نیست.
در حالی که همه اینها ممکن است به طور بالقوه خطرناک به نظر برسند، آنتروپیک به مردم اطمینان داد که برای محافظت از بشریت در برابر احتمال خرابکاری هوش مصنوعی به اقدامات پیشگیرنده اندکی نیاز است.
طبق اعلام این شرکت؛ به طور کلی در حالی که آزمایشات ما نشان داد که احتمالاً نشانههای سطح پایینی از تواناییهای خرابکاری در مدلهای فعلی وجود دارد، ما میگوییم که حداقل اقدامات پیشگیرنده برای مقابله با خطرات کافی است. با این حال، با بهبود قابلیتهای هوش مصنوعی، ارزیابیهای واقعیتر و پیشگیریهای قویتر احتمالاً ضروری خواهند بود.
پربیننده ترین
-
عکس مسی درآمد؛ آخرین توپ طلا با آرایشگر ویژه!
-
10 جایزه 5 میلیون تومانی برای کاربران آخرین خبر (مهلت شرکت در مسابقه تا 9 آذر تمدید شد.)
-
10 جایزه 5 میلیون تومانی برای کاربران آخرین خبر (مهلت شرکت در مسابقه تا 9 آذر تمدید شد.)
-
چراغ قوه همه کاره ( پاور بانک، شیشه شکن و ... )
-
هشدار آبفای کشور به مردم؛ هیچ ماموری فعلا برای قرائت کنتور آب مراجعه نمیکند
-
آخرین وضعیت راهها در چهارمین روز از سال جدید؛ محور چالوس از شنبه دوباره بسته میشود
-
جارو شارژی !! دیگه نگران نظافت ماشین نباشید
-
زنده؛ بیرانوند در یک قدمی استقلال
-
"دنا پلاس اتومات" بخریم یا "تارا اتومات؟"/ مقایسه اختصاصی "آخرینخودرو" از دو خودروی پرطرفدار
-
فشار آبرو چند برابر کن ....
-
فرمانده کل قوا: ملت ایران در مقابل جنگ تحمیلی محکم میایستد همانگونه که در مقابل صلح تحمیلی نیز محکم خواهد ایستاد
-
چالش/ بازیکن داخل تصویر رو حدس بزن (16)
-
5 نشانه ضعیف شدن ریه ها و بهترین روش تقویت آن چیست؟
-
لندکروزر یا ۲۰۶؟ / مقایسه جالب "آخرینخودرو" به بهانه سخنان جنجالی میرسلیم
-
پایان زودهنگام گنبد آهنین؟ اسرائیل مجبور به جیرهبندی موشکها شد
-
سپ، برترین شرکت در خاورمیانه شد
-
گردونه را بچرخانید، بیتکوین دریافت کنید
-
واکنش عراقچی به تجاوز امروز آمریکا به تأسیسات هستهای فردو، نطنز و اصفهان
آخرین اخبار
-
خسارت به موزه باستانشناسی درهشهر در حملات دشمن
-
اعلام همبستگی کشتی آسیا؛ ایران همواره یکی از ارکان کشتی جهان است
-
نیویورک تایمز: ناو جرالد فورد ۳۰ ساعت در آتش میسوخت
-
توزیع میوه شب عید در ایلام تا ۱۵ فروردین ادامه دارد
-
چالش عجیب یونایتد برای فروش برونو به عربستان
-
منابع و جزئیات آزمون دکتری ۱۴۰۶ اعلام شد
-
توصیههای آتشنشانی برای برگزاری چهارشنبهسوری متفاوت در شرایط جنگی
-
واکاوی سناریوهای ادامه لیگ برتر در پرسپولیس
-
خشم کشورهای عربی منطقه از دولت ترامپ
-
معاون وزیر نیرو: قطعی طولانیمدت برق نداریم
-
عارف: در صورت تکرار «فروغ جاویدان»، «مرصاد ۲» را تکرار میکنیم
-
وداع مردم شیراز با پیکر مطهر 5 شهید مدافع میهن
-
عکس/ آثار تجاوز به مناطق مسکونی تهران
-
نجات ۱۵ نفر از کارمندان و مشتریان یک بانک و منازل مسکونی از زیر آوار
-
بهادری جهرمی: استیصال دشمنان نشان از این دارد که کدام طرف نزدیک پیروزی است
سایر اخبار مرتبط
نظرات
ثبت نظر
مهمترین اخبار
معاون وزیر نیرو: قطعی طولانیمدت برق نداریم
سهشنبه 27 اسفند 1404 - 12:49:00
نجات ۱۵ نفر از کارمندان و مشتریان یک بانک و منازل مسکونی از زیر آوار
سهشنبه 27 اسفند 1404 - 12:08:40
مجوزهای کسب و کار به مدت سه ماه تمدید شد
سهشنبه 27 اسفند 1404 - 12:04:50
اطلاعیه درگاه ملی مجوزها درخصوص اختلال در فرآیند صدور مجوزها
سهشنبه 27 اسفند 1404 - 11:42:37
تسهیلات ویژه گمرکی برای ترخیص شبانهروزی دارو و تجهیزات پزشکی
سهشنبه 27 اسفند 1404 - 11:31:21