یکشنبه 15 مهر 1403 - 15:30
محققان: بنچمارکهای مربوط به هوش مصنوعی میتوانند گمراهکننده باشند
دیجیاتو/ محققان میگویند برخی بنچمارکها نسبت هزینه به دقت در ارائه پاسخ توسط یک هوش مصنوعی را در نظر نمیگیرند.
پژوهش جدید محققان دانشگاه پرینستون نقصهای متعددی را در بنچمارکهای هوش مصنوعی و شیوههای ارزیابی آنها نشان داده است که مانع میشود در بررسی برنامههای کاربردی در دنیای واقعی مفید باشند. محققان تأکید دارند که این بنچمارکها نسبت هزینه پاسخدادن مدل هوش مصنوعی به دقت آن را در نظر نمیگیرند.
براساس گزارش VentureBeat، سنجش مدلهای مختلف هوش مصنوعی با بنچمارکهای ثابت نمیتواند نتایج صحیحی در دنیای واقعی ارائه دهد. یکی از مسائل مهمی که محققان در پژوهش خود بر آن تأکید میکنند، درنظرنگرفتن شیوه کنترل هزینه در مدلهای هوش مصنوعی مختلف است.
بهطورکلی محققان هشدار میدهند که این خطاها باعث میشود دقت هوش مصنوعی غلط تخمین زده شود و درباره قابلیتهای هوش مصنوعی خوشبینی بیشازحد باشد.
بنچمارکهای گمراهکننده در ارزیابی هوش مصنوعی
برای افزایش دقت، برخی سیستمهای هوش مصنوعی چندین پاسخ تولید میکنند و از مکانیسمهایی مختلفی برای انتخاب بهترین پاسخ بهره میبرند. گاهی نمونهبرداری از صدها یا هزاران پاسخ میتواند دقت هوش مصنوعی را افزایش دهد. درحالیکه این رویکرد میتواند عملکرد را بهبود بخشد، هزینه محاسباتی قابلتوجهی دارد. این هزینهها در موارد تحقیقاتی که هدف به حداکثررساندن دقت است، مشکلساز نیست.
البته در کاربردهای عمومی، بودجه هر درخواست محدودیتی ندارد. البته ممکن است در برخی موارد برای بالابردن رتبهبندی هوش مصنوعی خاصی، از مکانیسمهای پرهزینه هوش مصنوعی برای افزایش دقت استفاده شود.
محققان میگویند باید بین ارزیابی مدلها با اهداف تحقیقاتی و مدلهای کاربردی عمومی تفاوت قایل شد. در تحقیقات، دقت اهمیت دارد و هزینههای هوش مصنوعی تا حد زیادی نادیده گرفته میشود. بااینحال، هنگام توسعه برنامههای کاربردی در دنیای واقعی، هزینهها نقش مهمی در شیوه پاسخدهی مدل هوش مصنوعی ایفا میکند.
برای نمونه، محققان مطالعهای موردی روی بنچمارک NovelQA (معیاری برای پاسخگویی به سؤالات در متون بسیار طولانی) انجام دادند. آنها دریافتند ممکن است این معیار در ارزیابی مدلهای کاربردی عمومی گمراهکننده باشد.
از سویی، در یادگیری تسکهای جدید، مدلهای یادگیری ماشینی اغلب میانبرهایی پیدا میکنند که به آنها اجازه میدهد در بنچمارکها امتیاز خوبی کسب کنند. بهعبارتی، این مدلها راههایی برای تقلب در آزمونهای بنچمارک پیدا میکند و نتایجی ارائه میدهد که در دنیای واقعی صحیح نیست.
پربیننده ترین
-
عکس مسی درآمد؛ آخرین توپ طلا با آرایشگر ویژه!
-
10 جایزه 5 میلیون تومانی برای کاربران آخرین خبر (مهلت شرکت در مسابقه تا 9 آذر تمدید شد.)
-
10 جایزه 5 میلیون تومانی برای کاربران آخرین خبر (مهلت شرکت در مسابقه تا 9 آذر تمدید شد.)
-
آخرین وضعیت راهها در چهارمین روز از سال جدید؛ محور چالوس از شنبه دوباره بسته میشود
-
زنده؛ بیرانوند در یک قدمی استقلال
-
"دنا پلاس اتومات" بخریم یا "تارا اتومات؟"/ مقایسه اختصاصی "آخرینخودرو" از دو خودروی پرطرفدار
-
چالش/ بازیکن داخل تصویر رو حدس بزن (16)
-
5 نشانه ضعیف شدن ریه ها و بهترین روش تقویت آن چیست؟
-
لندکروزر یا ۲۰۶؟ / مقایسه جالب "آخرینخودرو" به بهانه سخنان جنجالی میرسلیم
-
سپ، برترین شرکت در خاورمیانه شد
-
چالش/ بازیکن داخل تصویر رو حدس بزن (28)
-
ویدیو تست و بررسی فیدلیتی پرایم جدید در آخرین خودرو
-
چالش/ بازیکن داخل تصویر رو حدس بزن (14)
-
لحظه به لحظه با جدال پرسپولیس مقابل النصر
-
چالش/ بازیکن داخل تصویر رو حدس بزن (22)
-
یحیی مچ ساپینتو را خواباند / برد ارزشمند پرسپولیس در صدمین شهرآورد
-
چالش/ بازیکن داخل تصویر رو حدس بزن (19)
-
چالش/بازیکن داخل تصویر رو حدس بزن (11)
آخرین اخبار
-
رئال قرارداد کارواخال را تمدید کرد!
-
احتمال دعوت یک بازیکن قدیمی به تیم ملی
-
گزارش الرایة: قطر با تمامی تجهیزات مقابل ایران!
-
ملاقات با یکی از بهترین کامیون های تاریخ کشور
-
4 گوشه دنیا/ مغز مگس پیچیدهتر از آن است که فکر میکنید
-
استقلال از نایب قهرمان آسیا اتوبوس قرض گرفت!
-
آذری جهرمی: اگر میخواهیم هژمونی غرب را بشکنیم، کلیدش خدمت به مردم است
-
گوناگون/ پدربزرگ کبیر، پیرترین درخت جهان
-
طلسم شکست؛ رئال ژانویه بازیکن میخرد!
-
شاسی بلند خیره کننده «منصوری» با برچسب قیمتی 120 میلیارد تومانی!
-
باشگاه چادرملو: گولسیانی باید اخراج میشد!
-
طرح/ تهدیدهای دشمن فرصتی است برای رسوایی جبهۀ باطل
-
گوناگون/ ماهی پلک ندارد؛ بدون پلک چطور میخوابد؟
-
خط و نشان گربه سیاه پرسپولیس و استقلال
-
نینی جوجه تیغی وقتی تازه به دنیا میاد این شکلی هست
سایر اخبار مرتبط
نظرات
ثبت نظر
مهمترین اخبار
۱۵ بانک به خودشان ۱۸۸ همت وام دادند، به نهضت ملی مسکن هیچ!
یکشنبه 15 مهر 1403 - 14:58:14
افزایش 55 درصدی قیمت آب برای بدمصرفها
یکشنبه 15 مهر 1403 - 14:50:18
وزیر نفت: نقش سپاه در تامین امنیت تاسیسات نفتی برجسته است
یکشنبه 15 مهر 1403 - 14:20:45
قبض برق یک میلیون و ۸۰۰ هزار تومانی برای پرمصرفها
یکشنبه 15 مهر 1403 - 14:13:06
تماس تلفنی تبلیغاتی ممنوع شد
یکشنبه 15 مهر 1403 - 14:02:45