یکشنبه 15 مهر 1403 - 17:57
محققان: بنچمارکهای مربوط به هوش مصنوعی میتوانند گمراهکننده باشند
دیجیاتو/ محققان میگویند برخی بنچمارکها نسبت هزینه به دقت در ارائه پاسخ توسط یک هوش مصنوعی را در نظر نمیگیرند.
پژوهش جدید محققان دانشگاه پرینستون نقصهای متعددی را در بنچمارکهای هوش مصنوعی و شیوههای ارزیابی آنها نشان داده است که مانع میشود در بررسی برنامههای کاربردی در دنیای واقعی مفید باشند. محققان تأکید دارند که این بنچمارکها نسبت هزینه پاسخدادن مدل هوش مصنوعی به دقت آن را در نظر نمیگیرند.
براساس گزارش VentureBeat، سنجش مدلهای مختلف هوش مصنوعی با بنچمارکهای ثابت نمیتواند نتایج صحیحی در دنیای واقعی ارائه دهد. یکی از مسائل مهمی که محققان در پژوهش خود بر آن تأکید میکنند، درنظرنگرفتن شیوه کنترل هزینه در مدلهای هوش مصنوعی مختلف است.
بهطورکلی محققان هشدار میدهند که این خطاها باعث میشود دقت هوش مصنوعی غلط تخمین زده شود و درباره قابلیتهای هوش مصنوعی خوشبینی بیشازحد باشد.
بنچمارکهای گمراهکننده در ارزیابی هوش مصنوعی
برای افزایش دقت، برخی سیستمهای هوش مصنوعی چندین پاسخ تولید میکنند و از مکانیسمهایی مختلفی برای انتخاب بهترین پاسخ بهره میبرند. گاهی نمونهبرداری از صدها یا هزاران پاسخ میتواند دقت هوش مصنوعی را افزایش دهد. درحالیکه این رویکرد میتواند عملکرد را بهبود بخشد، هزینه محاسباتی قابلتوجهی دارد. این هزینهها در موارد تحقیقاتی که هدف به حداکثررساندن دقت است، مشکلساز نیست.
البته در کاربردهای عمومی، بودجه هر درخواست محدودیتی ندارد. البته ممکن است در برخی موارد برای بالابردن رتبهبندی هوش مصنوعی خاصی، از مکانیسمهای پرهزینه هوش مصنوعی برای افزایش دقت استفاده شود.
محققان میگویند باید بین ارزیابی مدلها با اهداف تحقیقاتی و مدلهای کاربردی عمومی تفاوت قایل شد. در تحقیقات، دقت اهمیت دارد و هزینههای هوش مصنوعی تا حد زیادی نادیده گرفته میشود. بااینحال، هنگام توسعه برنامههای کاربردی در دنیای واقعی، هزینهها نقش مهمی در شیوه پاسخدهی مدل هوش مصنوعی ایفا میکند.
برای نمونه، محققان مطالعهای موردی روی بنچمارک NovelQA (معیاری برای پاسخگویی به سؤالات در متون بسیار طولانی) انجام دادند. آنها دریافتند ممکن است این معیار در ارزیابی مدلهای کاربردی عمومی گمراهکننده باشد.
از سویی، در یادگیری تسکهای جدید، مدلهای یادگیری ماشینی اغلب میانبرهایی پیدا میکنند که به آنها اجازه میدهد در بنچمارکها امتیاز خوبی کسب کنند. بهعبارتی، این مدلها راههایی برای تقلب در آزمونهای بنچمارک پیدا میکند و نتایجی ارائه میدهد که در دنیای واقعی صحیح نیست.
پربیننده ترین
-
عکس مسی درآمد؛ آخرین توپ طلا با آرایشگر ویژه!
-
10 جایزه 5 میلیون تومانی برای کاربران آخرین خبر (مهلت شرکت در مسابقه تا 9 آذر تمدید شد.)
-
10 جایزه 5 میلیون تومانی برای کاربران آخرین خبر (مهلت شرکت در مسابقه تا 9 آذر تمدید شد.)
-
آخرین وضعیت راهها در چهارمین روز از سال جدید؛ محور چالوس از شنبه دوباره بسته میشود
-
زنده؛ بیرانوند در یک قدمی استقلال
-
"دنا پلاس اتومات" بخریم یا "تارا اتومات؟"/ مقایسه اختصاصی "آخرینخودرو" از دو خودروی پرطرفدار
-
چالش/ بازیکن داخل تصویر رو حدس بزن (16)
-
5 نشانه ضعیف شدن ریه ها و بهترین روش تقویت آن چیست؟
-
لندکروزر یا ۲۰۶؟ / مقایسه جالب "آخرینخودرو" به بهانه سخنان جنجالی میرسلیم
-
سپ، برترین شرکت در خاورمیانه شد
-
چالش/ بازیکن داخل تصویر رو حدس بزن (28)
-
ویدیو تست و بررسی فیدلیتی پرایم جدید در آخرین خودرو
-
چالش/ بازیکن داخل تصویر رو حدس بزن (14)
-
لحظه به لحظه با جدال پرسپولیس مقابل النصر
-
چالش/ بازیکن داخل تصویر رو حدس بزن (22)
-
یحیی مچ ساپینتو را خواباند / برد ارزشمند پرسپولیس در صدمین شهرآورد
-
چالش/ بازیکن داخل تصویر رو حدس بزن (19)
-
چالش/بازیکن داخل تصویر رو حدس بزن (11)
آخرین اخبار
-
معترضان به اسرائیل در ترکیه: رژیم صهیونیستی ویران خواهد شد
-
فرزندان شما به حقیقت فرزندان شما نیستند
-
تلگرام امکان تبدیل هدیهها به NFT روی بستر بلاکچین را فراهم میکند
-
تقاضای طلاق به خاطر کثیفبودن همسر
-
مصاف ستارههای کشتی ایران و روسیه؛کامران قاسمپور در ۸۶ کیلو
-
گل اول ناتینگهام فارست به چلسی توسط کریس وود
-
شهادت ۴۰ اسیر فلسطینی در زندانهای رژیم صهیونیستی طی یک سال گذشته
-
باقری: یک سال هست صهیونیستها تمام غزه را شخم زدند و نتوانستند کاری انجام بدهند
-
مانور خطرناک خلبان F 16 روی سر مردم در ترکیه
-
تصویر وایرال شده از تجمعات اروپا درحمایت از لبنان و غزه
-
مصاف ستارههای کشتی ایران و روسیه؛کامران قاسمپور در ۸۶ کیلو
-
دومین دادگاه رسیدگی به پرونده ترور شهید سردار سلیمانی برگزار شد
-
رونق بازار کتاب با پخش یک سریال
-
اولین نمایش «شنگول منگول» در جشنواره فیلم کودکونوجوان
-
کشف ۵ تن گردوی خارجی قاچاق
سایر اخبار مرتبط
نظرات
ثبت نظر
مهمترین اخبار
تعداد جلسات هفتگی حراج سکه افزایش می یابد
یکشنبه 15 مهر 1403 - 17:15:00
تحلیلی از آخرین وضعیت بازار سهام
یکشنبه 15 مهر 1403 - 20:30:00
مروری به اخبار مهم هفته از نامه جعلی بانک مرکزی تا درخواست 100 همت برای حساب شخصی
یکشنبه 15 مهر 1403 - 19:30:00
دستور دلاری پزشکیان به فرزین
یکشنبه 15 مهر 1403 - 18:00:00
پویش (ریشه در سنگ) در نمایشگاه بینالمللی سنگ ایران محلات - نیم ور ؛ تلاش برای حفظ محیط زیست از دل صنعت
یکشنبه 15 مهر 1403 - 16:43:12