یکشنبه 08 مهر 1403 - 16:52
کابوس جدید برای انویدیا؛ اجرای مدلهای بزرگ هوش مصنوعی روی گرافیک 13 واتی!
شهر سخت افزار/ دانشمندان هوش مصنوعی دانشگاه کالیفرنیا موفق شدند روشی را برای اجرای مدلهای هوش مصنوعی بزرگ چندین میلیارد پارامتر را روی سیستمهای کوچک پیدا کنند. در روش جدید دیگر نیازی به کارتهای گرافیکی مانند H200 با توان مصرفی 1200 وات نبوده و یک پردازنده یا گرافیک 13 واتی نیز از عهده اجرای این مدلهای هوش مصنوعی برمیآید.
بر اساس گزارش tomshardware به تازگی یک مقاله تحقیقاتی توسط محققان دانشگاه کالیفرنیا منتشر شده که حاوی نکات جالبی درباره اجرای مدلهای بزرگ هوش مصنوعی روی سیستمهای کوچک نظیر لپ تاپ یا گوشی است.
دانشمندان این دانشگاه روش جدیدی را برای اجرای مدلهای هوش مصنوعی بزرگ با مقیاس چند میلیارد پارامتر روی یک دستگاه کوچک با توان 13 وات پیدا کردهاند. این توان در مقایسه با GPUهای مرکز داده مانند Nvidia H100 و H200 با 1200 وات توان بسیار کمتر است.
کابوس جدید برای انویدیا!
این امر میتواند نیاز به کارتهای گرافیک قدرتمند را از بین برده و به کابوسی برای انویدیا تبدیل شود. البته برای رسیدن به این هدف از یک سخت افزار اختصاصی استفاده شده است. در کنار آن باید به بهینهسازی تنظیمات مدلهای هوش مصنوعی و حذف ضرب ماتریس (MatMul) از آموزش LLM و فرآیندهای استنتاج اشاره کرد.
اما محققان برای حذف ضرب ماتریس در ابتدا یک سیستم عددی -1، 0 و 1 را به جای سیستم 0 و 1 پیاده سازی کرده تا به جای ضرب ماتریس از جمع کردن استفاده کنند تا حجم دستورات پردازشی تا حد زیادی کاهش یابد.
این روش جدید روی مدل LLaMa LLM متا اجرا شد که نتایج جالبی را در پی داشته است. Rui-Jie Zhu، یکی از مهندسان این پروژه اعلام کرده که ما پردازشهای گران قیمت را با عملیات ارزان تر جایگزین کردیم.
البته اینکه این روش روی همه مدلهای هوش مصنوعی یا LLM جواب بدهد یا نه، هنوز مشخص نشده است. اما اگر قابل اجرا باشد، میتوان انتظار داشت که چشمانداز هوش مصنوعی تغییرات بیسابقهای را تجربه کند.
پربیننده ترین
-
عکس مسی درآمد؛ آخرین توپ طلا با آرایشگر ویژه!
-
10 جایزه 5 میلیون تومانی برای کاربران آخرین خبر (مهلت شرکت در مسابقه تا 9 آذر تمدید شد.)
-
10 جایزه 5 میلیون تومانی برای کاربران آخرین خبر (مهلت شرکت در مسابقه تا 9 آذر تمدید شد.)
-
آخرین وضعیت راهها در چهارمین روز از سال جدید؛ محور چالوس از شنبه دوباره بسته میشود
-
زنده؛ بیرانوند در یک قدمی استقلال
-
"دنا پلاس اتومات" بخریم یا "تارا اتومات؟"/ مقایسه اختصاصی "آخرینخودرو" از دو خودروی پرطرفدار
-
چالش/ بازیکن داخل تصویر رو حدس بزن (16)
-
5 نشانه ضعیف شدن ریه ها و بهترین روش تقویت آن چیست؟
-
لندکروزر یا ۲۰۶؟ / مقایسه جالب "آخرینخودرو" به بهانه سخنان جنجالی میرسلیم
-
سپ، برترین شرکت در خاورمیانه شد
-
چالش/ بازیکن داخل تصویر رو حدس بزن (28)
-
ویدیو تست و بررسی فیدلیتی پرایم جدید در آخرین خودرو
-
چالش/ بازیکن داخل تصویر رو حدس بزن (14)
-
لحظه به لحظه با جدال پرسپولیس مقابل النصر
-
چالش/ بازیکن داخل تصویر رو حدس بزن (22)
-
یحیی مچ ساپینتو را خواباند / برد ارزشمند پرسپولیس در صدمین شهرآورد
-
چالش/ بازیکن داخل تصویر رو حدس بزن (19)
-
چالش/بازیکن داخل تصویر رو حدس بزن (11)
آخرین اخبار
-
توقف روند صعودی قیمت طلا در مشهد
-
سردار وحیدی: همه فرماندهان ترور شده حزبالله جایگزین شدند
-
کاپیتان سابق پرسپولیس، پدیده تیم یحیی!
-
تجمع ضدصهیونیستی دانشجویان دانشگاه امیرکبیر
-
وزیر دفاع: سردار نیلفروشان پاداش عمری مجاهدت خود را گرفت
-
تصویر گودالی که بر اثر بمباران جنگندههای اسرائیلی در ضاحیه بیروت ایجاد شد
-
طنین شعار مرگ بر اسرائیل در میدان شهدای مشهد
-
نصیری: هزینه اعزام به مسابقات جهانی مویتای با ورزشکاران بود
-
خاطره فریدون جیرانی از اولین دیدارش با امین تارخ در سال 52
-
اعلام علت وقوع حادثه معدن طبس تا ۱۰ روز آینده
-
مریل استریپ به تلویزیون میآید
-
با این گره دیگه روسریت تکون نمیخوره
-
روایت سینا مهراد از تاثیر ساعد سهیلی در زندگیش
-
تراژدی مرگ خوشنویس جوان در پشت صحنه یک سریال پرآوازه
-
اختصاص بخشی از درآمد فیلم «قلب رقه» به جبهه مقاومت
سایر اخبار مرتبط
نظرات
ثبت نظر
مهمترین اخبار
تحلیل تسنیم از آغاز کاهش قیمتها در بازار طلا و ارز
یکشنبه 08 مهر 1403 - 16:15:14
تحلیلی از نوسانات دلار پس از ترور در لبنان
یکشنبه 08 مهر 1403 - 17:30:00
هزینه مسکن در ایران، بالاتر از سقف اتحادیه اروپا!
یکشنبه 08 مهر 1403 - 16:30:00
توپ عملکرد ضعیف بانکها در زمین وزارت راه و شهرسازی
یکشنبه 08 مهر 1403 - 16:00:00
دبیر جدید شورای عالی مناطق آزاد منصوب شد
یکشنبه 08 مهر 1403 - 15:47:25