یکشنبه 08 مهر 1403 - 14:55
کابوس جدید برای انویدیا؛ اجرای مدلهای بزرگ هوش مصنوعی روی گرافیک 13 واتی!
شهر سخت افزار/ دانشمندان هوش مصنوعی دانشگاه کالیفرنیا موفق شدند روشی را برای اجرای مدلهای هوش مصنوعی بزرگ چندین میلیارد پارامتر را روی سیستمهای کوچک پیدا کنند. در روش جدید دیگر نیازی به کارتهای گرافیکی مانند H200 با توان مصرفی 1200 وات نبوده و یک پردازنده یا گرافیک 13 واتی نیز از عهده اجرای این مدلهای هوش مصنوعی برمیآید.
بر اساس گزارش tomshardware به تازگی یک مقاله تحقیقاتی توسط محققان دانشگاه کالیفرنیا منتشر شده که حاوی نکات جالبی درباره اجرای مدلهای بزرگ هوش مصنوعی روی سیستمهای کوچک نظیر لپ تاپ یا گوشی است.
دانشمندان این دانشگاه روش جدیدی را برای اجرای مدلهای هوش مصنوعی بزرگ با مقیاس چند میلیارد پارامتر روی یک دستگاه کوچک با توان 13 وات پیدا کردهاند. این توان در مقایسه با GPUهای مرکز داده مانند Nvidia H100 و H200 با 1200 وات توان بسیار کمتر است.
کابوس جدید برای انویدیا!
این امر میتواند نیاز به کارتهای گرافیک قدرتمند را از بین برده و به کابوسی برای انویدیا تبدیل شود. البته برای رسیدن به این هدف از یک سخت افزار اختصاصی استفاده شده است. در کنار آن باید به بهینهسازی تنظیمات مدلهای هوش مصنوعی و حذف ضرب ماتریس (MatMul) از آموزش LLM و فرآیندهای استنتاج اشاره کرد.
اما محققان برای حذف ضرب ماتریس در ابتدا یک سیستم عددی -1، 0 و 1 را به جای سیستم 0 و 1 پیاده سازی کرده تا به جای ضرب ماتریس از جمع کردن استفاده کنند تا حجم دستورات پردازشی تا حد زیادی کاهش یابد.
این روش جدید روی مدل LLaMa LLM متا اجرا شد که نتایج جالبی را در پی داشته است. Rui-Jie Zhu، یکی از مهندسان این پروژه اعلام کرده که ما پردازشهای گران قیمت را با عملیات ارزان تر جایگزین کردیم.
البته اینکه این روش روی همه مدلهای هوش مصنوعی یا LLM جواب بدهد یا نه، هنوز مشخص نشده است. اما اگر قابل اجرا باشد، میتوان انتظار داشت که چشمانداز هوش مصنوعی تغییرات بیسابقهای را تجربه کند.
پربیننده ترین
-
عکس مسی درآمد؛ آخرین توپ طلا با آرایشگر ویژه!
-
10 جایزه 5 میلیون تومانی برای کاربران آخرین خبر (مهلت شرکت در مسابقه تا 9 آذر تمدید شد.)
-
10 جایزه 5 میلیون تومانی برای کاربران آخرین خبر (مهلت شرکت در مسابقه تا 9 آذر تمدید شد.)
-
آخرین وضعیت راهها در چهارمین روز از سال جدید؛ محور چالوس از شنبه دوباره بسته میشود
-
زنده؛ بیرانوند در یک قدمی استقلال
-
"دنا پلاس اتومات" بخریم یا "تارا اتومات؟"/ مقایسه اختصاصی "آخرینخودرو" از دو خودروی پرطرفدار
-
چالش/ بازیکن داخل تصویر رو حدس بزن (16)
-
5 نشانه ضعیف شدن ریه ها و بهترین روش تقویت آن چیست؟
-
لندکروزر یا ۲۰۶؟ / مقایسه جالب "آخرینخودرو" به بهانه سخنان جنجالی میرسلیم
-
سپ، برترین شرکت در خاورمیانه شد
-
چالش/ بازیکن داخل تصویر رو حدس بزن (28)
-
ویدیو تست و بررسی فیدلیتی پرایم جدید در آخرین خودرو
-
چالش/ بازیکن داخل تصویر رو حدس بزن (14)
-
لحظه به لحظه با جدال پرسپولیس مقابل النصر
-
چالش/ بازیکن داخل تصویر رو حدس بزن (22)
-
یحیی مچ ساپینتو را خواباند / برد ارزشمند پرسپولیس در صدمین شهرآورد
-
چالش/ بازیکن داخل تصویر رو حدس بزن (19)
-
چالش/بازیکن داخل تصویر رو حدس بزن (11)
آخرین اخبار
-
تجربه سینا مهراد از بازی در فیلم «شادروان»
-
اجتماعات مردمی در محکوم کردن ترور سید مقاومت
-
چرا مولانا، چرا اکنون؟
-
مسمومیت ۳ عضو یک خانواده اهوازی با گاز CO
-
مداحی سید رضا نریمانی در منزل شهید نیلفروشان
-
واکنشهای سیاستمداران جهان به ترور سید مقاومت
-
عکس/ عرض تسلیت شهادت «سیدحسن نصرالله» در دفتر حزبالله در تهران
-
دیالوگ مورد علاقه سینا مهراد در نمایش «رستم و سهراب»
-
ثبت بیش از یک میلیون و ۹۰۰ هزار تردد در جادههای کهگیلویه و بویراحمد
-
سخنان دلنشین دکتر قمشه ای
-
قدیمیترین شاگرد امام خمینی(ره) درگذشت
-
روایت سینا مهراد از بازی در نقش «سهراب»
-
نماینده خرمآباد: بیشتر نمایندگان مجلس موافق رفع فیلترینگ هستند
-
دستور قاطع و فوری؛ صبر آنچلوتی تمام شد
-
شعرخوانی زیبای دکتر کاکاوند
سایر اخبار مرتبط
نظرات
ثبت نظر
مهمترین اخبار
خرید گندم از ۱۲ میلیون تن عبور کرد
یکشنبه 08 مهر 1403 - 14:34:36
بهترین مالیات برای دولتها
یکشنبه 08 مهر 1403 - 14:10:00
قیمت خرید تضمینی ۳۱ قلم محصول تعیین تکلیف شد
یکشنبه 08 مهر 1403 - 13:39:43
آدرس غلط بانکها؛ وام نهضت ملی مسکن در بنبست؟
یکشنبه 08 مهر 1403 - 13:04:30
کنایه جالب یک نماینده: اگر آقایان دنبال منابع اعتباری برای تسهیلات هستند، بگردند آقای عشقی را پیدا کنند!
یکشنبه 08 مهر 1403 - 12:52:01