جمعه 06 مهر 1403 - 22:57
دیپمایند گوگل با معماری جدید PEER عملکرد مدلهای هوش مصنوعی را بهبود میبخشد
دیجیاتو/ گوگل با معرفی معماری PEER قصد دارد محدودیتهای مدلهای هوش مصنوعی را برطرف کند و هزینهها را پایین بیاورد.
تکنیک «ترکیب متخصصان» (MoE) به رویکردی محبوب برای افزایش مقیاس مدلهای زبانی بزرگ بدون افزایش هزینههای محاسباتی تبدیل شده است. اکنون دیپمایند گوگل با معرفی معماری PEER قصد دارد محدودیتهای این تکنیک را برطرف کند تا عملکرد هوش مصنوعی را بهبود دهد و هزینههای توسعه آن را تعدیل کند.
در تکنیک MoE بهجای استفاده از کل ظرفیت مدل برای هر ورودی، دادهها به ماژولهای کوچکی موسوم به «متخصص» هدایت میشوند. بااینحال، تکنیکهای فعلی MoE محدودیتهایی دارند که آنها را منحصر به تعداد نسبتاً کمی از این متخصصان میکند. دیپمایند گوگل در مقالهای جدید، معماری PEER را معرفی کرده که میتواند مدلهای MOE را به میلیونها متخصص تقسیم کند و عملکرد محاسباتی مدلهای زبانی بزرگ را بهبود بخشد.
چندین مدل هوش مصنوعی محبوب ازجمله Mistral ،Grok و GPT-4 از تکنیک MoE بهره میبرند.
معماری جدید PEER دیپمایند گوگل
براساس گزارش VentureBeat، معماری جدید محققان دیپمایند این باور قدیمی را زیر سؤال میبرد که مدلهای MoE با تعداد محدودی از «متخصصان» به اوج بازدهی میرسند. PEER نشان میدهد با استفاده از مکانیسمهای بازیابی و مسیریابی مناسب، میتوان MoE را به میلیونها «متخصص» تقسیم کرد. این رویکرد میتواند در کاهش بیشتر هزینهها و پیچیدگی آموزش مؤثر باشد و به ارائه مدلهای زبانی بسیار بزرگ کمک کند.
چند سال گذشته، مشخص شد افزایش مقیاس مدلهای زبانی با افزایش تعداد پارامترهای آنها عملکرد و قابلیتهای جدید را بهبود میدهد. همچنین محققان دریافتهاند که افزایش «دانهبندی» (Granularity) یک مدل MOE که به تعداد متخصصان آن اشاره دارد، میتواند منجر به افزایش عملکرد شود، بهویژه زمانی که همراه افزایش اندازه مدل و دادههای آموزشی باشد.
همچنین MoE با دانهبندی بالا میتواند مدلها را قادر سازد تا دانش جدید را مؤثرتر بیاموزند. بااینحال یکی از محدودیتهای فعلی این است که این مدلها معمولاً مسیریابهای ثابتی دارند که برای تعداد خاصی از متخصصان طراحی شدهاند و با اضافه شدن متخصصان جدید نیاز به تنظیم مجدد دارند.
اکنون معماری PEER به مسائل و محدودیتهای مقیاسبندی MoE میپردازد. برای هر ورودی، PEER ابتدا از محاسبات اولیه سریع ایجاد فهرست کوتاهی از گزینههای مختلف برای انتخاب و فعالکردن متخصصان مناسب استفاده میکند. این مکانیسم MoE را قادر میسازد تا تعداد بسیار زیادی از متخصصان را بدون کاهش سرعت مدیریت کند.
گوگل احتمالاً از معماری PEER در مدلهای جمینای 1.5 استفاده خواهد کرد.
پربیننده ترین
-
عکس مسی درآمد؛ آخرین توپ طلا با آرایشگر ویژه!
-
10 جایزه 5 میلیون تومانی برای کاربران آخرین خبر (مهلت شرکت در مسابقه تا 9 آذر تمدید شد.)
-
10 جایزه 5 میلیون تومانی برای کاربران آخرین خبر (مهلت شرکت در مسابقه تا 9 آذر تمدید شد.)
-
آخرین وضعیت راهها در چهارمین روز از سال جدید؛ محور چالوس از شنبه دوباره بسته میشود
-
زنده؛ بیرانوند در یک قدمی استقلال
-
"دنا پلاس اتومات" بخریم یا "تارا اتومات؟"/ مقایسه اختصاصی "آخرینخودرو" از دو خودروی پرطرفدار
-
چالش/ بازیکن داخل تصویر رو حدس بزن (16)
-
5 نشانه ضعیف شدن ریه ها و بهترین روش تقویت آن چیست؟
-
لندکروزر یا ۲۰۶؟ / مقایسه جالب "آخرینخودرو" به بهانه سخنان جنجالی میرسلیم
-
سپ، برترین شرکت در خاورمیانه شد
-
چالش/ بازیکن داخل تصویر رو حدس بزن (28)
-
ویدیو تست و بررسی فیدلیتی پرایم جدید در آخرین خودرو
-
چالش/ بازیکن داخل تصویر رو حدس بزن (14)
-
لحظه به لحظه با جدال پرسپولیس مقابل النصر
-
چالش/ بازیکن داخل تصویر رو حدس بزن (22)
-
یحیی مچ ساپینتو را خواباند / برد ارزشمند پرسپولیس در صدمین شهرآورد
-
چالش/ بازیکن داخل تصویر رو حدس بزن (19)
-
چالش/بازیکن داخل تصویر رو حدس بزن (11)
آخرین اخبار
-
بندِ حیاتی برجام در اکتبر 2025
-
دفتر رسانه ای حزب الله در واکنش به اخبار موجود: حقیقی نیست
-
عضوگیری نظامی آمریکا در خاورمیانه
-
واکنش حماس به اظهارات نتانیاهو در مجمع عمومی سازمان ملل
-
بادامکی: وضعیت سهمیه نبیل باهوی نامشخص است
-
بادامکی: سعید مهری را گاریدو تایید کرد
-
دپوی خودرو در پارکینگها، احتکار یا روال عادی؟
-
اسلامی خواه: سه امتیاز خیلی مهمی بود
-
اجتماع یمنیها در حمایت از مردم فلسطین و لبنان
-
بادامکی: پرسپولیس مخالف قانون سقف قرارداد است!
-
نقاشی جدید حسن روحالامین برای سیّدحسن نصرالله
-
دیدار صمیمانه سیدحسن خمینی با کاندیدای انتخابات ریاست جمهوری ۱۴۰۳
-
بادامکی: بیرانوند با ما قرارداد داشت اما...
-
انتظاری و کریمی: آدم دلش نمیآید در این جو خوب نباشد
-
تصاویر هوایی از برخی مناطق در بعلبک لبنان پیش و پس از حملات اسرائیل
سایر اخبار مرتبط
نظرات
ثبت نظر
مهمترین اخبار
دپوی خودرو در پارکینگها، احتکار یا روال عادی؟
جمعه 06 مهر 1403 - 22:38:00
چرا ایرلند طلب 14 میلیارد دلاری از اپل را نمی گیرد؟
جمعه 06 مهر 1403 - 21:10:21
پیش بینی بورس فردا شنبه ۷ مهر ۱۴۰۳
جمعه 06 مهر 1403 - 20:00:00
پیش بینی قیمت طلا و سکه ۷ مهر ۱۴۰۳
جمعه 06 مهر 1403 - 22:10:00
رئیس انجمن تولیدکنندگان طلا: ایران جزو ۷ کشور برتر در صنعت جواهر است
جمعه 06 مهر 1403 - 18:00:00