دکتر سعیده ممتازی؛ عضو هیات علمی دانشکده مهندسی کامپیوتر دانشگاه امیرکبیر و سرپرست آزمایشگاه پردازش زبان طبیعی، گفت: در یک نمونه همکاری موفق میان صنعت و دانشگاه، متخصصان مرکز تحقیقات هوش مصنوعی یکی از شرکت‌های دانش‌بنیان و آزمایشگاه پردازش زبان طبیعی دانشگاه صنعتی امیرکبیر جامع‌‎ترین و قدرتمندترین سیستم ارزیابی مدل‌های زبانی فارسی (Open Persian LLM Leaderboard) را توسعه دادند.

وی افزود: با توسعه این سیستم قدرتمند ارزیابی مدل‌های زبانی فارسی، زیست‌بوم هوش مصنوعی کشور از این پس به سنجه‌ای دقیق و یکپارچه‌ برای ارزیابی LLMهای فارسی مجهز خواهند شد.

ممتازی با اشاره به ویژگی‌های این سیستم ارزیابی مدل‌های زبانی فارسی، اظهار کرد: این سیستم ارزیابی شامل بیش از ۴۰ هزار نمونه است که بخشی از آنها از چندین بنچ‌مارک معتبر جهانی به فارسی برگردانده شده و بخشی دیگر در داخل کشور از پایه تهیه و برچسب‌زنی شده‌اند.

این عضو هیات علمی دانشکده مهندسی کامپیوتر دانشگاه صنعتی امیرکبیر خاطر نشان کرد: دادگان ارزیابی برای این سیستم در حال افزایش و به‌روزرسانی است تا ضریب دقت در ارزیابی‌ها بهبود یابد. 

به گفته وی، مدل ارائه شده در این پروژه، در کنار برترین بنچ‌مارک‌های جهانی قرار می‌گیرد، ضمن اینکه بخشی از دادگان این سیستم ارزیابی (بنچ‌مارک) هم اکنون به صورت متن باز در دسترس عموم قرار گرفته است.