این حادثه باعث شکل‌گیری دو پروژه شد که از هوش مصنوعی برای یافتن اشتباهات در مقالات علمی استفاده می‌کنند. پروژه Black Spatula یک ابزار هوش مصنوعی منبع باز است که تاکنون حدود ۵۰۰ مقاله را برای یافتن خطاها تجزیه و تحلیل کرده است. حاضران در این پروژه که حدود هشت توسعه‌دهنده فعال و صدها مشاور داوطلب هستند، هنوز خطاها را به صورت عمومی منتشر نکرده‌اند. خواکین گولوسو (Joaquin Gulloso)، محقق مستقل هوش مصنوعی مستقر در کارتاژنا، کلمبیا، که به هماهنگی پروژه کمک می‌کند، می‌گوید به جای اعلام عمومی مستقیما با نویسندگان ارتباط می‌گیرد. گولوسو می‌گوید: هم‌اکنون، خطاهای زیادی پیدا کرده‌ایم. این یک فهرست بزرگ است.

به نقل از نیچر، مت اشلیخت بنیانگذار (Matt Schlicht) و کارآفرین هوش مصنوعی یک پروژه دیگر که YesNoError نام دارد و از پروژه Black Spatula الهام گرفته شده است، را معرفی کرد.

این ابتکار که توسط ارز دیجیتال اختصاصی خود تامین مالی می‌شود، اهداف خود را حتی بالاتر از این هم قرار داده است. او می‌گوید: فکر کردم، چرا ما مانند دیگران، اسناد را مرور نمی‌کنیم؟ ابزار هوش مصنوعی آنها بیش از ۳۷ هزار مقاله را در طی دو ماه تجزیه و تحلیل کرده است. وب‌سایت آن مقاله‌هایی را که در آن‌ها ایراداتی پیدا کرده است علامت‌گذاری می‌کند.

هر دو پروژه از محققان می‌خواهند که قبل از ارسال کار به مجله از ابزارهای آنها استفاده کنند و مجلات قبل از انتشار از آنها استفاده کنند، ایده این است که از اشتباهات و همچنین از تقلب جلوگیری شود.

این پروژه‌ها دارای پشتیبانی آزمایشی از سوی کارمندان دانشگاهی هستند. اما نگرانی‌هایی در مورد خطرات احتمالی نیز وجود دارد. میشل نویتن (Michèle Nuijten)، محقق فراعلم در دانشگاه تیلبورگ هلند، می‌گوید که مشخص نیست که این ابزارها تا چه اندازه می‌توانند اشتباهات را تشخیص دهند و آیا ادعاهای آنها تایید شده است یا خیر. او می‌گوید: اگر به مردم اتهامی بزنید و بعد معلوم شود که اشتباهی در کار نبوده است، ممکن است به شهرت آنها آسیب وارد شود.

برخی دیگر می‌گویند که اگرچه خطراتی وجود دارد و پروژه‌ها باید در مورد آنچه ادعا می‌کنند محتاط باشند، اما هدف درست است. جیمز هدرز (James Heathers)، متخصص پزشکی قانونی در دانشگاه لینائوس در وکسیو، سوئد، می‌گوید: در اولین قدم، هوش مصنوعی می‌تواند برای ارزیابی مقالات برای بررسی بیشتر مورد استفاده قرار گیرد. او می‌افزاید: من از این ابتکارات حمایت می‌کنم.

کارمندان هوش مصنوعی

بسیاری از محققان حرفه خود را وقف کشف نگرانی‌های مربوط به یکپارچگی در مقالات کرده‌اند و ابزارهایی برای بررسی برخی از جنبه‌های مقاله در حال حاضر وجود دارد. اما طرفداران امیدوارند که هوش مصنوعی بتواند طیف وسیع‌تری از بررسی‌ها را انجام دهد و حجم بیشتری از اوراق را مدیریت کند.

هر دو پروژه Black Spatula و YesNoError از مدل‌های زبانی بزرگ (LLMs) برای شناسایی طیف وسیعی از خطاها در مقالات، از جمله خطاهای واقعی و همچنین در محاسبات، روش‌شناسی و ارجاع استفاده می‌کنند.

سیستم‌ها ابتدا اطلاعات شامل جداول و تصاویر را از مقالات استخراج می‌کنند. سپس مجموعه‌ای از دستورالعمل‌های پیچیده را ایجاد می‌کنند که به یک مدل «استدلالی» از مدل زبانی بزرگ می‌گوید که به چه چیزی نگاه می‌کند و چه نوع خطاهایی را باید دنبال کند. این مدل ممکن است یک مقاله را چندین بار تجزیه و تحلیل کند، یا هر بار انواع مختلف خطا را اسکن کند یا نتایج را بررسی کند. هزینه تجزیه و تحلیل هر مقاله بسته به طول آن متغیر است.

نرخ مثبت کاذب یعنی مواردی که هوش مصنوعی در آنها ادعا می‌کند خطا وجود ندارد، یک مانع بزرگ است. گولوسو می‌گوید در حال حاضر، سیستم پروژه Black Spatula در حدود ۱۰ درصد از مواقع خطا دارد.