زومیت/ هوش مصنوعی طراحی شده بود تا به یاری پزشکان بیاید، اما اکنون با تولید ساختارهای غیرواقعی از مغز انسان، موجب نگرانی‌های جدی در جامعه پزشکی شده است.

کارکنان حوزه سلامت به‌طور فزاینده‌ای نسبت به استفاده گسترده جامعه پزشکی از ابزارهای هوش مصنوعی مولد که مستعد خطا هستند، احساس نگرانی می‌کنند.

رواج فناوری هوش مصنوعی در پزشکی به‌طور مکرر به دلیل «توهمات» گسترده با مانع مواجه شده است. توهمات هوش مصنوعی به دروغ‌های متقاعدکننده و اطلاعات جعلی ساخته‌شده توسط هوش مصنوعی اشاره دارد.

یکی از خطاهای فاحش هوش مصنوعی چنان قانع‌کننده بود که بیش از یک سال طول کشید تا کشف شود. پژوهشگران گوگل در مقاله‌ای تحقیقاتی در ماه مه ۲۰۲۴ که مربوط به معرفی مدل هوش مصنوعی حوزه سلامت به نام Med-Gemini بود، نشان دادند این مدل قادر به تحلیل اسکن‌های مغزی برای تشخیص بیماری‌های مختلف است.

در حوزه پزشکی، توهمات تولیدشده توسط هوش مصنوعی می‌توانند منجر به سردرگمی شوند و حتی جان انسان‌ها را به خطر بیندازند

مدل مد-جمنای مدعی شد که یک «سکته قدیمی در گانگلیون بازیلر سمت چپ» شناسایی کرده است. این درحالی است که در بدن انسان عضوی به نام گانگلیون بازیلر (left basilar ganglia) اساساً وجود ندارد.

به‌نظر می‌رسد هوش مصنوعی واژه‌های basal ganglia (گانگلیون قاعده‌ای: ناحیه‌ای از مغز مرتبط با حرکات ارادی و شکل‌گیری عادت‌ها) و basilar artery (شریان قاعده‌ای یا بازیلر: یکی از رگ‌های خونی اصلی در پایه ساقه مغز) را با هم اشتباه گرفته است. گوگل این خطا را به اشتباه تایپی ساده‌ای در نوشتن basal ganglia نسبت داد.

این افشاگری خجالت‌آور بار دیگر بر نارسایی‌های جدی و ماندگار فناوری هوش مصنوعی تأکید می‌کند. حتی پیشرفته‌ترین مدل‌های «استدلالی» شرکت‌هایی مانند گوگل و اوپن‌ای‌آی همچنان درحال تولید اطلاعات نادرست هستند و این اطلاعات از دل حجم عظیمی از داده‌های اینترنتی ساخته شده‌اند.

اینگونه اشتباهات در جستجوهای آنلاین، ممکن است باعث سردرگمی کاربران یا اختلال در تلاش‌های بررسی صحت اطلاعات شوند. اما در محیط‌های درمانی، چنین اشتباهاتی می‌توانند عواقب مرگبار داشته باشند. هرچند به‌نظر نمی‌رسد خطای گوگل به آسیب واقعی منجر شده باشد، به گفته کارشناسان، این اتفاق پیش‌زمینه‌ای نگران‌کننده را رقم می‌زند. در حوزه پزشکی، توهمات تولیدشده توسط هوش مصنوعی به‌راحتی می‌توانند به سردرگمی منجر شوند و حتی جان انسان‌ها را به خطر بیندازند.
گوگل سال گذشته از هوش مصنوعی خود در حوزه سلامت به عنوان ابزاری با «پتانسیل قابل توجه در پزشکی» یاد کرده بود و ادعا می‌کرد می‌تواند برای تشخیص بیماری‌ها در تصاویر رادیولوژی مانند اشعه ایکس، سی‌تی‌اسکن و غیره به کار گرفته شود.پس از آن‌که دکتر مور اشتباه مقاله پژوهشی را به گوگل اطلاع داد، کارکنان این شرکت آن را به عنوان خطای تایپی توجیه کردند. گوگل در پست وبلاگی به‌روزرسانی‌شده، نوشت: «واژه basilar یک اشتباه رایج در رونویسی به‌جای basal است که مد-جمنای از داده‌های آموزشی خود یاد گرفته، هرچند معنی کلی گزارش تغییری نکرده است.» با‌این‌حال، مقاله علمی مذکور همچنان در زمان نگارش به اشتباه از «گانگلیون بازیلر» نام می‌برد.مشکلی که از آن صحبت شد، فقط به مد-جینای ختم نمی‌شود. مدل پیشرفته‌تر گوگل با نام MedGemma نیز بسته به نحوه طرح پرسش‌ها، پاسخ‌های متفاوتی ارائه می‌دهد و گاهی دچار خطا می‌شود. جودی گیکویا، استاد رادیولوژی و انفورماتیک در دانشگاه اموری می‌گوید: «ماهیت این مدل‌ها این است که تمایل به ساختن اطلاعات دارند و هیچ‌گاه نمی‌گویند نمی‌دانم که این در حوزه‌هایی با حساسیت بالا مانند پزشکی مشکل بسیار بزرگی است.»

برخی کارشناسان هشدار داده‌اند که ما با شتاب‌زدگی درحال به‌کارگیری هوش مصنوعی در محیط‌های بالینی هستیم و این روند نیازمند دقت و احتیاط بسیار بیشتری است. در این میان، وظیفه نظارت بر خروجی‌های این هوش مصنوعی‌های توهم‌زا همچنان بر دوش انسان‌ها خواهد بود و این کار می‌تواند به شکل متناقضی باعث کاهش بهره‌وری شود.

گوگل در ماه مارس اعلام کرد که ویژگی جستجوی مبتنی بر هوش مصنوعی خود، موسوم به AI Overviews که به‌طور گسترده‌ای مستعد خطا است، شروع به ارائه مشاوره‌های سلامت خواهد کرد. همچنین از «همکار علمی هوش مصنوعی» نیز رونمایی کرد که قرار است به انسان‌ها در کشف داروهای جدید و سایر اکتشافات کمک کند. با‌این‌حال، اگر خروجی‌های چنین سیستم‌هایی تحت نظارت و بررسی دقیق قرار نگیرند، جان انسان‌ها ممکن است در معرض خطر قرار گیرد.