ایده‌ی آلتمن برای استفاده از هوش مصنوعی به‌عنوان مشاور پزشکی در ابتدا کمی احمقانه به‌نظر می‌رسید و در حال حاضر نمی‌توان به این رویکرد اعتماد کرد. براساس تحقیقات جدید متخصصان پزشکی دانشگاه استنفورد، اگرچه ChatGPT می‌تواند آزمون مجوز پزشکی ایالات‌متحده را با موفقیت بگذراند، اما در پاسخ به سناریوهای پزشکی به‌طرز نگران‌کننده‌ای غیرقابل اعتماد است.

تحقیق دانشمندان استنفورد نشان می‌دهد تقریباً ۶۰ درصد از پاسخ‌های ChatGPT به موقعیت‌های پزشکی دنیای واقعی با نظر متخصصان انسانی در تضاد است یا به‌اندازه‌ی کافی با نظر پزشکان مطابقت ندارد.

محققان استنفورد در آزمایش خود ۶۴ سؤال پزشکی واقعی از ChatGPT پرسیدند از دوازده متخصص بالینی درخواست کردند پاسخ‌های هوش مصنوعی را مورد ارزیابی قرار دهند.

GPT-۴ جدیدترین و قدرتمندترین مدل زبان بزرگ جهان است که ChatGPT از آن استفاده می‌کند. آزمایش‌ها نشان می‌دهند بیش‌از ۹۰ درصد از پاسخ‌های این مدل هوش مصنوعی به‌اندازه‌ی کافی ایمن هستند اما نمی‌توان آن‌ها را الزماً دقیق درنظر گرفت.

به‌هر حال، ۴۱ درصد از پاسخ‌های هوش مصنوعی OpenAI با پاسخ‌های ارائه‌شده ازطرف متخصصان پزشکی در تضاد بود و ۲۹ درصد از آن‌ها به‌قدر مبهم یا نامرتبط بودند که حتی امکان ارزیابی آن‌ها وجود نداشت.

به گزارش فیوچریسم، برخی از افراد از ادعاهای مرتبط با مفید بودن هوش مصنوعی در زمینه‌ی مشاوره‌ی پزشکی، عقب‌نشینی کرده‌اند و درعوض آن را ابزار مفیدی برای بررسی مدارک پزشکی یا ارائه‌ی دستورالعمل به بیماران می‌دانند. مارک سنداک، دانشمند داده‌های بالینی دانشگاه دوک می‌گوید: «ما نباید به ادعای مفید نبودن هوش مصنوعی برای کمک به پزشکان اطمینان کنیم و این موضوعی است که باید به‌طور دقیق بررسی شود.»