از سوی دیگر، بررسی‌های استاندارد هوش مصنوعی اغلب بر اساس آزمون‌های از پیش تعریف‌شده انجام می‌شود که اطلاعات کامل و واضحی در اختیار مدل‌های هوش مصنوعی قرار می‌دهند. این شکاف میان شرایط واقعی و روش‌های ارزیابی، ضرورت تحقیق در این حوزه را دوچندان می‌کند.

گروهی از محققان در دانشگاه هاروارد و استنفورد پژوهشی انجام داده‌اند که توانایی مدل‌های هوش مصنوعی در شرایط واقعی را بررسی می‌کند. این تیم برای این منظور، یک چارچوب جدید ارزیابی طراحی کرده‌اند که به کمک آن، هوش مصنوعی در محیط‌هایی شبیه‌سازی‌شده برای واقعیت آزمایش می‌شود.

پژوهشگران این تحقیق، از چارچوبی با عنوان CRAFT-MD استفاده کرده‌اند تا عملکرد این مدل‌ها را در گفتگوهای طبیعی بیمار و پزشک ارزیابی کنند.

برای انجام این پژوهش، از دو عامل هوش مصنوعی استفاده شد: یکی نقش بیمار را ایفا می‌کرد و دیگری به ارزیابی پاسخ‌های هوش مصنوعی می‌پرداخت. این سیستم، تعاملاتی مانند پرسیدن تاریخچه بیماری، بررسی علائم و داروها را شبیه‌سازی کرد. نتایج حاصل از این تعاملات، سپس توسط متخصصان انسانی تحلیل و صحت تشخیص‌های نهایی مدل‌ها بررسی شد.

بر اساس یافته‌های پژوهش، مدل‌های هوش مصنوعی در پاسخ به پرسش‌های استاندارد عملکرد بسیار خوبی داشتند، اما در تعاملات پیچیده‌تر دچار ضعف شدند. این مدل‌ها معمولاً در پرسیدن سؤالات مناسب برای جمع‌آوری اطلاعات مهم یا تشخیص‌های دقیق در شرایط اطلاعات ناقص مشکل داشتند.

نتایج نشان دادند که این ابزارها هنوز برای استفاده در محیط‌های بالینی آماده نیستند. لذا پژوهشگران پیشنهاد کردند که مدل‌ها باید برای مدیریت اطلاعات پراکنده و تعاملات غیرساختاریافته بهینه شوند. همچنین، افزودن قابلیت‌هایی مانند تفسیر داده‌های تصویری یا تحلیل رفتارهای غیرکلامی به این ابزارها می‌تواند کارایی آن‌ها را افزایش دهد.

این پژوهش اهمیت ویژه‌ای در آینده پزشکی دارد؛ چرا که ابزارهای هوش مصنوعی می‌توانند در بهبود تشخیص بیماری‌ها، کاهش هزینه‌ها و افزایش دقت درمان‌ها نقش مهمی ایفا کنند. اما برای تحقق این اهداف، فناوری‌ها باید به‌طور مداوم ارزیابی و بهبود داده شوند.

قابل ذکر است این تحقیق در نشریه معتبر Nature Medicine منتشر شده است و به‌عنوان یک گام مهم برای تطبیق مدل‌های هوش مصنوعی با دنیای واقعی، توجه بسیاری از متخصصان را به خود جلب نموده است.