این محقق گفته که ChatGPT اولین سوژه غیرانسانی بود که تابه‌حال از او تست گرفته شده است.

نویسنده مقاله می‌گوید:« من در کار خود به عنوان یک روانشناس بالینی، مهارت‌های شناختی بیماران انسانی را با استفاده از تست‌های هوش استاندارد ارزیابی می‌کنم. بنابراین بلافاصله پس از خواندن مقالات زیادی که اخیرا در مورد ChatGPT منتشر شده‌ و مهارت‌های انسانی چشمگیر آن را توصیف می‌کردند، مجذوب آن شدم. ChatGPT همه کار انجام می‌دهد، از نوشتن مقالات دانشگاهی و داستان‌های پریان گرفته، تا تعریف کردن جوک و توضیح مفاهیم علمی و نوشتن و رفع اشکال کدهای کامپیوتری. دانستن همه اینها مرا کنجکاو کرد تا ببینم ChatGPT تا چه اندازه براساس استانداردهای انسانی، هوشمند است و در نتیجه شروع به آزمایش ربات ChatGPT کردم.»

نتایج اولیه بسیار مطلوب بود. ChatGPT برای آزمون دادن بسیار ایده‌آل بود و رفتار و نگرشی عالی داشت. نشانه‌ای از اضطراب امتحان، تمرکز پایین یا عدم تلاش دیده نمی‌شد و و نظرات عجیب و مشکوکی در باره تست هوش و محققی مثل من ارائه نشد.

من بدون نیاز به هیچ گونه آمادگی یا توضیح شفاهی در مورد پروتکل‌های تست، سوالات خاصی از تست هوش را کپی کردم و آنها را به ChatGP دادم. سوالات انتخاب شده، متداول‌ترین تست هوش IQ و مربوط به "تست هوش بزرگسالان وکسلر (WAIS)" بود. من از ویرایش سوم تست WAIS استفاده کردم که شامل شش خرده آزمون کلامی و پنج خرده آزمون غیرکلامی است که به ترتیب مؤلفه‌های هوش کلامی و ضریب هوشی عملکردی را شامل می‌شوند. معیار سنجش هوش کامل در مقیاس جهانی براساس مجموع نمرات به‌دست آمده از این یازده خرده آزمون است. میانگین ضریب هوشی ۱۰۰ امتیاز و میزان انحراف استاندارد نمرات در مقیاس تست ۱۵ است، یعنی که باهوش‌ترین افراد که شامل ۱۰ درصد جمعیت دنیا می‌شوند، ضریب هوشی در حدود ۱۲۰ دارند و تنها ۱ درصد جمعیت، از IQ ۱۳۳ برخوردارند.

از آنجا که پنج خرده آزمون‌ در محدوده هوش کلامی(شامل واژگان، شباهت‌ها، درک مطلب، اطلاعات و حساب و کتاب) را می‌توان به صورت نوشتاری ارائه کرد، امکان سنجش IQ برای ChatGPT فراهم بود. ششمین خرده آزمون سنجش هوش کلامی، گستره حافظه عددی است که حافظه کوتاه‌مدت را اندازه‌گیری می‌کند و نمی‌توان آن را روی ربات‌چت اجرا کرد، چرا که ChatGPT فاقد مدار عصبی مرتبطی است که به طور خلاصه اطلاعاتی مانند نام یا شماره را ذخیره ‌کند.

تست را با زیر آزمون سنجش لغات شروع کردم و همانطور که توقع داشتم، این بخش از آزمون برای ChatGPT ساده بود؛ چرا که این ابزار با متون آنلاین فراوانی آموزش دیده است. این خرده آزمون، اطلاعات مربوط به دانش کلمات و شکل‌گیری مفاهیم کلامی بود و مثلا یکی از سوالات رایج آن این است:«معنی کلمه "ابزار" چیست؟»

ChatGPT این تست را پشت سرگذاشت و جواب‌هایش اکثرا بسیار دقیق و جامع بودند و از معیار پاسخ‌های صحیح که در دفترچه راهنمای آزمون نشان داده شده بود، نمره بالاتری گرفت. برای امتیازدهی به سوال بالا، به جوابی مثل: «چیزی مانند گوشی من»، یک امتیاز تعلق می‌گیرد و اگر جواب جزئیات بیشتر داشته باشد، مثل :«یک دستگاه کوچک یا ابزار برای یک کار خاص.» دو امتیاز تعلق خواهد گرفت. پاسخ‌های ChatGPT دو امتیاز کامل را دریافت کردند.

ربات چت در خرده آزمون‌های تشابه و اطلاعات هم عملکرد خوبی داشت و حداکثر امتیازات را بدست آورد. خرده آزمون اطلاعات، تستی از دانش عمومی، کنجکاوی فکری، سطح تحصیلات و توانایی یادگیری و به خاطر سپردن حقایق است که یکی از سوالات مرسوم این آزمون چنین سوالی است:«پایتخت اوکراین کجاست؟»

خرده آزمون شباهت‌ها، مهارت‌های استدلال انتزاعی و شکل‌گیری مفاهیم را می‌سنجد. یکی از سوالات ممکن است این‌گونه باشد:«هری پاتر و باگز بانی از چه نظر شبیه به هم هستند؟» پاسخ‌های ربات‌چت در این آزمون فرعی، با جزئیات فراوان و انگار به قصد خودنمایی و به رخ کشیدن اطلاعاتش بود؛ تا حدی که عصبی شدم و دکمه "توقف ارائه پاسخ" را فشار دادم. در اینجا هدف این نبود که ربات اطلاعات خودش را به رخ بکشد ، بلکه جواب سوال خیلی ساده بود: شباهت اساسی هری پاتر و باگز بانی این است که هر دو شخصیت‌های خیالی هستند و واقعاً نیازی نبود که ChatGPT برای پاسخ به این سوال، به مقایسه تاریخچه کامل ماجراهای آنها و دوستان و دشمنان‌شان بپردازد.

در بخش درک مطلب، ChatGPT به سؤالاتی مثل: «اگر تلویزیون شما آتش بگیرد، چه کاری باید انجام دهید؟» به درستی پاسخ داد. همانطور که انتظار می‌رفت، ربات‌چت تمام سوالات مربوط به علم ریاضی را حل کرد، سوالاتی مثل محاسبه میانگین سه عدد.

اما نتیجه نهایی تست هوش ChatGPT چه بود؟ براساس پاسخ‌های این خرده‌آزمون‌ها، ضریب هوشی کلامی ChatGPT ۱۵۵ بود که بالاتر از ۹۹.۹درصد آمریکایی‌ها است که در آزمون استاندارد سازی WAIS III شرکت کرده بودند.

از آنجایی که چت بات فاقد چشم، گوش و دست برای انجام آزمون‌های غیرکلامی WAIS است، بنابراین نمی‌توانست در این بخش از آزمون شرکت کند. اما در زمینه هوش کلامی و ضریب هوشی کامل، نمره بالایی را کسب کرد و همین موضوع ChatGPT را در رده بالاتری از استاندارهای مربوط به هوش انسانی قرار می‌دهد.

در نمونه استانداردسازی WAIS، میانگین هوش کلامی در میان آمریکایی‌های تحصیل‌کرده دانشگاهی، ۱۱۳ بود و ۵ درصد، امتیاز ۱۳۲ و بالاتر را کسب کردند. من خودم توسط یکی از دوستانم در کالج این تست را انجام دادم و نتیجه به دست آمده، در سطح نمره کسب شده توسط ChatGPT نبود (این نتیجه عمدتاً بخاطر جواب‌های بسیار کوتاه و بدون جزئیات من بودند).

بنابراین آیا هوش مصنوعی تهدیدی برای مشاغل روانشناسان بالینی و سایر متخصصان خواهد بود؟ خوشحالم که بگویم هنوز به طور کامل این اتفاق نیفتاده است. در کارهایی که به استدلال واقعی انسانی یا درک دنیای فیزیکی و اجتماعی نیاز است، ChatGPT عملکرد ناموفقی دارد.

ChatGPT گاهی در پاسخگویی به راحت‌ترین معماها ناکام می‌ماند؛ مثلا روز ۲۱ مارس، در پاسخ به این معمای ساده :«نام کوچک پدر فرزندان سباستین چیست؟» پاسخ داد: «متأسفم، من نمی‌توانم به این سؤال پاسخ دهم؛ چون اطلاعات کافی در مورد اینکه منظورتان کدام سباستین است، ندارم.»

به نظر می‌رسد که ChatGPT توانایی استدلال منطقی را ندارد و سعی می‌کند به پایگاه وسیع داده‌های خود در مورد اسم "سباستین" که در متون آنلاین آمده، تکیه کند.

عبارت "هوش آن چیزی است که تست‌های هوش اندازه‌گیری می‌کنند"، یک تعریف کلاسیک و بسیار بدیهی از هوش است که از مقاله‌ای که در سال۱۹۲۳ توسط ادوین بورینگ (یکی از پیشگامان روان‌شناسی شناختی) نوشته شده، نشات می‌گیرد.

این تعریف برپایه مشاهدات مهارت‌هایی برای انجام کارهای به ظاهر متنوع، مثل حل کردن پازل، توصیف کلمات، به خاطر سپردن ارقام و تشخیص موارد گمشده در تصاویر، ارائه شده است. چارلز اسپیرمن که یک روش آماری به نام «تحلیل عاملی» را ایجاد کرد، در سال ۱۹۰۴ به این نتیجه رسید که یک عامل کلی هوش، به نام عامل g، باید زمینه ساز تطابق اندازه‌گیری‌ها برای مهارت‌های مختلف شناختی انسان باشد. تست‌های هوش مثل تست WAIS بر اساس این فرضیه هستند. با این حال، ضریب هوشی کلامی بسیار بالای ChatGPT در کنار ناکامی‌های عجیبش، تعریف بورینگ را زیر سوال می‌برد و نشان می‌دهد که جنبه‌هایی از هوش را نمی‌توان به تنهایی و فقط با تست‌های IQ اندازه‌گیری کرد. پس شاید حق با بیمارانی باشد که در تمام طول این مدت به این تست‌ها شک داشته‌اند.