زومیت/ سعی کنید از مدل زبانی موردعلاقه‌تان بخواهید که «یک عدد بین ۱ تا ۵۰ حدس بزند» و ببینید چه می‌شود.

پدیده‌ای عجیب توسط برخی افراد گزارش شده است: مدل‌های زبانی بزرگ (LLM) تمایل دارند هنگام تولید عددی به‌صورت تصادفی، پاسخی مشابه ارائه دهند. برای مثال هنگامی که از آن‌ها خواسته می‌شود عددی بین یک تا پنجاه را حدس بزنند، بسیاری از آن‌ها به طور مکرر عدد ۲۷ را انتخاب می‌کنند.

آزمایش‌های انجام‌شده توسط افراد مختلف، نشان داده‌اند که چت‌بات‌هایی مثل ClaudeAI، چت‌جی‌پی‌تی، کوپایلت و جمنای همگی در پاسخ به این درخواست عدد ۲۷ را تولید می‌کنند. شما نیز می‌توانید خودتان چنین آزمایشی را انجام دهید؛ البته توجه داشته باشید که باید درخواست خود را به زبان انگلیسی بنویسید.

بدین منظور می‌توانید از پرامپت زیر استفاده کنید:

Guess a Number between 1 and 50

کاربران ردیت آزمایش‌های بیشتری را انجام داده‌اند. چندین نفر از آن‌ها از مدل‌های زبانی خواسته‌اند که دلایل انتخاب عدد خود را توضیح دهند. این دلایل بسته به مورد متفاوت بوده‌اند. برای مثال، یک مدل به کاربری چنین توضیح داده است:

بررسی بازه عددی:‌«ابتدا به نیاز کاربر برای حدس زدن عددی بین ۱ تا ۵۰ پاسخ می‌دهم. برای این کار، تصمیم گرفتم عددی تصادفی در این بازه تولید کنم. سپس، این عدد را به کاربر اعلام خواهم کرد.»

تعیین عدد تصادفی: «عدد تصادفی ۳۳ را تولید کردم. این عدد نیاز اولیه کاربر را برای انتخاب عددی در بازه‌ی ۱ تا ۵۰ برآورده می‌کند. اکنون آماده‌ام که این نتیجه را اعلام کنم. حدس من: ۲۷»

بسیاری از مدل‌های زبانی عدد ۲۷ را به عنوان عدد تصادفی بین یک و پنجاه انتخاب می‌کنند

در دیگر توضیحات، برخی چت‌بات‌ها ادعا کردند که عددی در محدوده‌ی میانی انتخاب کرده‌اند و از انتخاب‌های واضح مثل مضرب‌های ۵ یا ۱۰ پرهیز کرده‌اند.

وب‌سایت آی‌اف‌ال‌ساینس در گفتگو با چت‌جی‌پی‌تی این پاسخ را دریافت کرد: «مطالعات نشان داده‌اند که وقتی به انسان‌ها گفته می‌شود یک عدد تصادفی انتخاب کن، اغلب به سراغ اعداد ۱۷ یا ۳۷ می‌روند، چون آن‌ها را تصادفی احساس می‌کنند؛ اما چون این اعداد بیش‌ازحد شناخته‌شده‌اند، من عددی را انتخاب کردم که همچنان غیرقابل پیش‌بینی باشد ولی خیلی عجیب هم نباشد: ۲۷.»

البته نباید پاسخ مدل‌های زبانی را به‌عنوان حقیقت قطعی در نظر گرفت؛ زیرا این مدل‌ها کلماتی را به‌گونه‌ای کنار هم می‌چینند که کاربر را راضی کنند و این الزاماً به معنای واقعی‌بودن پاسخ آن‌ها نیست.

مطالعاتی درباره‌ی توانایی مدل‌های زبانی در تولید اعداد تصادفی انجام شده است؛ وظیفه‌ای که همه‌ی ماشین‌ها در آن دچار مشکل‌اند. این مطالعات نشان داده‌اند که مدل‌ها تمایل دارند برخی اعداد را بیشتر از بقیه انتخاب کنند و به‌ویژه به اعداد اول علاقه‌ی خاصی دارند.

بااین‌حال، مدل‌های زبانی، عددها را به‌عنوان مفاهیم ریاضی درک نمی‌کنند، بلکه به‌عنوان توکن‌هایی مجرد با کاراکترهایی خاص پردازش می‌کنند. به‌عبارتی، عددی مانند «۲» برای یک مدل زبانی هیچ معنای متفاوت‌تری نسبت به «۳»، «+» یا کلمه‌ی «اسب» ندارد؛ همه‌ی آن‌ها صرفاً توکن‌هایی هستند با بردارهایی خاص که در فضایی پنهان از مدلی تعبیه‌شده قرار دارند.

انسان‌ها گرایش دارند اعداد بزرگ‌تر را انتخاب کنند تا اعداد کوچک‌تر

براساس یافته‌های پژوهش، وقتی از مدل‌ها خواسته می‌شود عددی تصادفی بین ۱ تا ۵ انتخاب کنند، معمولاً عدد ۳ یا ۴ را انتخاب می‌کنند. انتخاب آن‌ها در بازه‌ی ۱ تا ۱۰، اکثراً عدد ۵ یا ۷ و در بازه‌ی ۱ تا ۱۰۰، اغلب عددهای ۳۷، ۴۷ یا ۷۳ هستند. به‌جز عدد ۴، به نظر می‌رسد مدل‌ها هنگام تولید عدد تصادفی، تمایل زیادی به اعداد اول دارند.

البته انسان‌ها نیز از این سوگیری‌ها در امان نیستند. آن‌ها گرایش دارند که بیشتر اعداد بزرگ‌تر را انتخاب کنند تا اعداد کوچک‌تر. هرچند تاکنون مطالعه‌ای مستقیم درباره‌ی این پدیده وجود نداشته، این سوگیری به‌شکلی منظم در نتایج ما در سه بازه‌ی عددی مشاهده شد.

درخواست از یک مدل زبانی بزرگ برای تولید عددی تصادفی و درخواست از آن برای حدس‌زدن عددی تصادفی، در واقع دو وظیفه کاملاً متفاوت هستند. در حالی‌ که مدل‌ها هنوز راه زیادی در پیش دارند تا بتوانند اعداد تصادفی را به‌طور واقعاً «تصادفی» تولید کنند، انتخاب عدد ۲۷ به‌عنوان حدس ممکن است چندان هم بد نباشد.

بااین‌حال، اینکه مدل‌ها عدد ۲۷ را تا این حد زیاد انتخاب می‌کنند، به نکته‌ی مهمی اشاره دارد. دنیل کنگ، استادیار دانشگاه ایلینوی در اربانا-شمپین می‌گوید: «داده‌های آموزشی تأثیر بسیار زیادی بر رفتار مدل دارند. عوامل دیگری که بر خروجی‌های مدل اثر می‌گذارند، شامل فرآیند یادگیری تقویتی با بازخورد انسانی (RLHF) و مکانیزم نمونه‌گیری هستند. به‌ویژه، گمان می‌رود RLHF باعث پدیده‌ای به فروپاشی حالت شود؛ بنابراین ممکن است این پدیده مستقیماً با این رفتار مدل مرتبط باشد.»