خانم مگان گارسیا(Megan Garcia) در شکایتی که در روز ۲۲ اکتبر در دادگاه فدرال در اورلاندو، فلوریدا ارائه شد، گفت که چت‌بات هوش مصنوعی کاراکتر(Character.AI) پسرش، سیول ستزر(Sewell Setzer) را با «تجارب انسان‌انگارانه، بیش از حد جنسی و به طور ترسناکی واقع‌گرایانه» هدف قرار داده است.

به نقل از رویترز، او گفت که این شرکت چت‌بات خود را طوری برنامه‌ریزی کرده است که «خود را به‌ عنوان یک شخص واقعی، یک روان‌درمانگر دارای مجوز و یک عاشق بزرگسال معرفی کند، که در نهایت منجر به تمایل سیول برای زندگی نکردن در خارج از دنیایی شد که توسط این سرویس ایجاد شده است.

در این دادخواست همچنین گفته شده است که او افکار خودکشی را به چت بات ابراز کرده است که چت بات بارها و بارها حرف آن را دوباره پیش کشیده است.

هوش مصنوعی کاراکتر(Character.AI) در بیانیه‌ای گفت: ما از فقدان غم انگیز یکی از کاربران خود ناراحت هستیم و می‌خواهیم عمیق‌ترین تسلیت خود را به خانواده او ابراز کنیم.

این شرکت گفت که قابلیت امنیتی جدیدی را معرفی کرده است که شامل پیام‌هایی می‌شود که کاربران را در صورت ابراز افکار خودآزاری به خط ملی پیشگیری از خودکشی هدایت می‌کند، و تغییراتی را برای کاهش احتمال مواجهه با محتوای حساس یا پیشنهادی برای کاربران زیر ۱۸ سال اعمال خواهد کرد.

این شکایت همچنین گوگل آلفابت را هدف قرار می‌دهد، زیرا که بنیانگذاران کاراکتر(Character.AI) قبل از عرضه محصول خود در آنجا کار می‌کردند. گوگل در ماه اوت بنیانگذاران این هوش مصنوعی را به عنوان بخشی از قراردادی که مجوز غیر انحصاری فناوری کاراکتر(Character.AI) را به آن اعطا می‌کند، دوباره استخدام کرد.

خانم گارسیا گفت که گوگل به قدری در توسعه فناوری هوش مصنوعی کاراکتر کمک کرده است که می‌توان آن را یک «هم‌آفرین» در نظر گرفت. یکی از سخنگویان گوگل گفت که این شرکت در توسعه محصولات کاراکتر Character.AI دخالتی نداشته است.

هوش مصنوعی کاراکتر(Character.AI) به کاربران این امکان را می‌دهد تا شخصیت‌هایی را در پلتفرم خود ایجاد کنند که به چت‌های آنلاین به گونه‌ای پاسخ می‌دهند که شبیه به افراد واقعی باشد.

این فناوری به مدل زبان بزرگ متکی است که توسط سرویس‌هایی مانند چت جی‌پی‌تی نیز استفاده می‌شود که براساس آن چت‌بات‌ها را با حجم زیادی از متن آموزش می‌دهد.

این شرکت در ماه سپتامبر اعلام کرده که حدود ۲۰ میلیون کاربر دارد.

طبق دادخواست خانم گارسیا، سیول در آوریل ۲۰۲۳ شروع به استفاده از هوش مصنوعی کاراکتر کرد و به سرعت به طور قابل توجهی گوشه‌گیر شد، زمان بیشتری را در اتاق خواب خود به تنهایی سپری می‌کرد و از اعتماد به نفس پایین رنج می‌برد. او در مدرسه تیم بسکتبال خود را ترک کرد.

سیول به «دنریس»، یک شخصیت چت بات بر اساس شخصیتی در بازی تاج و تخت وابسته شده بود.

بر اساس این شکایت، خانم گارسیا در ماه فوریه، گوشی سیول را پس از اینکه در مدرسه دچار مشکل شد، از او گرفت. وقتی سیول گوشی را پیدا کرد، پیامی به دنریس فرستاد: اگر به شما بگویم می‌توانم همین الان به خانه بیایم، چه می‌گویید؟

چت بات پاسخ داد: لطفا این کار را انجام بده، پادشاه نازنین من. در این دادخواست آمده است که سیول چند ثانیه بعد با تپانچه ناپدری‌اش به خود شلیک کرد.

شرکت‌های رسانه‌های اجتماعی، از جمله مالک اینستاگرام و فیس‌بوک یا متا و مالک تیک‌تاک TikTok نیز با شکایت‌هایی مواجه هستند که آنها را به مشارکت در مشکلات سلامت روان نوجوانان متهم می‌کنند، اگرچه هیچ‌کدام چت‌بات‌های مبتنی بر هوش مصنوعی مشابه کاراکتر (Character.AI) ارائه نمی‌دهند. این شرکت‌ها این اتهامات را رد کرده‌اند و در عین حال از ویژگی‌های ایمنی جدید ارتقا یافته برای افراد زیر سن قانونی حمایت می‌کنند.