این فناوری جدید توسط محققان دانشگاه کالیفرنیا برکلی و دانشگاه کالیفرنیا سانفرانسیسکو توسعه یافته است و از دستگاه‌هایی بهره می‌برد که می‌توانند برای اندازه‌گیری فعالیت عصبی مغز استفاده شوند. علاوه بر این هوش مصنوعی یاد می‌گیرد که صدای فرد بیمار را بازسازی کند.

به نقل از نیواطلس، این گامی بسیار جلوتر نسبت به پیشرفت‌های سال گذشته در زمینه رابط‌های مغز و رایانه است.

گوپالا آنومانچیپالی (Gopala Anumanchipalli)، استادیار مهندسی برق و علوم رایانه در دانشگاه کالیفرنیا برکلی و محقق اصلی این مطالعه توضیح می‌دهد: رویکرد ما، ظرفیتی مشابه رمزگشایی سریع گفتار توسط دستگاه‌هایی مانند الکسا و سیری را به پروتزهای عصبی می‌آورد. با استفاده از نوع مشابهی از الگوریتم، متوجه شدیم که می‌توانیم داده‌های عصبی را رمزگشایی کنیم و برای اولین بار، جریان صدای تقریبا همزمانی را فعال کنیم. نتیجه، بازسازی گفتار طبیعی‌تر و روان‌تر است.

نکته جالب در مورد این فناوری این است که می‌تواند به طور موثر با طیف وسیعی از رابط‌های مغز کار کند که شامل آرایه‌های الکترودی با چگالی بالا که فعالیت عصبی را مستقیما از سطح مغز ثبت می‌کنند و همچنین میکروالکترودهایی که به سطح مغز نفوذ می‌کنند و همچنین حسگرهای غیرتهاجمی الکترومیوگرافی سطحی (sEMG) روی صورت برای اندازه‌گیری فعالیت عضلات می‌شود.

ابتدا، پروتز عصبی، از داده‌های عصبی از قشر حرکتی مغز بیمار که تولید گفتار را کنترل می‌کند، نمونه‌برداری می‌کند. سپس هوش مصنوعی این داده‌ها را به شکل گفتار رمزگشایی می‌کند. یکی از نویسندگان این مقاله، توضیح داد: آنچه را که ما رمزگشایی می‌کنیم، بعد از وقوع یک فکر رخ داده است، بعد از اینکه تصمیم گرفتیم چه بگوییم، بعد از اینکه تصمیم گرفتیم از چه کلماتی استفاده کنیم و چگونه ماهیچه‌های دستگاه صوتی خود را حرکت دهیم.

هوش مصنوعی بر روی داده‌های عملکرد مغزی بیماری که در تلاش برای گفتن کلماتی بود که روی صفحه نمایش جلوی او ظاهر می‌شد، آموزش دیده است. این کار به محققان اجازه داد تا فعالیت عصبی و کلماتی را که فرد می‌خواست بیان کند، ترسیم کنند.

علاوه بر این، یک مدل تبدیل متن به گفتار که با استفاده از صدای خود بیمار قبل از آسیب و فلج شدن ایجاد شده است، صدایی را تولید می‌کند که مشابه صحبت کردن بیمار است.

اگرچه به نظر می‌رسد که گفتار به دست آمده کاملا طبیعی نیست، اما بسیار نزدیک به آن است. سیستم رمزگشایی، سیگنال‌های مغزی و خروجی گفتار را در یک ثانیه از زمانی که بیمار تلاش می‌کند صحبت کند، شروع می‌کند. این در مقایسه با هشت ثانیه در مطالعه قبلی که این گروه در سال ۲۰۲۳ انجام داده بود، بهبود داشته است.

این فناوری می‌تواند کیفیت زندگی افراد فلج و ناتوان را با کمک به آنها در برقراری ارتباط برای رفع نیازهای روزمره گرفته تا بیان افکار پیچیده و ارتباط طبیعی‌تر با عزیزانشان، تا حد زیادی بهبود بخشد.

گام‌های بعدی محققان باعث می‌شود که آنها سرعت پردازش هوش مصنوعی را برای تولید سریع‌تر گفتار افزایش دهند و راه‌هایی را برای رساتر کردن صدای خروجی بررسی کنند.