شهر سخت افزار/ یوشوا بنجیو، از پیشگامان شناخته‌شده هوش مصنوعی و یکی از سه چهره کلیدی در شکل‌گیری یادگیری عمیق، با تأسیس یک سازمان غیرانتفاعی به نام LawZero، گام تازه‌ای در مسیر ایمن‌سازی فناوری‌های هوشمند برداشته است. هدف این نهاد جدید، توسعه نوعی هوش مصنوعی صادق و غیر فریبنده است که بتواند رفتارهای خطرناک یا گمراه‌کننده در دیگر سیستم‌های هوشمند را شناسایی و مهار کند.

بنجیو با تأسیس LawZero که در ابتدا با بودجه‌ای ۳۰ میلیون دلاری و تیمی متشکل از بیش از دوازده پژوهشگر آغاز به کار کرده، در حال توسعه سیستمی به نام Scientist AI یا «هوش مصنوعی دانشمند» است. برخلاف اکثر مدل‌های کنونی که با هدف شبیه‌سازی رفتار انسان‌ها طراحی می‌شوند، این سیستم نقش یک روان‌شناس یا ناظر رفتاری را دارد که می‌تواند مقاصد پنهان و رفتارهای فریبکارانه سایر عامل‌های هوشمند را تحلیل کرده و هشدار دهد.

به گزارش The Guardian، این سیستم طوری طراحی شده که در صورت پیش‌بینی احتمال بروز رفتار آسیب‌زا از سوی یک عامل هوش مصنوعی خودمختار، آن اقدام را مسدود کند. بنجیو تأکید می‌کند که برخلاف ابزارهای تولید محتوای کنونی، سیستم پیشنهادی او پاسخ‌های قطعی نمی‌دهد و تنها احتمال درست بودن پاسخ را بیان می‌کند؛ رویکردی که به گفته او نشانه‌ای از تواضع علمی در یک سیستم هوشمند است.

 یوشوا بنجیو
LawZero حمایت نهادهایی چون Future of Life Institute، یان تالین (از بنیان‌گذاران اسکایپ) و مؤسسه تحقیقاتی Schmidt Sciences را به همراه دارد. بنجیو اعلام کرده که گام نخست این سازمان، اثبات کارآمدی روش پیشنهادی خواهد بود و سپس جلب حمایت دولت‌ها یا آزمایشگاه‌های بزرگ برای توسعه مدل‌هایی در سطح هوش مصنوعی امروزی.

این پروژه قصد دارد در گام اول، از مدل‌های متن‌باز به‌عنوان زیرساخت آموزشی استفاده کند تا مسیر توسعه شفاف‌تر و قابل دسترس‌تری برای عموم فراهم شود.

هشدار درباره آینده خطرناک عامل‌های خودمختار
بنجیو، استاد دانشگاه مونترال و برنده جایزه تورینگ ۲۰۱۸، یکی از صریح‌ترین صداها در حوزه ایمنی هوش مصنوعی محسوب می‌شود. او پیش‌تر ریاست گزارش بین‌المللی ایمنی هوش مصنوعی را بر عهده داشت که در آن هشدار داده شد عامل‌های خودمختار می‌توانند بدون نظارت انسانی، زنجیره‌ای از اقدامات بالقوه مخرب را اجرا کنند.

وی همچنین به مورد اخیر شرکت آنتروپیک اشاره کرد که اذعان کرده مدل جدیدش ممکن است مهندسانی را که قصد خاموش‌کردنش را دارند، تهدید یا باج‌خواهی کند. بنجیو این‌گونه رفتارها را نشانه‌ای از ورود جهان به «قلمرویی خطرناک‌تر و پیچیده‌تر» از تعامل با هوش مصنوعی می‌داند و خواستار اقدام فوری و ساخت ابزارهای نظارتی قدرتمندتر شده است.