توکن‌ها واحدهای اساسی متنی یا کدی هستند که یک هوش مصنوعی برای پردازش و تولید زبان استفاده می‌کند.

برای اینکه توانایی این هوش مصنوعی را بهتر درک کنید باید گفت که کلود اکنون می‌تواند «وداع با اسلحه» اثر ارنست همینگوی(۷۴۲۴۰ کلمه)، «فرانکنشتاین» مری شلی (۷۴۸۰۰ کلمه) و «ماجراهای تام سایر» اثر مارک تواین(۶۹۰۰۰ کلمه) را به راحتی در کمتر از یک دقیقه بخواند و اطلاعات آن را تجزیه و تحلیل کند.

هوش مصنوعی‌های مولد مانند کلود هنوز با تعداد «توکن‌هایی» که می‌توانند پردازش کنند محدود می‌شوند.

همانطور که شرکت هوش مصنوعی OpenAI نیز در صفحه‌ی خود توضیح می‌دهد، می‌توان نشانه‌ها را به عنوان تکه‌هایی از کلمات در نظر گرفت. هوش مصنوعی کلمات را برای پردازش خرد می‌کند و همیشه از ابتدا تا انتهای هر کلمه خرد نمی‌شود، زیرا فاصله‌ها و کاراکترهای دیگر نیز در آن گنجانده شده است. در حال حاضر، مدل استاندارد چت‌ جی‌پی‌تی۴ قادر به پردازش ۸۰۰۰ توکن است، در حالی که نسخه‌ی توسعه یافته‌ی آن می‌تواند ۳۲ هزار توکن را پردازش کند. این درحالی است چت‌باتی که به صورت عمومی در دسترس است، محدودیت حدود ۴۰۰۰ توکنی دارد.

اکنون کلود قابلیت پردازشی بسیار گسترده‌تر از همه‌ی آنها دارد. به گفته‌ی شرکت آنتروپیک، آن‌ها کتاب گتسبی بزرگ را در حین آزمایش بر روی این هوش مصنوعی بارگذاری کردند و یک خط را تغییر دادند. کلود توانست در عرض ۲۲ ثانیه بخش تغییر یافته‌ی کتاب را تشخیص دهد.

آنتروپیک می‌گوید این قابلیت به کسب‌وکارها کمک می‌کند تا به سرعت صورت حساب‌های مالی و مقالات تحقیقاتی طولانی را پردازش و خلاصه کنند، بخش‌های قانونی را ارزیابی کنند و خطرات و استدلال‌ها را در اسناد قانونی شناسایی کنند.