هوش مصنوعی متن را نه به صورت کلمه به کلمه، بلکه به شکل بخش‌های کوچک (توکن) پردازش می‌کند.

هر توکن تقریباً معادل ۳–۴ حرف فارسی است.

پیام کوتاه توکن کمی مصرف می‌کند و پیام طولانی توکن بیشتری.

هزینه پردازش برای ما بر اساس تعداد توکن است، بنابراین این معیار دقیق‌تر از شمارش فقط «تعداد پیام» است.