AIトークンカウンター
AI言語モデルはテキストを「トークン」として読み取ります。トークンは約4文字、おおよそ単語の4分の3ほどの短いかたまりです。このツールはテキストのトークン数を、単語数・文字数とともに概算し、プロンプトやAPIコストの計画に役立てられます。モデルごとにトークン化が少しずつ異なるため、結果はあくまで目安です。
よくある質問
AIモデルにおけるトークンとは何ですか？
トークンとは、言語モデルが1つずつ読み書きするテキストの小さなかたまりで、多くの場合およそ4文字、単語の4分の3ほどです。
1単語は何トークンですか？
平均すると1単語は約1.3トークンなので、100単語でおよそ130トークンです。ただし言語や具体的な語によって変わります。
なぜAIでトークンが重要なのですか？
モデルにはリクエストごとのトークン上限があり、料金も通常はトークン単位なので、トークンを数えることで上限内に収め、コストを見積もるのに役立ちます。
このトークン数は正確ですか？
いいえ、これは概算です。モデルごとに独自のトークナイザーを使うため実際の数は多少異なりますが、信頼できるおおよその目安にはなります。
トークン使用量を減らすには？
簡潔なプロンプトを書き、不要な語や例を省き、モデルに読ませる必要のない大量の文章を貼り付けないようにしましょう。