Token 估算规则说明
本工具采用通用分词估算算法,以下为各字符类型的近似换算规则:
| 字符类型 | 估算比例 | 说明 |
|---|---|---|
| 中文字符 | ~1.5 Token/字 | 常见中文字符(含繁简体汉字)每个约占 1.5 个 Token |
| 英文单词 | ~1.3 Token/词 | 英文单词平均每个约占 1.3 个 Token |
| 数字 | ~1.0 Token/组 | 连续数字每组约占 1 个 Token |
| 标点与特殊符号 | ~0.5 Token/个 | 中英文标点、其他符号每个约占 0.5 个 Token |
| 空格与换行 | ~0.25 Token/个 | 空白字符约 4 个占 1 Token |
注意:以上为通用估算值,不同模型(GPT-4o、Claude、Gemini 等)的分词器存在差异,实际 Token 数请以各平台官方统计为准。中英混合文本的统计结果可能略有偏差。