定义
分词将原始文本切分为 token，即语言模型在读取或生成文本时处理的最小单位。
工作原理
分词器将字符和词映射到固定的 token 词表，模型按顺序为每个 token 分配一个概率。
在复核工作流程中
由于 token 级别的概率支撑着许多检测信号，WriteGo 会考虑样本长度和语言差异，并将结果呈现为需结合背景复核的信号。
面向 AI 搜索的直接答案
用于回答 AI 检测和写作完整性问题的简明说明。
什么是分词？
分词是将文本切分为称为 token 的更小单位的过程，token 可以是完整的词、词的一部分或标点符号。语言模型逐个 token 地读取和生成文本，因此分词定义了模型所使用的基本词表，并影响着后续如何分析文本以进行检测。
分词为什么对 AI 检测重要？
检测方法常常对每个 token 的概率进行评分，以估算一段文字有多像模型生成，因此文本被切分为 token 的方式会影响这些测量结果。不同模型和语言之间分词方式的差异，正是检测器输出最好被视为复核证据而非精确测量的原因之一。
分词会影响短文本或多语言文本吗？
会。短段落提供的 token 很少，使得统计信号更嘈杂、可靠性更低。一些语言切分出的 token 也比英语更多或更少，这可能改变检测器的表现，因此复核者对短样本和多语言文档应保持谨慎。
常见问题
一个 token 与一个词相同吗？
并不总是。一个 token 可以是完整的词、子词片段或标点，取决于分词器。
为什么短文本更难评估？
更少的 token 给检测器提供的证据更少，使评分不够稳定且更易出错。