spaCy中怎样进行文本分词

在spaCy中，可使用nlp模型中的tokenizer对文本进行分词。以下是一个使用spaCy进行文本分词的示例代码：

import spacy

# 加载spaCy的英文模型
nlp = spacy.load("en_core_web_sm")

# 要处理的文本
text = "This is a sentence for tokenization."

# 对文本进行分词
doc = nlp(text)

# 打印每一个词的分词结果
for token in doc:
    print(token.text)

在这个示例中，首先加载了spaCy的英文模型，然后使用该模型对文本进行分词，最后打印出每一个词的分词结果。