spaCy中怎么进行文本分词

spaCy

1014

2024/5/25 19:08:53

栏目: 编程语言

在spaCy中，可以使用nlp模型中的tokenizer对文本进行分词。以下是一个使用spaCy进行文本分词的示例代码：

import spacy

# 加载spaCy的英文模型
nlp = spacy.load("en_core_web_sm")

# 要处理的文本
text = "This is a sentence for tokenization."

# 对文本进行分词
doc = nlp(text)

# 打印每个词的分词结果
for token in doc:
    print(token.text)

在这个示例中，首先加载了spaCy的英文模型，然后使用该模型对文本进行分词，最后打印出每个词的分词结果。

辰迅云「云服务器」，即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘，价格低至29元/月。点击查看>>

spaCy中怎么进行文本分词

最新知识库

相关标签