怎么使用NLTK库实现文本分词

NLTK

1153

2024/5/18 17:24:47

栏目: 编程语言

在NLTK库中，可以使用自带的分词器来实现文本分词。以下是一个简单的示例代码：

import nltk
from nltk.tokenize import word_tokenize

# 定义文本
text = "Hello, how are you today?"

# 使用NLTK的word_tokenize函数进行分词
tokens = word_tokenize(text)

# 打印分词结果
print(tokens)

运行以上代码，将会输出以下结果：

['Hello', ',', 'how', 'are', 'you', 'today', '?']

在NLTK中还有其他不同类型的分词器，可以根据需要选择合适的分词器来实现文本分词。

辰迅云「云服务器」，即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘，价格低至29元/月。点击查看>>

怎么使用NLTK库实现文本分词

最新知识库

相关标签