中文文本聚类常用停用词表对比研究后印本

作者： 官琴 ¹ 邓三鸿 ¹ 王昊 ¹
作者单位：

1. 南京大学信息管理学院南京 210023

2. 江苏省数据工程与知识服务重点实验室南京 210023
提交时间：2017-11-08 16:30:53

摘要: 【目的】通过实验对比分析, 比较不同停用词表对于不同类型的文本数据的作用效果, 对停用词表的构建与使用提供参考意见。【方法】选取百度停用词表、哈尔滨工业大学停用词表以及四川大学机器智能实验室停用词表, 基于三个不同语料库运用汉语分词技术、TF-IDF 特征评估函数以及VSM 模型进行文本处理, 并且采用Java 编写的K-means 算法进行聚类实验, 通过准确率P、召回率R 和F1 三个评价指标对不同聚类结果进行效果评估。【结果】不同停用词表对于不同类型的文本数据作用效果差异明显, 词表的长度、内容结构是影响作用效果的直接因素, 其中两字停用词作用效果最为明显。【局限】实验文本类型及数量有限, 同时对于不同停用词表仅在词语数量及内容上做了简单的分析比较, 未对停用词按照类别分类进行实验分析。【结论】停用词表对于文本聚类准确度有很大的影响, 构建或选取适宜的中文停用词表极为重要。同时, 过度增加停用词的数量并不会一直改善聚类结果。

文本聚类停用词 K-means

分类： 图书馆学、情报学 >> 情报学
引用： ChinaXiv:201711.01949 (或此版本 ChinaXiv:201711.01949V1)
DOI:10.12074/201711.01949V1
CSTR:32003.36.ChinaXiv.201711.01949.V1
推荐引用方式： 官琴,邓三鸿,王昊.(2017).中文文本聚类常用停用词表对比研究.数据分析与知识发现.[ChinaXiv:201711.01949] (点此复制)

版本历史

[V1]

2017-11-08 16:30:53

ChinaXiv:201711.01949V1

下载全文

相关论文推荐

1. SCI来源期刊载文量和影响因子的动态变化及载文量对影响因子的影响	2024-06-25
2. 突尼斯如何发展传统手工业	2024-06-19
3. 国际社会热议中国经济发展优势	2024-06-19
4. 基于CiteSpace的新质生产力研究现状及热点可视化分析	2024-06-11
5. 科技论文数据库作者识别号的适用性研究	2024-06-06
6. Hindawi期刊批量撤销论文分析	2024-06-05
7. 中华体育精神知识图谱分析	2024-06-03
8. 农村公共文化服务助推我国乡村振兴的模式探索与价值创新	2024-06-02
9. AIGC 赋能智慧图书馆建设:基础、特征、场景及策略	2024-06-02
10. 前景·质素·路径:ChatGPT 赋能智慧图书馆建设研究	2024-06-02


公开评论匿名评论仅发给作者

中文文本聚类常用停用词表对比研究 后印本

版本历史

相关论文推荐

中文文本聚类常用停用词表对比研究后印本