• 众所周知，由于缺乏意识和缺乏技术的能力，很多组织的数据都在睡大觉。数据包含这关于客户、伙伴和竞争对手的相关信息，对其进行挖掘，可以提高组织竞争力
  • 在数据洪流（data deluge）面前，文本挖掘的价值是不言而喻的。因为它能够帮助我们减轻信息过载的问题。
  • 什么是文本挖掘
    • 从文本数据中获取新发现的过程
    • 文本挖掘也是一个非结构到结构化的过程。它是多方技术的一个综合。
  • 文本挖掘的框架
    • 文本数据源的获取，比如电子文档
    • 数据预处理，将数据进行整合
      • 文本清理
        • 常用方法有
        • 停词去除
        • 词干提取
      • 词切分（Tokenization ）
      • 词性标注（POS tagging）
      • 句法解析（Syntactial Parsing）
        • 句法主要分为组成语法和相关语法两类
      • 信息提取，基于预定义的序列进行信息提取
        • 主题追踪，寻找用户喜欢的主题
        • 摘要（Summarization）
          • 句子提取
            • 权重式
            • 位置式
        • 分类（Categorization）
          • 将文本放入预定的分类
          • 单词出现的概率，特定领域的字典
        • 特征选择
          • 降低维度
        • 实体提取（Entity Extraction）
        • 概念提取
          • 重要的概念
        • 主题提取
          • 主题就是文章的主要思想
          • 重要单词和短语
        • 聚类
    • 知识发现
      • 概念共现的模式
        • 分布和比例
        • 频率
        • 关联
    • 可视化
      • 动态显示
    • 和领域知识进行结合

版权声明：本文为studydo原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://www.cnblogs.com/zhulinmails/p/8618831.html