分词

这是一套基于词频词典的机械式中文分词引擎，它能将一整段的中文文本基本正确地切分成词。 词是中文的最小语素单位，但在书写时并不像英语会在词之间用空格分开， 所以如何准确并快速分词一直是中文分词的攻关难点。 SCWS 采用纯 C 语言开发，不依赖任何外部库函数，可直接使用动态链接库嵌入应用程序， 支持的中文编码包括 GBK、UTF-8 等

自然语言处理是 AI 皇冠上的明珠，而语料预处理是自然语言处理的基础。 机器能跟人类交流吗？能像人类一样理解文本吗？这是大家对人工智能最初的想象。如今，NLP 技术可以充当人类和机器之间沟通的桥梁

这是一套基于词频词典的机械式中文分词引擎，它能将一整段的中文文本基本正确地切分成词。 词是中文的最小语素单位，但在书写时并不像英语会在词之间用空格分开， 所以如何准确并快速分词一直是中文分词的攻关难点。 SCWS 采用纯 C 语言开发，不依赖任何外部库函数，可直接使用动态链接库嵌入应用程序， 支持的中文编码包括 GBK、UTF-8 等

本文节选自黄昌宁老师和赵海博士在07年第3期《中文信息学报》上发表的《中文分词十年回顾》，旨在介绍目前比较流行的基于字标注的中文分词方法。属于中文分词、转载分类，被贴了 中文信息处理、中文分词、字标注、最大熵模型、条件随机场、赵海、黄昌宁 标签。作者是52nlp

就语意而言，现在分词应该称为“主动分词”，因为现在分词和主语间是主动的关系；过去分词该称为“被动分词”，因为分词和主语间是被动的关系： 分词作为形容词时，依旧保持主动、被动的区别： Related question: 在分词构句中使用进行貌有何意义？ 现在完成式其实是在“过去”做的事，为何叫做“现在完成”？ 在分词构句中使用进行貌有何意义？ 动作动词与状态动词的完成式语意有何不同？ 为什么过去完成式常和过去式并用？ 现在分词和动名词的形式皆为 V-ing，请问该如何区分两者？ 为什么假设句以“过去式表达违反现在的事实，过去完成式表达违反过去的事实”？ 为何状态动词没有进行式？ 为什么 Although 和 but 不可出现在同一句子中？ 介系词与介副词有何不同？ be capable of 和can在表达语气和程度上有什么不同？ 如何分辨“同形同音，意义不同”的句子？

A：诚然，句中分词结构 “Judging by her face” 的逻辑上或意义上的主词的确不是主要子句的主词 she，所以它被误认为 dangling modifier 或 dangling participle (不连结的分词或虚悬的分词) 并不令人惊讶。事实上，”judging by” (亦可写成 judging from，意为“根据…来判断，由…看来”) 相当于 “If we are to judge by” 的意思，显然两个子句的主词并不相同。然而，这个分词词组现在无论在美国或英国都颇为常见，它被用在附属子句的前面，但其所引导的分词结构与主要子句的关连性并不强

自然语言处理是 AI 皇冠上的明珠，而语料预处理是自然语言处理的基础。 机器能跟人类交流吗？能像人类一样理解文本吗？这是大家对人工智能最初的想象。如今，NLP 技术可以充当人类和机器之间沟通的桥梁

中文分词(Chinese Word Segmentation)指的是将一个汉字序列切分成一个一个单独的词。中文分词是文本挖掘的基础，对于输入的一段中文，成功的进行中文分词，可以达到电脑自动识别语句含义的效果。SAE分词系统基于隐马模型开发出的汉语分析系统，主要功能包括中文分词、词性标注、命名实体识别、新词识别

自然语言处理是 AI 皇冠上的明珠，而语料预处理是自然语言处理的基础。 机器能跟人类交流吗？能像人类一样理解文本吗？这是大家对人工智能最初的想象。如今，NLP 技术可以充当人类和机器之间沟通的桥梁

“-ed分词”，即传统语法上，我们所谓的“过去分词”。它的用法有两个特点：一是表示完成，二是表示被动。规则动词的过去分词在动词原形后加“ed”构成，所以我们也称之为“-ed分词”