当前位置: 首页 >> 面试题 >> 技术 >> 后端开发 >> 自然语言处理 >>

简单介绍一下什么是中文分词以及中文分词的作用和意义

1.什么是中文分词?

中文分词就是将连续的字序列按照一定的规范切分成词序列的过程。众所周知,在英文的行文中,单词之间是以空格作为自然分界符的,而中文只是字、句和段可以通过明显的分界符来简单划界,唯独词没有一个形式上的分界符,虽然英文也同样存在短语的划分问题,但是在词这一层上,中文比之英文要复杂的多、困难的多。

2.中文分词的应用
    中文分词主要应用于信息检索、汉字的智能输入、中外文对译、中文校对、自动摘要、自动分类等很多方面。下面就以信息检索为例来说明中文分词的应用。
通过近几年互联网的发展,互联网上的信息也在急剧膨胀,各类信息混杂在一起,要想充分利用这些信息资源就要对它们进行整理,如果面对中文信息不采用分词技术,那么整理的结果就过于粗糙,而导致资源的不可用,例如:“制造业和服务业是两个不同的行业”和“我们出口日本的和服比去年有所增长”中都有“和服”,如果都作为一个词来处理,结果是检索“和服”的相关信息,会将他们都检索到。很显然,检索到第一条信息是不恰当的。

通过引入分词技术,可以使机器对信息的整理更准确、更合理,在“制造业和服务业是两个不同的行业”中“和服”不会被当作一个词来处理,那么检索“和服”当然不会将它检索到,使得检索结果更准确,效率也会大幅度的提高。
3.中文分词的意义和作用

要想说清楚中文分词的意义和作用,就不得不提到智能计算技术。智能计算技术涉及的学科包括物理学、数学、计算机科学、电子机械、通讯、生理学、进化理论和心理学等等。简单的说,智能计算就是让机器“能看会想,能听会讲”。要想实现这样的一个目标,首先就要让机器理解人类的语言,只有机器理解了人类的语言文字,才能使人与机器的交流成为可能。

对于自然语言来讲,“词是最小的能够独立活动的有意义的语言成分”,所以对于中文来讲,将词确定下来是理解自然语言的第一步,只有跨越了这一步,中文才能像英文那样过渡到短语划分、概念抽取以及主题分析,以至于自然语言理解,最终达到智能计算的最高境界,实现人类的梦想。
中文分词是中文信息处理系统的基础,有着极其广泛的实际应用。从基本的输入系统,到文字处理,以及语音合成,文本检索,文本分类,自然语言接口,自动文摘等等,无处不渗透着分词系统的应用。分词系统的完善与应用,必将促进中文信息处理系统的广泛应用,换言之,也就提高了中文软件对于中文的处理能力,这也将使得计算机用户的日常工作的效率得以提高。

Loading