优化:浅谈百度三种中文分词技术

中文分词技术是搜索引擎对于用户提交查询的关键词，搜索引擎用中文分词把词按照一定的规格，将一个长尾词分割成几个部分，从而概括一段话的主要内容，让用户能更快速度的找到想要的内容。搜索引擎最常用的几种分词方法有三种：

一、字符串匹配的方法;(字符串匹配的分词一般为3种：1.正向最大匹配法;2.逆向最大匹配法;3.最少切分)

二、理解分词方法;

三、统计分词方法。

字符串匹配方法：在百度中搜索我喜欢玩宠物连连看而在百度排名第一位的是以标题和搜索的长尾词相符合，说明在网站条件相当的情况下，先显示 标题匹配的网页。这样文章标题中的长尾是在排名中非常重要的。而在百度第二页我喜欢玩宠物连连看用百度快照查看，很显然长尾词已经被分成我喜欢， 玩，宠物连连看而在外后已经被分成：我，喜欢玩，宠物，连连看，这种匹配方法是最少切分方式。理解分词方法：当输入的字符串中包含≤3个中文字符的话百度分词就会直接接到数据库索引词汇;而当字符串长度》4个中文字符的时候，百度中分词会会把这个词分成若干个字符。如：百度搜索电动车。统计分词方法：相邻的字同时出现的次数越多，中文分词就会可能把出现相邻的字当成你一个词。例如在百度中输入一个字符网而在下面百度也把网站标红了，这样可以看得出网与站这两个字符相邻出现的次数非常多，统计分词已经把网站纳入了词库。