王鹏飞seo博客,专注郑州seo,郑州网站优化,百度seo优化,提供免费seo诊断方案。seo外包顾问QQ:931519643。
Loading
0

「网站优化」百度分词技术

【网站优化】百度分词技术

  分词技术:什么是分词, 如何分词搜索引擎会承认,这是一位朋友提的问题,想必大家也听说过,很好奇,什么是分词技术,

  什么又是百度分词呢?分词大家容易理解。就是一段词用字符分开,比如标点符号,空格等。

  那什么叫分词技术呢?分词技术就是SEO针对用户提交查询的关键串进行的查询处理后根据用户的关键词串用各种匹配方法进行的一种技术。

  大家好好理解。那么我们要理解分词技术先要理解一个概念。那就是查询处理,当用户向搜索引擎提交查询后,搜索引擎接收到用户的信息要做一系列的处理。

  首先是到数据库里面索引相关的信息,这就是查询处理,那么查询处理又是如何工作的呢?很简单,把用户提交的字符串没有超过3个的中文字,

  就会直接到数据库索引词汇。超过4个中文字的,首先用分隔符比如空格,标点符号,将查询串分割成若干子查询串。举个例子。

  “什么是百度分词技术” 我们就会把这个词分割成“ 什么是,百度,分词技术。”这种分词方法叫做反向匹配法。

  然后再看用户提供的这个词有没有重复词汇。如果有的话,会丢弃掉,默认为一个词汇。接下来检查用户提交的字符串,

  有没有字母和数字。如果有的话,就把字母和数字认为一个词。好了,这就是SEO的查询处理。

  讲了查询处理后,大家对分词技术,尤其是中文分词技术有了一个基本的了解。其实我讲的都是搜索引擎的原理。

  好了,我接下来讲分词的原理。我们用百度来举例,百度是如何来分词的呢?分词技术现今非常成熟了。他分为3种技术。

  1.字符串匹配的分词方法

  2.词义分词法。

  3.统计分词法。

  一、字符串匹配的分词方法(分三种)

  1.正向最大匹配法

  什么意思呢?就是把一个词从左至右来分词。举个例子,“不知道你在说什么”这句话采用正向最大匹配法是如何分的呢?“不知道,你,在,说什么”与正向最大匹配法相对应的是反向最大匹配发。这是第二种分词方法。

  2. 反向最大匹配法

  上面我举的例子是如何分的呢 "不知道你在说什么"。反向最大匹配法来分上面这段是如何分的。“不,知道,你在,说,什么”,这个就分的比较多了,反向最大匹配法就是从右至左。

  3.就是最短路径分词法

  这个怎么理解呢 ,就是说我一段话里面要求切出的词数是最少的。还是上面那句话“不知道你在说什么”最短路径分词法网站开发就是指,

  我把上面那句话分成的词要是最少的。不知道,你在,说什么,这就是最短路径分词法,分出来就只有3个词了 。

  好了,当然还有上面三种可以相互结合组成一些分词方法。比如正向最大匹配法和反向最大匹配法组合起来就可以叫做双向最大匹配法。

  二、词义分词法

  这种其实就是一种机器语音判断的分词方法。很简单,进行句法、语义分析,利用网站优化句法信息和语义信息来处理歧义现象来分词,这种分词方法,现在还不成熟。处在测试阶段。

  三、统计的分词方法

  这个很简单,就是根据词组的统计,就会发现两个相邻的字出现的频率最多,那么这个词就很重要。就可以作为用户提供字符串中的分隔符。这样来分词。

  比如,“我的,你的,许多的,这里,哪里,那里”。等等,这些词出现的比较多,就从这些词里面分开来。

声明:本文为原创,作者为 王鹏飞SEO,转载时请保留本声明及附带文章链接:http://www.wpfseo.com/jc/21854.html

最后编辑于:2019/4/26作者: 王鹏飞SEO

王鹏飞seo,专注郑州SEO网站优化,分享百度SEO优化知识,提供免费seo优化方案。

暂无评论

发表评论

邮箱地址不会被公开。 必填项已用*标注

arrow grin ! ? cool roll eek evil razz mrgreen smile oops lol mad twisted wink idea cry shock neutral sad ???

扫一扫,获取免费seo诊断!

扫一扫,获取免费seo诊断!