Publish: May 16, 2019 Category: 数据分析 No Comments
词性标注：
给定句子中判定每个词的语法范畴，确定其词性并加以标注的过程。这样说比较抽象，我们用一个简单的例子来说明
Evenvi这儿是个非常漂亮的公园对其词性标注结果如下
这儿/代词 是/动词 个/量词 非常/副词 漂亮/形容词 的/结构助词 公园/名词给已经分好的词做词性标注，中文里多义的，也就是不同场景下表示的语法属性完全不同。好在大多数的词，尤其是“实词”一般只有一到两个词性，并且其中一个词性使用频次远远高于另外一个。
词性标注最简单的方法是从”语料库“中统计每个词所对应的高频词性，将其作为默认词性。同时使用”隐含马尔可夫模型“、”条件随机场模型”能提高标记准确性。
Publish: April 28, 2019 Category: 代码分享,数据分析 No Comments
自然语言处理的首要任务是分词，将一段文本分割成独立的词语。
已经归纳的三种分词如下：
规则分词、统计分词、混合分词
正向最大匹配法(Maximum Match Method MM法)的基本思路，假定分词词典中最最长词为 i 个汉字字符，则首先切分待处理文档的前 i 个字符作为匹配子串，在分词词典中查找。如果找到则表示匹配成功，匹配子串作为一个词切分出来。如果在字典中找不到这个词，则匹配失败，然后将匹配字段中的最后一个字去掉对剩下的子串重新匹配。按照这个方法直到匹配成功。逆向最大匹配算法（Reverse Maximum Match Method, RMM法）：其算法描述和MM法基本一致，唯一的不同在于RMM法是从文本的后面开始匹配。双向最大匹配法 （Bi-directction method）:是将MM法和RMM法得到的结果进行比较，然后按照最大匹配原则，选取词数切分最少的作为结果。
基于统计的分词一般有两部分内容：
Jieba分词结合了基于规则和基于统计这两类方法实现中文分词。通过前缀词典构建可能的有向无环图，通过在该图中的多条分词路径找到最优路线，也就确定了具体分词。对于未记录在词典的词，其使用HMM模型，采用Viterbi算法进行推导（表示我也不知道这个是什么意思）。
Publish: September 10, 2018 Category: 数据分析 No Comments
我们有如下数据,列出了每个人对每部电影的喜好评分，数字越大表示越喜欢。要做推荐算法首先要做的是寻找相似爱好的用户，然后根据这些相似用户中最喜欢的一些电影推荐给该用户。
首先第一步就是寻找相近用户，这里有两种相似用户寻找方式。
| 项目 | Lisa Rose | Gene Seymour | Michael Phillips | Claudia Puig | Mick LaSalle | Jack Matthews | Toby | |
|---|---|---|---|---|---|---|---|---|
| Lady in the Water | 2.5 | 3.0 | 2.5 | 3.0 | 3.0 | |||
| Snakes on a Plane | 3.5 | 3.5 | 3.0 | 3.5 | 4.0 | 4.0 | 4.5 | |
| Just My Luck | 3.0 | 1.5 | 3.0 | 2.0 | ||||
| Superman Returns | 3.5 | 5.0 | 3.5 | 4.0 | 5.0 | 5.0 | 4.0 | |
| You, Me and Dupree | 2.5 | 3.5 | 2.5 | 3.5 | 3.5 | 1.0 | ||
| The Night Listener | 3.0 | 3.0 | 4.0 | 4.5 | 3.0 | 3.0 | ||
Publish: September 6, 2018 Category: 数据分析 No Comments
先把地址贴一下 https://gitee.com/kuaizhaoren/swallow， 给自己挖了个坑可能填不上了。现在的感觉是只有需求驱动才有动力搞下去。有共同学习兴趣的可以看下。