收集了一点资料
字典库:http://www.mdbg.net/chindict/chindict.php?page=cedict
文章：http://iregex.org/blog/simple-nlp-for-chinese.html
中文分词工具包：http://www.iteye.com/news/10746-python-smallseg
代码链接：http://code.google.com/p/smallseg/
一个搜索算法：
SUNDAY 算法描述：
字符串查找算法中，最著名的两个是KMP算法（Knuth-Morris-Pratt)和BM算法（Boyer-Moore)。两个算法在最坏情况下均具有线性的查找时间。但是在实用上，KMP算法并不比最简单的c库函数strstr()快多少，而BM算法则往往比KMP算法快上3－5倍。但是BM算法还不是最快的算法，这里介绍一种比BM算法更快一些的查找算法。
例如我们要在"substring searching algorithm"查找"search"，刚开始时，把子串与文本左边对齐：
substring searching algorithm
search
^
结果在第二个字符处发现不匹配，于是要把子串往后移动。但是该移动多少呢？这就是各种算法各显神通的地方了，最简单的做法是移动一个字符位置；KMP是利用已经匹配部分的信息来移动；BM算法是做反向比较，并根据已经匹配的部分来确定移动量。这里要介绍的方法是看紧跟在当前子串之后的那个字符（上图中的 'i')。
显然，不管移动多少，这个字符是肯定要参加下一步的比较的，也就是说，如果下一步匹配到了，这个字符必须在子串内。所以，可以移动子串，使子串中的最右边的这个字符与它对齐。现在子串'search'中并不存在'i'，则说明可以直接跳过一大片，从'i'之后的那个字符开始作下一步的比较，如下图：
substring searching algorithm
search
^
比较的结果，第一个字符就不匹配，再看子串后面的那个字符，是'r',它在子串中出现在倒数第三位，于是把子串向前移动三位，使两个'r'对齐，如下：
substring searching algorithm
search
^
哈！这次匹配成功了！回顾整个过程，我们只移动了两次子串就找到了匹配位置，是不是很神啊?!可以证明，用这个算法，每一步的移动量都比BM算法要大，所以肯定比BM算法更快。
文章关键词词频统计算法：
一种基于中文的词频统计算法：
1、将待分析的文本转换成字符串（适用任何类型的字符串）
2、将字符串进行中文分词
3、利用统计字符个数函数得出分词后的文本字符串个数a
4、将待统计的关键词用字符串替换法消除，并且利用步骤3 的函数得出消除关键词后的文本字符处个数b
上一篇: 记录几个python的下载地址
下一篇: 分词字典收集，和程序收集
相关文章：
- python程序内存占用分析-meliae
- 介绍几个比较出名的编程acm题库
- 位运算交换变量 不用临时变量（C位运算）
- Javascript 另类写法
- 用python爬虫抓站的一些技巧总结
- Python 模拟登录及表单提交
Categories: 博客记录
0 Responses so far.