] SCWS-1.2.0 发布,BSD协议、支持自定义词库、PHP5.4

2010年,scws 加上了翘首以盼的删减词库功能,该功能通过变通的办法解决,并非直接修改核心词库。下面详细介绍一下 scws-1.1.x 的更新日志及用法举例(示例以PHP扩展语言为例)。

最新版下载地址:http://www.ftphp.com/scws/download.php

--

scws-1.2.0 发布于 2012-3-29

1) 修改 php 扩展代码以兼容支持 php 5.4.x

2) 修正 php 扩展中 scws_get_tops 的 limit 参数不允许少于 10 的问题

3) libscws 增加 scws_fork() 从既有的 scws 实例产生分支并共享词典/规则集,主要用于多线程开发。

4) 新增部分版本的 win32 的 dll 扩展,详见下载页面

scws-1.1.9 发布于 2011-12-26

2011-12-26: SCWS-1.1.9 Released.

1) 明确使用开源协议 New BSD License 发布新版本

2) 深度优化复合分词中的 SCWS_MULTISHORT 选项,更为合理有效,符合全文检索的需求

3) 测试脚本自动加载当前目录下的 dict_user.txt 文本词典

4) 修正 scws.c 中 __PARSE_XATTR__ 宏的 BUG 导致 scws_get_tops 和 scws_get_words 的 xattr 参数工作不正常的问题

5) 移除 scws.c 中关于 jabberd2s10 的注释,已不包含它的代码

6) 为独立使用的 .h 文件添加 C++ 的 extern "C" 标记以便直接使用:xdb.h,xdict.h,xtree.h,pool.h,darray.h

scws-1.1.8 发布于 2011-07-30

1) win32/目录新增 vc9 工程文件, 默认为 php-5.3.x 提供的 php_scws.dll 采用 VC9(thread-safety) 编译

2) 修改英语专有名词的识别方式, 原先 X.Y.Z 必须字母全大写,现也允许小写

3) 修改 congiure.in 在 ---enable-developer 选项的处理方式,不覆盖预设的 CFLAGS

4) 改变数字字母单独成词时的规则,当其中同时包含2个连续字母以及2个连续数字时强制拆分。例:原先单独的 iso9001 是整词,新规则切为 iso+9001 而 i9001 则保持不变仍为。这样做更有利于全文检索。

scws-1.1.7 发布于 2011-05-21

1) 删除 __PARSE_XATTR__ 宏中企图修改 xattr 的内容的作法, 当 xattr 为常量字符串时会出错.

2) 调整 config.h 的包含方式移入 .c 文件而非 .h 文件

3) 增加一些PHP测试脚本, 位于phpext/scws_test.php, 精选了一些岐义较多的语句进行测试。

4) 修正 scws_has_word() 的一处内存汇露 (感谢lauxinz)

5) 修改调试模式的编译选项,去除-O2避免源码和代码无法对应。 (感谢lauxinz)

scws-1.1.6 发布于 2011-04-20

修正夹杂在汉字中间的1-2个英文字符的词性为 en 而不是原来的 un 导致清除符号时消失.

调整将数字后面的独立 % 纳入整词作为百分比,如 33.3% 作为整词而不再是 33.3 和 %

修改连字符(-)和下划线(_)的规则,当出现在字母单词之间时视为同一词而不再强行切开,此时如果激活复合分词的 DUALITY 选项,则仍能将符号切开作为复合词。

修正浮点数的识别规则,避免将IPv4地址识别为2个小数的尴尬,比如 192.168.1.1 以前会被切成 192.168 和1.1 2个数字,现在不会了。

libscws 安装后将所有的头文件(*.h)按装到 $prefix/include/scws 而不是以前的 $prefix/include,故采用C API开发时头部建议写 #include <scws/scws.h>

--

scws-1.1.5 发布于 2010-12-31

修正 1.1.4 的 xdb.c 270行处由于书写错误导致的严重错误, 1.1.4版作废应及时升为 1.1.5

--

scws-1.1.4 发布于 2010-12-30

修正 xdb.c 中存在的一处缓冲区溢出, 感谢论坛网友 hovea.

修正 phpext/ 中 scws_get_result() 参数解析里多了一个z 的问题,感谢网友(阿男)告知

修正 scws.c 中某些字符在ignore symbol设置下无效的问题

--

scws-1.1.3 发布于 2010-09-15

将 cli/ 下的工具程序命名下划线改成连接线(减号), gen_scws_dict 改为 gen-scws-dict

消除 php5.3 的警告信息, 重写 phpext/ 中的部分zend API, 统一采用 zend_parse_parameters()

--

scws-1.1.2 发布于 2010-5-9

这是一个小bug修正版,修正在非内存模式词库时会导致人名识别失败的bug.

--

scws-1.1.1 发布于 2010-3-4

这是一个bug修正版,1.1.0 中存在内存泄露的重大bug。

--

scws-1.1.0 发布于 2010-1-29

项目主页:http://www.ftphp.com/scws

项目演示:http://www.ftphp.com/scws/demo/v4.php(含自定词汇功能)

TF/IDF简易查询计算器:http://www.ftphp.com/scws/demo/get_tfidf.php (用于新词添加时不知怎么设tf,idf的话)

基于SCWS自动分类演示:http://www.ftphp.com/scws/demo/a.php(输入一段文字系统自动给出最合适的分类建议)

-- 新增或变动的 API --

1. [libscws] scws_set_dict(scws_t s, const char *fpath, int mode); scws_add_dict(scws_t s, const char *fpath, int mode);

scws_set_dict 为原有功能,scws_add_dict 是新增功能,2者功能相当接近,只是 scws_set_dict 会把 scws handler 现存的词库表

清空,并设为当前的词库,而 scws_add_dict 只是将该词库添加到 scws handler 的词库表中,并优先使用。

scws_add_dict 添加的词库,越后面添加的查询优先级越高,即相当于可以覆盖前面的词库。

参数 mode 包括三个值:SCWS_XDICT_XDB, SCWS_XDICT_MEM, SCWS_XDICT_TXT,

TXT意未着 fpath 指向的词库文件为纯文本文件, 可以通过按位与(|)与另2项链接表示是否强制将词库加载到内存.

除TXT外只支持XDB格式的词库了。

2个函数的返回值均为 int,成功为1 失败是0。此外,词库的字符集必须和 scws_set_charset()指定的相匹配,以免出错。

** 详解 TXT 词库的写法 (TXT词库目前已兼容 cli/scws_gen_dict 所用的文本词库) **

1) 每行一条记录,以 # 或 分号开头的相当于注释,忽略跳过。

2) 每行由4个字段组成,依次为“词语"(由中文字或3个以下的字母合成), "TF", "IDF", "词性", 字段时间用空格或制表符分开,数量不限,可自行对齐以美化。

3) 除“词语”外,其它字段可忽略不写。若忽略,TF和IDF默认值为 1.0 而 词性为 "@"

4) 由于 txt 库动态加载(内部监测文件修改时间自动转换成 xdb 存于系统临时目录),故建议TXT词库不要过大!

5) 删除词作法,请将词性设为“!“,则表示该词设为无效,即使在其它核心库中存在该词也视为无效。

2. [libscws] 新增 int scws_has_word(const char *xattr); 和 scws_top_t scws_get_words(const char *xattr); 两个函数

1. 参数 xattr 和 scws_get_tops 的参数是一样的,指定词性,多个词性之间用逗号(,)分隔,若以 ~ 开头则表示不在该词性列表中即可。

2. 两个函数均应在 scws_send_text 之后调用,scws_has_word 用于判断文本中是否包含 xattr 词性的词汇,常用于脏词判断,将脏词统一设为一个词性。

3. scws_get_words 返回词性属于 xattr 的词汇列表,返回顺序为词出现的先后顺序,词的结构和 get_tops 一样,包含 weight, times 的统计。

3. 以后上新或改动的 api 同步反应在 php 扩展中,对应的原型如下:

函数调用形式:bool scws_set_dict(Resource scws_handler, string filepath[, int mode = SCWS_XDICT_XDB]);

bool scws_add_dict(Resource scws_handler, string filepath[, int mode = SCWS_XDICT_XDB]);

bool scws_has_word(Resource scws_handler, string xattr);

Array scws_get_words(Resource scws_handler, string xattr); 若不存在返回空数组,而不是 false

对象调用形式:bool scws->set_dict(string filepath[, int mode = SCWS_XDICT_XDB]);

bool scws->add_dict(string filepath[, int mode = SCWS_XDICT_XDB]);

bool scws->has_word(string xattr);

Array scws->get_words(string xattr); 若不存在返回空数组,而不是 false

特别注意,原 scws 在不指定任何词库的情况下会自动搜索 ini(scws.default.fpath) 底下的 dict.xdb/dict.utf8.xdb,如果调用过 add_dict 或 set_dict

则不会再触发该功能,故采用额外词库时原核心词库必须显式地调用才行。

-- [color]新功能用法示例[/color] (php为例) --

1. 自定义词库,含新增核心库不存在的词汇及删除核心库存在词汇的功能

1) 创建相应字符集的词库文件 dict_extra.txt

2) TF/IDF 参考值查询,为方便大家我作了一个工具自动查询!!( http://www.ftphp.com/scws/demo/get_tfidf.php)

3) 切记要删除的词用 ! 作为词性,比如以下文件:

代码:
; dict_extra.txt

我是新增词 2.0

再试一个 1.0 1.0@

; 以下词为删除项

删除 1.01.0!

4) 然后将 dict_extra.txt 在原核心库后加载,如:

$cws->add_dict(init_get("scws.default.fpath").'/dict.xdb');

$cws->add_dict("/path/to/dict_extra.txt", SCWS_XDICT_TXT);

...

2. 非法关键词的判断及获取(可用于过滤。。)

1) 将非法词汇收集整理,作成 txt 格式文件,统一将其属性设为 '*' 即可

2) 按步骤最后加载黑词词库

3) 在 $cws->send_text($text); 之后

调用 $cws->has_word("*"); 来判断是否包含黑词, 该函数效率较高, 只要判断到一个黑词即返回true

调用 $cws->get_words("*"); 则可以获取黑词清单,显式地告诉用户它的内容包含了哪些非法词汇。。。

发表回复