《站务讨论》显示文章详细内容: [展开] [回复] [网址] [举报] [屏蔽]
胖墩儿
胖墩儿目前处于离线状态
等    级:资深长老
经 验 值:14536
魅 力 值:9289
龙    币:19892
积    分:16426.5
注册日期:2003-03-19
 
  查看胖墩儿个人资料   给胖墩儿发悄悄话   将胖墩儿加入好友   搜索胖墩儿所有发表过的文章   给胖墩儿发送电子邮件      

第二条基本不会影响系统性能
第二条是停用词功能。

系统事先设置一个常用停用词词库,把诸如脏字、政治上所不允许的词等等收录其中。以后可以人工更新,更可以让系统进行自动优化。这不会影响系统性能。

不过,停用词也有负面作用,因为它只能机械地对文字做匹配,无法识别自然语言。用实际的例子说明:

孩子对老师说,“我妈妈的签字很好看。”

因为“妈的”两字几乎都会被收进停用词词库,因此,这句话显示出来就是:

“我妈**签字很好看。”

那两个被认为敏感的字,被系统自动替换成星号(*)了,这句话也快成笑话了。

当然这只是个案。

停用词功能在保护论坛、减轻管理者工作量等方面,是非常见效果的。就目前的数据量而言,第二条基本不会影响系统性能。

推荐考虑此建议。
2003-09-15 01:23:59   此文章已经被查看104次   
 相关文章: [回复]  [顶端] 



  您必须登录论坛才可以发表文章:
 
用户名:   密码:   记住密码:    (忘记密码 注册




版权所有 回龙观社区网 经营许可证编号:京B2-20201639 昌公网安备1101140035号

举报电话:010-86468600-5 举报邮箱: