转贴：Lucene的特性分析
作者:admin 日期:2006-10-13
3.1. Lucene核心部分——索引排序
Lucene 的索引排序是使用了倒排序原理。
Lucene 的索引排序是使用了倒排序原理。
该结构及相应的生成算法如下：
设有两篇文章1和2
文章1的内容为：Tom lives in Guangzhou,I live in Guangzhou too.
文章2的内容为：He once lived in Shanghai.
1. 由于lucene是基于关键词索引和查询的，首先我们要取得这两篇文章的关键词，通常我们需要如下处理措施
a. 我们现在有的是文章内容，即一个字符串，我们先要找出字符串中的所有单词，即分词。英文单词由于用空格分隔，比较好处理。中文单词间是连在一起的需要特殊的分词处理。
b. 文章中的”in”, “once” “too”等词没有什么实际意义，中文中的“的”“是”等字通常也无具体含义， 这些不代表概念的词可以过滤掉，这个也就是在《Lucene详细分析》中所讲的StopTokens
Tags: Lucene
北京线点科技 致力于以数据和搜索为核心的业务 （全文检索、舆情监控、搜索引擎产品）http://www.xd-tech.com
- 1
