分类目录搜索引擎

搜索引擎是什么？

这里有个概念需要提一下。信息检索 (Information Retrieval 简称 IR) 和 搜索 (Search) 是有区别的，信息检索是一门学科，研究信息的获取、表示、存储、组织和访问，而搜索只是信息检索的一个分支，其他的如问答系统、信息抽取、信息过滤也可以是信息检索。

本文要讲的搜索引擎，是通常意义上的全文搜索引擎、垂直搜索引擎的普遍原理，比如 Google、Baidu，天猫搜索商品、口碑搜索美食、飞猪搜索酒店等。

Lucene 是非常出名且高效的全文检索工具包，ES 和 Solr 底层都是使用的 Lucene，本文的大部分原理和算法都会以 Lucene 来举例介绍。

为什么需要搜索引擎？

看一个实际的例子：如何从一个亿级数据的商品表里，寻找名字含“秋裤”的 商品。

阅读更多

倒排索引是搜索引擎中最为核心的一项技术之一，可以说是搜索引擎的基石。可以说正是有了倒排索引技术，搜索引擎才能有效率的进行数据库查找、删除等操作。

1. 倒排索引的思想

倒排索引源于实际应用中需要根据属性的值来查找记录。这种索引表中的每一项都包括一个属性值和具有该属性值的各记录的地址。由于不是由记录来确定属性值，而是由属性值来确定记录的位置，因而称为倒排索引(inverted index)。

在搜索引擎中，查询词可以切分成若干个单词，所以对于搜索引擎中的倒排索引对应的属性就是单词，而对应的记录就是网页（也可以广泛地称为是文档）。所以，搜索引擎中的倒排索引是实现“单词-文档矩阵”的一种具体存储形式，通过倒排索引，可以根据单词（属性）快速获取包含这个单词的文档列表（记录）。倒排索引主要由两个部分组成：“单词词典”和“倒排文件”。

阅读更多