【API文档搜索引擎】上_搜狗搜索api

API文档搜索引擎

• 1. 为什么要做这个项目
• 2. 搜索引擎相关宏观原理
• 3. 搜索引擎技术栈和项目环境
• 4. 正排索引 vs 倒排索引 - 搜索引擎具体原理
• 5. 编写数据去标签与数据清洗的模块 Parser
• • 5.1 去标签
  • 5.2 编写parser
• 6. 编写建立索引的模块 Index
• • 6.1 建立正排索引
  • 6.2 建立倒排索引

1. 为什么要做这个项目

目前我们熟知的搜索引擎有：百度，360，搜狗等，它们所作的都是全网搜索 。而我们接下来做的是站内搜索，搜索数据更垂直，数据量其实更小。以前Boost库是没有搜索的，不过现在是有了，但没关系，重要的是虽然我们做的是Boost搜索引擎，但如果掌握了，可以改成任何一个搜索引擎。

我们可以先看看一个搜索引擎给它关键字给我们显现出来的东西。

可以看到主要呈现的东西有标题、摘要、网址。后面我们实现的搜索引擎也要呈现这样的效果。

2. 搜索引擎相关宏观原理

在一个服务器集群/服务器里磁盘某个路径下放着从全网爬下来的资源。有个searcher进程再跑。

第一步：对这个路径下的文件进行去标签+数据清理
第二步：建立索引（方便快速查找）

当用户发起一个http请求，通过GET方法提交搜索关键字，发起搜索任务

第三步：检索索引得到相关html

拼接多个网页的title+desc+url，构建一个新的网页，返回给用户

目前我们大致了解一下流程即可。

3. 搜索引擎技术栈和项目环境

• 技术栈: C/C++ C++11, STL, 准标准库Boost，Jsoncpp，cppjieba，cpp-httplib
• 选学： html5，css，js、jQuery、Ajax
• 项目环境：ubentu20.04 云服务器，gcc(g++)/Makefile , vs code

4. 正排索引 vs 倒排索引 - 搜索引擎具体原理

比如说目前我们有两个文档：

• 文档1：雷军发布了小米汽车
• 文档2：雷军买了四斤小米

所谓正排索引：就是根据文档ID找到文档内容(文档内的关键字)

文档ID 文档内容 1 雷军发布了小米汽车 2 雷军买了四斤小米

建立倒排索引，之前我们要先对文档进行分词，（目的：方便建立倒排索引和查找）

• 文档1：[雷军发布了小米汽车]： 雷军/发布/小米/汽车/小米汽车
• 文档2：[雷军买了四斤小米]： 雷军/买/四斤/小米/四斤小米

停止词：了，的，吗，a，the，⼀般我们在分词的时候可以不考虑。

倒排索引：根据文档内容，分词，整理不重复的各个关键字，对应联系到文档ID的方案

关键字(具有唯一性) 文档ID，weight(权值) 雷军 文档1，文档2 发布 文档1 小米 文档1，文档2 汽车 文档1 小米汽车 文档1 买 文档2 四斤 文档2 四斤小米 文档1，文档2

关于权值也是有必要的，我们搜索一个关键字，就会从上到下给我们很多条搜索结果，那谁在前谁在后呢？这里我们简单一点，就以权值来衡量搜索谁在前谁在后。当前真实情况就是动用钞能力了。。。

模拟一次搜索引擎查找的过程：

用户输入：小米 -> 先倒排索引中查找 -> 提取出文档ID(1,2) -> 在去正排索引中查找 -> 找到对应文档的内容 -> title+conent（desc）+url 文档结果进行摘要 -> 构建响应结果

接下来我们正式编写我们的代码，我们一模块一模块的进行编写。

5. 编写数据去标签与数据清洗的模块 Parser

首先你得要有boost库数据才行。boost库

我们可以下载最新的版本，然后拉到你得linux中，

解压压缩包，会得到这个东西

大部分 .html都在 doc/html目录下，目前只需要boost_1_87_0/doc/html目录下的html文件，用它来进行建立索引

这里我把它拷贝到自己项目下的boost_search/data/input路径下

然后你刚才下载的boost库你就可以删了。

5.1 去标签

html的标签，这个标签对我们进行搜索是没有价值的，需要去掉这些标签，一般标签都是成对出现的！

我们要去标签，主要是为了得到里面有效内容，它们是我们建立索引需要的东西。

我们把去标签之后的干净内容放raw.txt文档中

这里要注意我们把内容写进文档，未来也要建立索引也要进行读取。为了方便读取，文档内的内容以\\3进行分割，文档和文档直接用\\n进行分割。

类似：title\\3content\\3url \\n title\\3content\\3url \\n title\\3content\\3url \\n …

这样的话未来我们使用getline(ifsream, line)，直接一行一行获取文档的全部内容 title\\3content\\3url

5.2 编写parser

未来公用类的都放在Conmon.h头文件里。

//Common.h#pragma once#include#include#include#includeusing std::cout;using std::cerr;using std::endl;//Parser.cc#inclide\"Common.h\"//源数据所有html文件的路径static const std::string src_path = \"data/input\";//源数据去标签+数据清理之后的路径static const std::string output = \"data/raw_html/raw.txt\";typedef struct DocInfo{ std::string title; //文档的标题 std::string content; //文档的摘要 std::string url; //该文档在官网的url}DocInfo_t;//const &: 输入//*: 输出//&：输入输出bool EnumFile(const std::string &src_path, std::vector<std::string> *files_list);bool ParserHtml(const std::vector<std::string> &files_list, std::vector<DocInfo_t> *results);bool SaveHtml(const std::vector<DocInfo_t> &results, const std::string &output);int main(){ std::vector<std::string> files_list; // 第一步: 递归式的把每个html文件名带路径,保存到files_list,方便后期进行一个个的文件读取 if (!EnumFile(src_path, &files_list)) { cerr << \"enum file name fail\" << endl; return 1; } std::vector<DocInfo_t> results; // 第二步: 根据files_list读取每个文件的内容,并进行解析 if (!ParserHtml(files_list, &results)) { cerr << \"parser html fail\" << endl; return 2; } // 第三步: 把解析完的各个文件内容,写入到output,按照\\3作为每个文档内部分割符,\\n作为每个文档的分割符 if (!SaveHtml(results, output)) { cerr << \"save html fail\" << endl; return 3; } return 0;}

如何递归式的把每个html文件名带路径都拿到呢？这里我们可以使用boost库的方法。

通过apt-get命令安装libboost-all-dev包

sudo apt-get updatesudo apt-get install libboost-all-dev

安转好之后，默认安装目录为/usr，
默认头文件安装目录在 /usr/include/boost
默认so库文件安装目录在/usr/lib/x86_64-linux-gnu

安装之后我们就可以写了

bool EnumFile(const std::string &src_path, std::vector<std::string> *files_list){ namespace fs = boost::filesystem; fs::path root_path(src_path); // 判断路径是否存在,如果不存储就没有必要往后走了 if (!fs::exists(root_path)) { //cout << root_path << \"not exists\" << endl; LOGMESSAGE(FATAL,src_path + \"not exists\"); return false; } // 定义一个空的迭代器,用来判断递归结束 fs::recursive_directory_iterator end; for (fs::recursive_directory_iterator start(root_path); start != end; ++start) { // 判断文件是否是普通文件,.html结尾是普通文件 if (!fs::is_regular_file(*start)) { continue; } // 判断文件路径的后缀是否符合要求 if (start->path().extension() != \".html\") { continue; } // cout << \"debug: \" <path().string() << endl; // 当前的路径一定是一个合法的，以.html结束的普通网页文件 // 将所有带路径的html保存在files_list,方便后续进行文本分析 files_list->push_back(start->path().string()); } return true;}

当前已经把所有.html文件名带路径都放到files_list中，然后我们就可以依次读每条路径把每个文档的内容拿出来，进行分割。

//Common.hclass Util{public: //从文件中读取内容 static bool ReadFile(const std::string& file_path, std::string* out) { std::ifstream ifs(file_path); if(!ifs.is_open()) { cerr << \"open file\" << file_path << \"fail\" <<endl; return false; } std::string line; while(getline(ifs,line)) { *out += line; } ifs.close(); return true; }};//Parser.ccbool ParserHtml(const std::vector<std::string> &files_list, std::vector<DocInfo_t> *results){ for (const auto &path : files_list) { // 1. 读取文件 std::string result; if (!Util::ReadFile(path, &result)) { continue; } DocInfo_t doc; // 2.解析指定文件,提取title if (!ParserTitle(result, &doc.title)) { continue; } // 3.解析指定文件,提取content,就是去标签 if (!ParserContent(result, &doc.content)) { continue; } // 4.解析指定文件路径,构建url if (!ParserUrl(path, &doc.url)) { continue; } // done,一定是完成了解析任务，当前文档的相关结果都保存在了doc里面 // results->push_back(std::move(doc))//bug:todo;细节，本质会发生拷贝，效率可能会比较低 results->push_back(std::move(doc)); // 拷贝变移动 // for debug //ShowDoc(doc); //break; } return true;}

提取title

bool ParserTitle(const std::string &file, std::string *title){ auto begin = file.find(\"\"); if (end == std::string::npos) { return false; } begin += std::string(\"