第三百七十一节,Python分布式爬虫打造搜索引擎Scrapy精讲—elasticsearch(搜索引擎)用Django实现我的搜索以及热门搜索
2023-09-14 08:58:24 时间
第三百七十一节,Python分布式爬虫打造搜索引擎Scrapy精讲—elasticsearch(搜索引擎)用Django实现我的搜索以及热门
我的搜素简单实现原理
我们可以用js来实现,首先用js获取到输入的搜索词
设置一个数组里存放搜素词,
判断搜索词在数组里是否存在如果存在删除原来的词,重新将新词放在数组最前面
如果不存在直接将新词放在数组最前面即可,然后循环数组显示结果即可
热门搜索
实现原理,当用户搜索一个词时,可以保存到数据库,然后记录搜索次数,
利用redis缓存搜索次数最到的词,过一段时间更新一下缓存
备注:Django结合Scrapy的开源项目可以学习一下
django-dynamic-scraper
https://github.com/holgerd77/django-dynamic-scraper
补充
默认的elasticsearch(搜索引擎)只能搜索1万条数据,在大就会报错了
设置方法
步骤一:
打开项目的索引库地址,将该索引先关闭,否则设置操步骤二无法提交
步骤二:
打开复合查询,填入如下信息,记得选择PUT方式提交,credit_trace_data改为本索引库中的索引,max_result_window设为20亿,此值是integer类型,不能无限大
http://127.0.0.1:9200/ PUT
credit_trace_data/_settings?preserve_existing=true
{
"max_result_window" : "2000000000"
}
最后点击提交申请,如果配置正确右侧窗口会显示如下信息
如果要查询max_result_window时只需要将PUT改为get即可
最后记得开启索引!
相关文章
- 第三百六十八节,Python分布式爬虫打造搜索引擎Scrapy精讲—elasticsearch(搜索引擎)用Django实现搜索的自动补全功能
- python 直方图hist
- Python 字符串_python 字符串截取_python 字符串替换_python 字符串连接
- python-django-linux上mysql的安装和配置_20191124
- [Python] Read and Parse Files in Python
- Python Django 配置admin后台管理类代码示例
- Python Django 聚合函数/Group By/子查询/关联查询API
- Python Django 惰性查询(懒加载)
- Python Django 装饰器模式之三阶装饰器
- Python Django创建项目命令
- python中有关字符串的处理
- 【Python基础】python爬虫之异步网络爬虫ǃ
- Python语言学习:解决python版本升级问题集合(python2系列→Python3系列)导致错误的总结集合
- 已解决Python正确安装文字识别库EasyOCR
- Python: 列表推导式--轻量级循环
- python基础——函数
- Python标准库:内置函数open(file, mode='r', buffering=-1, encoding=None, errors=None, newline=None, closefd=T
- Python数据分析实战:解密数据分析师的薪资和需求
- python基础===Python性能优化的20条建议
- _mysql.c(42) : fatal error C1083: Cannot open include file: 'config-win.h':问题的解决 mysql安装python
- Python 多进程异常处理
- Python数据类型——列表(list)
- python工具方法 3 numpy多维数组清洗,删除任意维度的数组,仅保留感兴趣的一维数据
- 【Python 实操】labelImg标注的xml格式转换为yolo的txt文件
- (23)Blender源码分析之python里的基类Header分析