正确robots写法,解决百度搜索不显示缩略图问题
2023-09-14 08:57:34 时间
网站上线http://zhimo.yuanzhumuban.cc/有一年左右时间了,百度搜索显示略缩图少之又少,通过自己这几天的观察发现。
结合百度站长平台的 robots 工具和抓取诊断工具检查后,发现果然是 robots 误禁封造成的! 百度索引变动一直以慢著称,所以 robots 写错了也不会在十天半个月突显出来,真是坑的一 B! 通过抓取诊断工具,发现普通图片可以抓取,带参数的图片就抓取失败。经过多次测试,发现问题出现在 Allow: /*.png$ 这种写法,是以 png 结尾,尾部不再包含其他任何字符,因此,上文提到的 PHP+Nginx 缩略图形式 x.png?w=480
附上个人配置的robots,仅供参考:
# Robots User-agent: Baiduspider Allow: /*.png$ Allow: /*.jpg$ Allow: /*.jpeg$ Allow: /*.gif$ Allow: /*.bmp$ Allow: /*.bmp$ Allow: /skin/pengcheng1688/* Disallow: /api/ Disallow: /install/ Disallow: /member/ Disallow: /skin/ Disallow: /template/ Disallow: /upgrade/ Disallow: /comment/* Sitemap: http://zhimo.yuanzhumuban.cc/sitemaps.xml Sitemap: http://zhimo.yuanzhumuban.cc/hotkey/ Sitemap: http://zhimo.yuanzhumuban.cc/feed/rss.php?mid=5 Sitemap: http://zhimo.yuanzhumuban.cc/feed/rss.php?mid=12 Sitemap: http://zhimo.yuanzhumuban.cc/feed/rss.php?mid=21 User-agent: Baiduspider-image Allow: /*.png$ Allow: /*.jpg$ Allow: /*.jpeg$ Allow: /*.gif$ Allow: /*.bmp$ Allow: /*.bmp$ Allow: /skin/pengcheng1688/* Disallow: /api/* User-agent: Googlebot Sitemap: http://zhimo.yuanzhumuban.cc/sitemaps.xml Sitemap: http://zhimo.yuanzhumuban.cc/hotkey/ Sitemap: http://zhimo.yuanzhumuban.cc/feed/rss.php?mid=5 Sitemap: http://zhimo.yuanzhumuban.cc/feed/rss.php?mid=12 Sitemap: http://zhimo.yuanzhumuban.cc/feed/rss.php?mid=21 Disallow: /api/ Disallow: /member/ Disallow: /skin/ Disallow: /template/ Disallow: /upgrade/ Disallow: /comment/* User-agent: googlebot-image Allow: /*.png$ Allow: /*.jpg$ Allow: /*.jpeg$ Allow: /*.gif$ Allow: /*.bmp$ Allow: /*.bmp$ Allow: /skin/pengcheng1688/* Disallow: /api/ Disallow: /member/ Disallow: /template/ Disallow: /upgrade/ Disallow: /comment/* User-agent: Sogou web spider Sitemap: http://zhimo.yuanzhumuban.cc/sitemaps.xml Disallow: /api/ Disallow: /member/ Disallow: /skin/ Disallow: /template/ Disallow: /upgrade/ Disallow: /comment/* User-agent: Sogou inst spider Sitemap: http://zhimo.yuanzhumuban.cc/sitemaps.xml Disallow: /api/ Disallow: /member/ Disallow: /skin/ Disallow: /template/ Disallow: /upgrade/ Disallow: /comment/* User-agent: Sogou spider2 Sitemap: http://zhimo.yuanzhumuban.cc/sitemaps.xml Disallow: /api/ Disallow: /member/ Disallow: /skin/ Disallow: /template/ Disallow: /upgrade/ Disallow: /comment/* User-agent: Sosospider Sitemap: http://zhimo.yuanzhumuban.cc/sitemaps.xml Disallow: /api/ Disallow: /member/ Disallow: /skin/ Disallow: /template/ Disallow: /upgrade/ Disallow: /comment/* User-agent: yisouspider Disallow: /api/ Disallow: /member/ Disallow: /skin/ Disallow: /template/ Disallow: /upgrade/ Disallow: /comment/* User-agent: 360Spider Sitemap: http://zhimo.yuanzhumuban.cc/sitemaps.xml Disallow: /api/ Disallow: /member/ Disallow: /skin/ Disallow: /template/ Disallow: /upgrade/ Disallow: /comment/* User-agent: * Disallow: /api/ Disallow: /install/ Disallow: /member/ Disallow: /skin/ Disallow: /template/ Disallow: /upgrade/ Disallow: /comment/* Disallow: /?* Disallow: /*?* Disallow: /api/*
相关文章
- python code practice(二):KMP算法、二分搜索的实现、哈希表
- PHP搜索中的sql注入
- 将github pages搭建的网页添加到百度搜索资源平台
- Atitit 爬虫发展历史 在互联网发展初期,网站相对较少,信息查找比较容易。然而伴随互联网爆炸性的发展,普通网络用户想找到所需的资料简直如同大海捞针,这时为满足大众信息检索需求的专业搜索网站便应运
- Python编程语言学习:包导入和模块搜索路径(包路径)简介、使用方法(python系统环境路径的查询与添加)之详细攻略
- 弱水三千,只取一瓢,当图像搜索遇见PostgreSQL(Haar wavelet)
- ML之SVM:利用SVM算法(超参数组合进行单线程网格搜索+3fCrVa)对20类新闻文本数据集进行分类预测、评估
- 百度地图坐标标点组件封装,带搜索
- vue中使用百度地图,悬浮窗搜索功能
- 百度搜索url参数含义
- 1512. 好数对的数目-快速排序+相同数集合搜索
- 700. 二叉搜索树中的搜索-dfs法
- Linux之find忽略搜索3个以上目录
- 语义搜索