什么都无所谓只想在你身边,什么都无所谓只想和你说话,什么都无所谓所以请你不要逃避。 收藏本站
登陆 / 注册 搜索

阅读: 257   回复: 3

[# PHP] 修复 discuz 蜘蛛不能抓取 tag 页面

小执念 古黑浩劫论坛大牛 2020-7-1 13:00 |显示全部楼层

可遇不可求的事:故乡的云,上古的玉,随手的诗,十九岁的你。

管理员
discuz 有个 tag 功能,作用我就不多说了。这篇文章主要讲的是在默认情况下,discuz 会禁止蜘蛛抓取 tag 的页面,无图无证据,不信你们自己去抓取诊断一下(使用浏览器模拟蜘蛛的 UA 也可以)

修复 discuz 蜘蛛不能抓取 tag 页面 1-403.png

默认返回403


修复 discuz 蜘蛛不能抓取 tag 页面 3-403.png

模拟蜘蛛访问,返回403


如何解决?

很简单,三句代码搞定


  1. misc.php
复制代码

文件里面
查找
  1. $discuz->reject_robot();
复制代码


改成
  1. if($_GET['mod'] != 'tag'){
  2.         $discuz->reject_robot();
  3. }
复制代码

修复 discuz 蜘蛛不能抓取 tag 页面 5-misc.png

修改之后,重新抓取看看


修复 discuz 蜘蛛不能抓取 tag 页面 2-200.png

因为 robots.txt 里面有
  1. Disallow: /misc.php
复制代码


所以建议伪静态 tag 的页面,不然蜘蛛可能不会抓取。


peoplebox 「初入古黑」 2020-7-1 13:00 |显示全部楼层

这个用户很懒,还没有填写自我介绍呢~

火钳刘明
solife 「初入古黑」 2020-7-2 07:04 |显示全部楼层

这个用户很懒,还没有填写自我介绍呢~

还需要打开robots.txt文件删除一下两条禁止蜘蛛抓去的规则:

  1. Disallow: /misc.php
  2. Disallow: /*?mod=misc*
复制代码

您需要登录后才可以回帖 登录 | 免费注册  

本版积分规则

关于本站|大事记|小黑屋|古黑论 网站统计

GMT+8, 2020-10-26 17:18 , Processed in 0.038865 second(s), 22 queries , Redis On.

© 2015-2020 GuHei.Net

Powered by Discuz! X3.4

快速回复 返回列表