就算只有六十亿分之一的机会,我们还是会邂逅。 收藏本站
登陆 / 注册 搜索

阅读:3.5K   回复: 3

修复 discuz 蜘蛛不能抓取 tag 页面

原创 [复制链接]
小执念 古黑浩劫论坛大牛 2020-7-1 13:00 |显示全部楼层

可遇不可求的事:故乡的云,上古的玉,随手的诗,十九岁的你。

管理员
discuz 有个 tag 功能,作用我就不多说了。这篇文章主要讲的是在默认情况下,discuz 会禁止蜘蛛抓取 tag 的页面,无图无证据,不信你们自己去抓取诊断一下(使用浏览器模拟蜘蛛的 UA 也可以)

修复 discuz 蜘蛛不能抓取 tag 页面 1-403.png

默认返回403

👩‍✈️‎👔💾😥🤝


修复 discuz 蜘蛛不能抓取 tag 页面 3-403.png

模拟蜘蛛访问,返回403


如何解决?

🦴🛑🔪♾🐥‏很简单,三句代码搞定


  1. misc.php
复制代码

文件里面
👄🚐🍧🈸🪶‏查找
  1. $discuz->reject_robot();
复制代码


改成
  1. if($_GET['mod'] != 'tag'){👨‍🎨‌🩴📞😡🙌
  2.     $discuz->reject_robot();
  3. }
复制代码

修复 discuz 蜘蛛不能抓取 tag 页面 5-misc.png

修改之后,重新抓取看看

🧑‍🍳‍🛍🗝😪🤌
修复 discuz 蜘蛛不能抓取 tag 页面 2-200.png

因为 robots.txt 里面有
  1. Disallow: /misc.php
复制代码


所以建议伪静态 tag 的页面,不然蜘蛛可能不会抓取。
上一篇
下一篇
帖子热度 3520 ℃

peoplebox 「初入古黑」 2020-7-1 13:00 |显示全部楼层

这个用户很懒,还没有填写自我介绍呢~

火钳刘明
solife 「锋芒初露」 2020-7-2 07:04 |显示全部楼层

这个用户很懒,还没有填写自我介绍呢~

还需要打开robots.txt文件删除一下两条禁止蜘蛛抓去的规则:
🧑‍🍳‌🪖🪥😊👃
  1. Disallow: /misc.php
  2. Disallow: /*?mod=misc*
复制代码

您需要登录后才可以回帖 登录 | 免费注册  

本版积分规则

快速回复 返回列表