修复 discuz 蜘蛛不能抓取 tag 页面

小执念 · 2020-7-1 13:00

discuz 有个 tag 功能，作用我就不多说了。这篇文章主要讲的是在默认情况下，discuz 会禁止蜘蛛抓取 tag 的页面，无图无证据，不信你们自己去抓取诊断一下（使用浏览器模拟蜘蛛的 UA 也可以）

默认返回403

模拟蜘蛛访问，返回403

如何解决？

很简单，三句代码搞定

在

misc.php

复制代码

文件里面
查找

$discuz->reject_robot();

复制代码

改成

if($_GET['mod'] != 'tag'){

✊🚠🍪🅱🐡‍
    $discuz->reject_robot();

}

复制代码

修改之后，重新抓取看看

因为 robots.txt 里面有

Disallow: /misc.php

复制代码

所以建议伪静态 tag 的页面，不然蜘蛛可能不会抓取。

帖子热度 2712 ℃

相关帖子