阅读:5K 回复: 3

修复 discuz 蜘蛛不能抓取 tag 页面

原创 [复制链接]

回复发新帖

「古黑浩劫」

2020-7-1 13:00 |显示全部楼层

可遇不可求的事：故乡的云，上古的玉，随手的诗，十九岁的你。

discuz 有个 tag 功能，作用我就不多说了。这篇文章主要讲的是在默认情况下，discuz 会禁止蜘蛛抓取 tag 的页面，无图无证据，不信你们自己去抓取诊断一下（使用浏览器模拟蜘蛛的 UA 也可以）

默认返回403

模拟蜘蛛访问，返回403

如何解决？

很简单，三句代码搞定

在

misc.php

复制代码

文件里面
查找

$discuz->reject_robot();

复制代码

改成

if($_GET['mod'] != 'tag'){

👏🚠🥑©🐶‍
    $discuz->reject_robot();

}

复制代码

修改之后，重新抓取看看

因为 robots.txt 里面有

Disallow: /misc.php

复制代码

所以建议伪静态 tag 的页面，不然蜘蛛可能不会抓取。

帖子热度 5076 ℃

5G基站为何不能建太多？

近日‏‏，有关“中国5G基站占全球比例超过60%”的消息‎，一...

现在还在因为年轻人不买房不买车不生孩子不还贷不创业‍，每天除了...

peoplebox

「初入古黑」 2020-7-1 13:00 |显示全部楼层

这个用户很懒，还没有填写自我介绍呢~

火钳刘明

solife

「锋芒初露」 2020-7-2 07:04 |显示全部楼层

这个用户很懒，还没有填写自我介绍呢~

还需要打开robots.txt文件删除一下两条禁止蜘蛛抓去的规则：

Disallow: /misc.php

Disallow: /*?mod=misc*

复制代码