因为user-agent带有Bytespider爬虫标记,这可以通过Nginx规则来限定流氓爬虫的访问,直接返回403错误。
修改对应站点配置文件(注意是在server里面)

Copy to Clipboard
测试效果 curl -I -A 'jaunty' https://www.imzeng.com/ curl -I -A '' https://www.imzeng.com/