【#建站小技巧#】#如何正确设置爬虫协议# 很多人建站，robots.txt爬虫协议容易设错，结果直接让网站在互联网上“隐身”。 博主Evgenii Pendragon就踩了坑—— 他在robots.txt里写了个简单的规则： User-agent: * Disallow: / 所有爬虫，一律不准来。干脆利落。 结果是，发到LinkedIn的博客链接再也没有预览图，没人点击，曝光和互动都一落千丈。 一查才发现，被他自己设置的爬虫挡了。 原理是，LinkedIn这种网站的图文预览，必须要访问网页的Open Graph信息。但robots.txt直接让它们吃了闭门羹。 解决办法也很简单：别一刀切，单独给这些平台放行就行。比如他现在这样改了—— User-agent: LinkedInBot Allow: / User-agent: * Disallow: / 单独加一条Allow规则，需要图文预览的网站就会被放行。 就是这么简单，你学会了吗？原文：evgeniipendragon.com/posts/i-was-wrong-about-robots-txt/
