robots使用技巧
站长学院

robots使用技巧

1. 每当用户试图访问某个不存在的URL时，服务器都会在日志中记录404错误(无法找到文件)...
robots使用误区
站长学院

robots使用误区

误区一:我的网站上的所有文件都需要蜘蛛抓取，那我就没必要在添加robots.txt文件了。反...
robots简介
站长学院

robots简介

搜索引擎通过一种程序robot(又称spider)，自动访问互联网上的网页并获取网页信息。 ...
robots
站长学院

robots

robots是网站跟爬虫间的协议，用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限，...
叨叨死链这回事儿
站长学院

叨叨死链这回事儿

经常有站长跑来问小so姐关于死链的问题，比如，我的网站有一些死链，会不会影响网站正常页面的收...