用几个最常见的情况，直接举例说明：
 
1. 允许所有SE收录本站：robots.txt为空就可以，什么都不要写。
 
2. 禁止所有SE收录网站的某些目录：
User-agent: *
Disallow: /目录名1/
Disallow: /目录名2/
Disallow: /目录名3/
 
3. 禁止某个SE收录本站，例如禁止百度：
User-agent: Baiduspider
Disallow: /
 
4. 禁止所有SE收录本站：
User-agent: *
Disallow: /

最新文章

  1. 玩转ajax
  2. [问题2014A11] 复旦高等代数 I（14级）每周一题（第十三教学周）
  3. ubuntu 13.04 tftp服务器建立
  4. 1. IOS 9.3.3描述文件没了处理方法
  5. mysql 编码测试
  6. JavaWeb学习记录（二十二）——模式字符串与占位符
  7. MySql 用户 及权限操作
  8. Web前端的35个jQuery小技巧
  9. 查看Java包源码
  10. Memcached基础
  11. kinect for windows - SkeletonBasics-D2D详解之二
  12. C#第九天
  13. 【树莓派】Linux自动配置IP
  14. VUE依赖webpack分别给开发环境和生产环境配置不同的常量值并在项目中动态引用
  15. python内置的全局变量
  16. ToStringBuilder学习总结
  17. breeze源码阅读心得
  18. pupeteer初体验
  19. php中include和require的区别(整理)
  20. Siki的虚幻第一季

热门文章

  1. python 中变量引用问题
  2. Delphi 与 C/C++ 数据类型对照表
  3. elixir环境配置
  4. 数据库返回刚插入记录的ID
  5. 自定义指令 格式化input数据为非负整数
  6. webstorm 破解码
  7. 经常开发出现bug的同事，
  8. go学习day3
  9. 使用Google cardboard 2的一些软件
  10. 【IIS错误】IIS各种错误