robots.txt

A robots.txt file tells search engine crawlers which pages or files the crawler can or can't request from your site.

https://www.robotstxt.org/

https://support.google.com/webmasters/answer/6062608?hl=en

SEO

https://support.google.com/webmasters/answer/6062608?hl=zh-Hans

https://abc.xgqfrms.xyz/robots.txt

# Robots.txt 是存放在站点根目录下的一个纯文本文件。

# 虽然它的设置很简单，但是作用却很强大。

# 它可以指定搜索引擎蜘蛛只抓取指定的内容，或者是禁止搜索引擎蜘蛛抓取网站的部分或全部内容。

User-agent: Baiduspider

Disallow: /

User-agent: Sosospider

Disallow: /

User-agent: sogou spider

Disallow: /

User-agent: YodaoBot

Disallow: /

User-agent: Googlebot

Disallow:

User-agent: Bingbot

Disallow:

User-agent: Slurp

Disallow:

User-agent: Teoma

Disallow:

User-agent: ia_archiver

Disallow:

User-agent: twiceler

Disallow:

User-agent: MSNBot

Disallow:

User-agent: Scrubby

Disallow:

User-agent: Robozilla

Disallow:

User-agent: Gigabot

Disallow:

User-agent: googlebot-image

Disallow:

User-agent: googlebot-mobile

Disallow:

User-agent: yahoo-mmcrawler

Disallow:

User-agent: yahoo-blogs/v3.9

Disallow:

User-agent: psbot

Disallow:

User-agent: *

Disallow:

Disallow: /bin/

---

最新文章

1. 切图时图片的选择：JPG、PNG、GIF的区别
2. php+mysql+smarty+oop
3. Python入门1
4. [ javascript html Dom image 对象事件加载方式 ] 对象事件加载方式
5. JavaScript 数组详解（转）
6. 都是类型惹的祸——小心unsigned
7. HW4.1
8. c#接口深入一步探究其作用，适合新人了解
9. cocos2d-x 头文件中添加方法变量导致编译报错
10. Linux中的段管理，bss段，data段，
11. ssis package 在调试状态中设置断点，程序 不进入断点 的解决方案
12. Ext实现简单计算器
13. CJOJ 1976 二叉苹果树 / URAL 1018 Binary Apple Tree（树型动态规划）
14. 关于windows phone 8.1系统手机对html5触摸事件的支持情况
15. Spring3 MVC
16. 【English】20190315
17. temp--内蒙农信出差
18. 双向BFS—>NOIP2002 字串变换
19. 纯CSS下拉菜单（希望对有需要的小伙伴有所帮助）
20. Dom4j工具类源码解析

热门文章

1. proc/net/tcp中各项内容的含义
2. （四）Springboot以jar包方式启动、关闭、重启脚本
3. 服务注册发现与注册中心对比-Eureka,Consul,Zookeeper,Nacos对比
4. ShowDoc，APIDoc，可道云API，语雀-适合IT企业的文档工具
5. Java中运行javascript代码
6. 2.DHCP的基本概念
7. cartographer环境建立以及建图测试（详细级）
8. Codeforces750E. New Year and Old Subsequence (线段树维护DP)
9. Codeforces Round #625 (Div. 2, based on Technocup 2020 Final Round) C. Remove Adjacent（字符串，贪心，枚举）
10. Codeforces Round #650 (Div. 3) C. Social Distance