在server {} 块中添加下面的配置

    location =/robots.txt {

        default_type text/html;

        add_header Content-Type "text/plain; charset=UTF-8";

        return 200 "User-Agent: *\nDisallow: /";

    }

在线测试robots.txt是否生效

https://ziyuan.baidu.com/robots/index

robots.txt文件生产工具：http://tool.chinaz.com/robots/

其他网站参考：

https://www.tmall.com/robots.txt

https://www.jd.com/robots.txt

https://www.qq.com/robots.txt

最新文章

1. 设置jdk的编码
2. 提权GrantPrivilege
3. Rollback 语句 在08R2版本
4. VBA_Excel_教程：过程，函数
5. UVa 1346 - Songs
6. [HDOJ2874]Connections between cities（LCA, 离线tarjan）
7. hadoop1.2.1三种模式配置
8. C# 工厂模式示例
9. Android API Level在11前后及16之后时Notification的不同用法
10. SharePoint SPHierarchyDataSourceControl+SPTreeView
11. GCD(ZYYS)
12. Web前端-Vue.js必备框架（一）
13. git 入门教程之版本控制
14. 《Metasploit渗透测试魔鬼训练营》第一章读书笔记
15. JavaScript学习笔记：基础知识点总结
16. java常见编码
17. 主成分分析(PCA)原理及推导
18. （1）FluidMoveBehavior 之 ListBox 中详细内容项飞出来
19. Python数据分析学习之Numpy
20. ZOJ3229 Shoot the Bullet [未AC]

热门文章

1. Shell排序——软考（五）
2. destoon模板语法规则笔记
3. CSS 相邻元素选择器
4. cookies localStorage和sessionStorage的区别
5. JAVA面试中需要准备的点
6. Django --- 常用字段及参数
7. Dominating Patterns (AC 自动鸡模版题， 出现次数最多的子串)
8. Kafka 深入核心参数配置
9. python 链表的实现
10. 关于Lombok的认识及其应用(一）