1.spider,各式各样的spider,就像海里的游鱼

有大的,有小的

2.各类探测http代理的spider,比如这种日志

60.173.14.85 - - [03/Sep/2013:09:59:25 +0800] "GET http://www.qq.com/ HTTP/1.1" 200 612 "-" "Mozilla/4.0 (compatible; MSIE 4.01; Windows 98)"

一开始很不解,怎么会有这种记录呢?

后来查了许多资料,发现是用了http代理才会出现这种头,咱们来坐个实验

import urllib
proxies = {'http':'http://www.reco.cn:80'}
fp = urllib.urlopen('http://www.qq.com',proxies=proxies)
fp.read()

nginx有如下记录,当然返回的内容不是www.qq.com的,所以如果你也看到这种记录,不要害怕,只是有人再试探你的服务器是否开了http代理服

203.110.174.151 - - [03/Sep/2013:11:19:57 +0800] "GET http://www.qq.com HTTP/1.0" 200 65530 "-" "Python-urllib/1.17"

3.奇怪的空记录,如下

203.110.174.151 - - [03/Sep/2013:11:47:00 +0800] "-" 400 0 "-" "-"
203.110.174.151 - - [03/Sep/2013:11:47:00 +0800] "-" 400 0 "-" "-"
203.110.174.151 - - [03/Sep/2013:11:47:00 +0800] "-" 400 0 "-" "-"
203.110.174.151 - - [03/Sep/2013:11:47:00 +0800] "-" 400 0 "-" "-"
203.110.174.151 - - [03/Sep/2013:11:47:00 +0800] "-" 400 0 "-" "-"
203.110.174.151 - - [03/Sep/2013:11:47:00 +0800] "-" 400 0 "-" "-"
203.110.174.151 - - [03/Sep/2013:11:47:00 +0800] "-" 400 0 "-" "-"
203.110.174.151 - - [03/Sep/2013:11:47:00 +0800] "-" 400 0 "-" "-"

这些咋产生的?经过搜索取证,发现,这是chrome的问题,chrome链接网站会多开几个并发,也可以说是连接池,有时候,用不完,就会断掉,就是这个样子了

所以不要怀疑服务器是不是处bug了

最新文章

  1. VBS实现定时发送邮件
  2. Java关于md5+salt盐加密验证
  3. 让hadoop-0.20.2自带的eclipse插件支持eclipse-3.5以上
  4. Linux之top命令
  5. 从零开始学ios开发(四):IOS控件(1),Image View、Text Field、Keyboard
  6. IntelliJ IDEA Subversion的使用方式
  7. 【BZOJ 2333 】[SCOI2011]棘手的操作(离线+线段树)
  8. 投稿前必备的cover letter
  9. php基础知识【函数】(7)url和ob函数
  10. java--文件过滤器和简单系统交互
  11. js基础例子
  12. javascript----bug
  13. MapReduce在实际编程“I/O”
  14. HBase加Solr
  15. jdk源码->集合->ConcurrentHashMap
  16. boost 随机数发生器
  17. csv导入数据到mongodb3.2
  18. python去重(针对密码)
  19. Java反射之如何判断类或变量、方法的修饰符(Modifier解析)
  20. HDU 1541 Stars (线段树)

热门文章

  1. pycurl,Python cURL library
  2. 删除 Windows Azure 网站上的标准服务器头
  3. Fedora 17 安装 完全 指南
  4. Zoj 3842 Beauty of Array
  5. 数学之路(3)-机器学习(3)-机器学习算法-SVM[9]
  6. MYSQL - php 使用 localhost 无法连接数据库
  7. CRC校验
  8. phpMyAdmin 手动输入数据库服务器IP
  9. php前端控制器2
  10. LTP介绍