通过设置代理，解决服务器禁止抓取，报“java.io.IOException: Server returned HTTP response code: 403 for URL”错误的方法
2024-09-15 13:04:23
java.io.IOException: Server returned HTTP response code: 403 for URL: http://
这个是什么异常呢?
当你使用java程序检索其他网站上的内容时,如果其服务器设置了禁止抓取,或者其访问需要权限,
如果此时你去检索网页那么就会有异常该异常出现.
如果是服务器需要访问权限,比如说你要登录才能访问的网页,那么你抓取不了的.
如果是服务器端禁止抓取,那么这个你可以通过设置User-Agent来欺骗服务器
connection.setRequestProperty("User-Agent", "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)");
什么是User Agent呢?
User Agent中文名为用户代理，简称 UA，它是一个特殊字符串头，使得服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。
一些网站常常通过判断 UA 来给不同的操作系统、不同的浏览器发送不同的页面，因此可能造成某些页面无法在某个浏览器中正常显示，但通过伪装 UA 可以绕过检测。
转自：http://blog.csdn.net/zhaoshl_368/article/details/6603498
最新文章
- Oracle a Parameter with multi value
- 环境变量NLS_LANG
- Android自动化学习笔记之MonkeyRunner：MonkeyRunner的录制和回放
- 从vmware下载到Linux环境下jdk和maven的安装
- 常用的邮箱服务器（SMTP、POP3）地址、端口
- shell脚本中的特殊符号
- 基于slf4j的log4j实战
- 浅谈Jasmine的安装和拆卸
- 201521123062《Java程序设计》第6周学习总结
- flag.xls
- Python实现图像边缘检测算法
- Python自学:第三章 修改列表元素
- Elasticsearch tshark 封包分析 (转)
- 第三百九十五节，Django+Xadmin打造上线标准的在线教育平台—Xadmin集成富文本框
- 转载：linux tar 解压命令总结
- flask-后台布局页面搭建4
- 一次典型的TFS故障处理：域控失联
- Android-Binder机制
- 魔兽私服TrinityCore 运行调试流程
- python-day9-数据类型总结