【java爬虫】网络爬虫思路

主要是针对某个单独的网站进行页面的爬取，方式有好多种，记录一下大体的思路。

方法1：

a、通过http请求获取返回的静态页面。

b、将返回的字符串页面进行split，切割成字符串数组。

c、遍历字符串数组，通过正则筛选所需要的链接。

d、拼接获取到的链接，发送请求获取页面。

实际应用：

遇到过：网站验证码，单位时间内访问次数限制，还有ajax填充数据等问题。ajax post请求还算好解决，但是验证码和访问次数限制感觉很无力，Orz...

方法1：获取一整张页面

	public static String getStringHtml(String url){

		//实例化客户端

		HttpClient client = new DefaultHttpClient();

		HttpGet getHttp = new HttpGet(url);

		//整张页面

		String content = null;

		HttpResponse response;

		try {

			response = client.execute(getHttp);

			//获取到responce下载

			HttpEntity entity = response.getEntity();

			if(entity!=null){

				content = EntityUtils.toString(entity);

				//System.out.println(content);

			}

		} catch (ClientProtocolException e) {

			// TODO Auto-generated catch block

			e.printStackTrace();

		} catch (IOException e) {

			// TODO Auto-generated catch block

			e.printStackTrace();

		}finally{

			client.getConnectionManager().shutdown();

		}

		return content;

	}

方法：将文件写出到指定文件夹

public static void writetoFile(String context,String fileName)throws Exception{

		        // 构建指定文件

		        File file = new File("E:" + File.separator + "htmlfile"+File.separator+fileName);

		        OutputStream out = null;

		        try {

		            // 根据文件创建文件的输出流

		            out = new FileOutputStream(file);

		            // 把内容转换成字节数组

		            byte[] data = context.getBytes();

		            // 向文件写入内�?

		            out.write(data);

		        } catch (Exception e) {

		            e.printStackTrace();

		        } finally {

		            try {

		                // 关闭输出流

		                out.close();

		            } catch (Exception e) {

		                e.printStackTrace();

		            }

		        }

		    }

巴特西

【java爬虫】网络爬虫思路

最新文章

热门文章