C#抓取网面上的html内容(JS动态生成的无法抓取)
2024-08-30 01:34:08
抓取内容的代码:
/// </summary>
/// <param name="url">路径URL</param>
/// <param name="path">存储路径</param>
/// <returns></returns>
public static string HttpDownloadFile(string url, string path)
{
try
{
// 设置参数
HttpWebRequest request = WebRequest.Create(url) as HttpWebRequest; //发送请求并获取相应回应数据
HttpWebResponse response = request.GetResponse() as HttpWebResponse;
//直到request.GetResponse()程序才开始向目标网页发送Post请求
Stream responseStream = response.GetResponseStream(); //可以将生成的流文件直接生成字符串 SourceCode就是生成后的字符串
//StreamReader readStream = new StreamReader(responseStream, Encoding.UTF8);
//string SourceCode = readStream.ReadToEnd(); //创建本地文件写入流
if (File.Exists(path))
{
File.Delete(path);
}
FileStream fs = File.Create(path);
fs.Close(); Stream stream = new FileStream(path, FileMode.Create);
byte[] bArr = new byte[];
int size = responseStream.Read(bArr, , (int)bArr.Length);
while (size > )
{
stream.Write(bArr, , size);
size = responseStream.Read(bArr, , (int)bArr.Length);
}
stream.Close();
responseStream.Close();
return path;
}
catch (Exception ex)
{ throw ex;
} }
调用方式:
HttpReviceFile.HttpDownloadFile("http://localhost:811/ ", @"D:\Work\Test.xml");
最新文章
- [转]MVC过滤器
- iOS端项目注释规范附统一代码块
- Nginx的负载均衡 - 整体架构
- 收缩SQL Server日志不是那么简单的(翻译)
- usb驱动开发9之设备描述符
- 生成唯一编号(序列号)--sql存储过程
- php email邮箱正则验证
- mac下使用github
- HttpClient(4.3.5) - HTTP Request &; HTTP Response
- winform下调用webservice,传参List<;string>;
- POJ 3233 Matrix Power Series (矩阵+二分+二分)
- Linux编程基础——GDB(设置断点)(转:TianFang,cnblog: http://www.cnblogs.com/TianFang/archive/2013/01/20/2868889.html)
- Fragment与Activity交互(使用接口)
- javaWeb学习总结(11)- 监听器(Listener)学习
- 使用nodeJS实现前端项目自动化之项目构建和文件合并
- java_18 Collection接口
- cpu-z for ubuntu 12.04 64bit : cpu-g
- Android Layout: TableLayout
- 使用 Electron 构建桌面应用(拖动控制篇)
- memcached的常用命令
热门文章
- python名词解释(生成器,匿名函数)
- AutoResetEvent 和 ManualResetEvent 多线程应用
- POJ 3710 Christmas Game [博弈]
- Sample example for Speech to Text in iOS
- 【共享单车】—— React后台管理系统开发手记:主页面架构设计
- vim g s 替换区别
- Xcode中的变量模板(variable template)的使用方法
- 路飞学城Python爬虫课第一章笔记
- TP框架中多条件筛选
- 【LeetCode】Validate Binary Search Tree ——合法二叉树