本文章参考了使用phantomjs操作DOM并对页面进行截图需要注意的几个问题 及 phantomjs使用说明 这两篇文章,初次接触phantomjs的童鞋可以去看下这两篇原文

在学习中可以看下 phantomjs官方相关示例

phantomjs是一个无界面浏览器,可用于网页截图和前端自动化测试,基于webkit内核(也就是chrome使用的内核),并使用js编写业务脚本来请求、浏览和操作页面。

1、安装phantomjs

下载phantomjs(官网下载),选择自己需要的版本下载即可,我这里是在windows下使用的,下载后直接解压,为了方便我将包含phantomjs.exe的目标路径添加到了环境变量里面,后续使用比较方便。

安装完成后在cmd里面输入phantomjs --version即可查看phantomjs版本信息。

2、phantomjs使用

phantomjs有标准的入门文档可以参考,网上也有很多的资料可以查阅,在使用过程中根据自己的需要实际操作。

我们这里主要是对文章开头提到到第一篇文章的仿照实现,所以理论和相关的注意事项可以参考文章引用的第一篇文章。

操作界面中的DOM树主要使用使用

  1. evaluate(function, arg1, arg2, ...) {object}

在截图中如何将整个界面截图,有如下几种方法:

一个是使浏览器足够大,这样底部就显示了,可以设置viewPortSize很大:page.viewportSize = {width: 4800,height: 8000};
另一个是通过BOM方法操作滚动条,可以把滚动条滚动到一个很大的值,如:window.scrollTo(0,10000);也可以滚动到适应的高度:window.document.body.scrollTop = document.body.scrollHeight;

如何延迟截图,页面请求的资源,如图片、异步cgi、js等,返回的时间以及执行的长短都是不确定的,如果截图过早,可能很多空白区域,因此需要定时截图,在打开页面后,使用setTimeout来延迟截图

  1. window.setTimeout(function () {
  2. page.render("test.png");
  3. phantom.exit();
  4. }, 1000);

完整的代码,请求搜狗搜索微信的公众账号信息,并对连接标记红框、延迟截图

  1. var page = require('webpage').create();
  2. system = require('system');
  3. //var url = 'http://yule.club.sohu.com/gifttrade/thread/2m2efbrpfui';
  4. var address;
  5. if(system.args.length == 1){
  6. phantom.exit();
  7. }else{
  8. adress = system.args[1];
  9. page.open(adress, function (status){
  10. if (status != "success"){
  11. console.log('FAIL to load the address');
  12. phantom.exit();
  13. }
  14. page.evaluate(function(){
  15. //此函数在目标页面执行的,上下文环境非本phantomjs,所以不能用到这个js中其他变量
  16. window.scrollTo(0,10000);//滚动到底部
  17. //window.document.body.scrollTop = document.body.scrollHeight;
  18. window.setTimeout(function(){
  19. var plist = document.querySelectorAll("a");
  20. var len = plist.length;
  21. while(len)
  22. {
  23. len--;
  24. var el = plist[len];
  25. el.style.border = "1px solid red";
  26. }
  27. },5000);
  28. });
  29. window.setTimeout(function (){
  30. //在本地生成截图
  31. page.render("json2form.png");
  32. console.log(page.content);
  33. phantom.exit();
  34. }, 5000+500);
  35. });
  36. }

这里附上java操作phantomjs的代码:

  1. package com.newsTest.weixin;
  2. import java.io.BufferedReader;
  3. import java.io.IOException;
  4. import java.io.InputStream;
  5. import java.io.InputStreamReader;
  6. /**
  7. * 类名: DownLoad
  8. * 包名: com.newsTest.weixin
  9. * 作者: zhouyh
  10. * 时间: 2014-9-10 下午04:19:46
  11. * 描述: TODO(这里用一句话描述这个类的作用)
  12. */
  13. public class DynamicDownLoad {
  14. /**
  15. *
  16. * 方法名:getSrcContent
  17. * 作者:zhouyh
  18. * 创建时间:2014-9-10 下午06:57:32
  19. * 描述:根据传入的url,调用phantomjs进行下载,并返回源码信息
  20. * @param url
  21. * @return
  22. */
  23. public static String getSrcContent(String url){
  24. //windows下phantomjs位置
  25. String path = "D:/phantomjs-1.9.7-windows/";
  26. Runtime rt = Runtime.getRuntime();
  27. Process process = null;
  28. try {
  29. process = rt.exec(path + "phantomjs.exe D:/phantomjs-1.9.7-windows/test.js " + url.trim());
  30. } catch (IOException e) {
  31. // TODO 这里写异常处理的代码
  32. e.printStackTrace();
  33. }
  34. InputStream is = process.getInputStream();
  35. BufferedReader br = new BufferedReader(new InputStreamReader(is));
  36. StringBuffer sbf = new StringBuffer();
  37. String tmp = "";
  38. try {
  39. while((tmp = br.readLine())!=null){
  40. sbf.append(tmp);
  41. }
  42. } catch (IOException e) {
  43. // TODO 这里写异常处理的代码
  44. e.printStackTrace();
  45. }
  46. return sbf.toString();
  47. }
  48. /**
  49. * 方法名:main
  50. * 作者:zhouyh
  51. * 创建时间:2014-9-10 下午04:19:46
  52. * 描述:TODO(这里用一句话描述这个方法的作用)
  53. * @param args
  54. * @throws IOException
  55. */
  56. public static void main(String[] args){
  57. // TODO Auto-generated method stub
  58. String src = DynamicDownLoad.getSrcContent("http://weixin.sogou.com/gzh?openid=oIWsFt9MmzCvfJgaVxEUevPcuUCg");
  59. System.out.println(src);
  60. }
  61. }

在使用中还有很多需要学习的地方,希望下次有机会可以深入的学习下phantomjs,附上截图照片

最新文章

  1. MySQL运行状态show status中文详解(转)
  2. 使用R进行倾向得分匹配
  3. Equals Finalize GetHashCode GetType MemberwiseClone ReferenceEquals ToString String.IsInterned
  4. Mybaits学习总结1
  5. robotframework笔记3--如何编写好的测试用例使用机器人的框架
  6. cdev、udev
  7. Codeforces 583D. Once Again... (LIS变形)
  8. hdoj 5461 Largest Point
  9. 每天200亿次查询 – MongoDB在奇虎360【转】
  10. MySQL缓存之Qcache与buffer pool对比
  11. MySQL主从复制_复制过滤
  12. TypeError: Error #1034: 强制转换类型失败:无法将 "0.49" 转换为 mx.graphics.IFill。
  13. CF809E Surprise me!(莫比乌斯反演+Dp(乱搞?))
  14. deepin 安装scrapy安装出错:fatal error: Python.h 的解决办法
  15. 结对作业收获_core组
  16. BZOJ3687: 简单题(dp+bitset)
  17. laravel 守护进程Supervisor的配置
  18. 【模板】K短路 A-star
  19. AIX挂载NFS写入效率低效解决
  20. dup等复制文件描述符函数

热门文章

  1. 【译】Android系统简介—— Activity
  2. Oracle使用%rowtype变量存储一行数据
  3. [搜片神器]winform程序自己如何更新自己的方法代码
  4. sqlserver 2008 卸载时提示 “重新启动计算机”失败
  5. Linux "ls -l"文件列表权限详解
  6. 出现错误:Unable to load configuration. - action - file:/E:/Java/Tomcat7.0/apache-tomcat-7.0.68-windows-x64/apache-tomcat-7.0.68/webapps/SSH2Integrate/WEB-INF/classes/struts.xml:8:43
  7. 【递推】BZOJ 1088: [SCOI2005]扫雷Mine
  8. 一些css效果积累
  9. [转载]C#获取本机IPv4地址
  10. source Insight注册码