昨天晚上写了个 Python 程序,下载了一个图片网站 5000 来张图片
2024-08-29 22:38:25
以前写的,目前已经失效了。。
----------------------------------------------------------------------------------------------
github:
https://github.com/liuxu0315/download_nvshen_so
执行:$ python nvshen_so.py
用了多线程, 8 条线程,在 /tmp 下生成 nvshen_so/01 等文件夹并下载到相应的目录。
里面有 2 行代码被注释掉了,它们是配套的,用来下载 2014/12/下的图片,有几百张。
现在有个问题,我的程序无法一次全部下载完,总是漏一点,要么是执行一段时间后就卡死不动了不知道是什么原因。。
当然下载图片前有判断是否有该文件,可以重复执行下载程序,不过这个治标没治本。。
最新文章
- Redis - 常用命令详解
- 用javascript实现一个2048游戏
- js 取得 Unix时间戳(Unix timestamp)
- HTML5学习总结-03 地理定位
- 建模算法(八)——插值
- maven命令大全
- UVaLive 7269 Snake Carpet (找规律,模拟)
- C# 如何获取某个类型或类型实例对象的大小
- 距离变换DT
- SpringMVC 表单验证
- c#默认类的修饰符。
- OpenCV-Python:车道检测
- BZOJ3456城市规划
- hbase shell operate
- 软件测试_Loadrunner_APP测试_性能测试_脚本录制_基本操作流程
- mysql8.0 在window环境下的部署与配置
- fake-useragent,python爬虫伪装请求头
- get computer system mac info in javascript
- Openstack(Kilo)安装系列之nova(八)
- ABAP术语-Lock Argument
热门文章
- JZOJ 5347. 遥远的金字塔
- ecshop里操作session与cookie
- 2015-2016 Northwestern European Regional Contest (NWERC 2015)
- 动态规划:HDU1712-ACboy needs your help(分组背包问题)
- SQL中的函数用法
- java十分钟速懂知识点——引用
- 1 django
- How to check if Visual Studio 2005 SP1 is installed
- 一次失败的刷题经历:[LeetCode]292之尼姆游戏(Nim Game)
- leetcode 【 Reverse Linked List II 】 python 实现