FTP任务(重点看断点续传)

一.FTP任务目录:

1. 多用户同时登陆： socketserver

2. 用户登陆，加密认证： md5加密

3. 上传/下载文件,保证文件一致性：md5摘要

4. 传输过程中现实进度条

　　5. 不同用户家目录不同，且只能访问自己的家目录，上传下载时，必须在自己目录： os.path.join('D:\sylar\nbftp_server\users',username,'a.text')

6. 对用户进行磁盘配额、不同用户配额可不同：上传、下载之前做文件夹大小的判断。

7. 用户登陆server后，可在家目录权限下切换子目录：

　　　　客户端向服务端发命令，subprocess.popen(命令)

8. 查看当前目录下文件，新建文件夹 : 执行命令

9. 删除文件和空文件夹 : 执行命令

10. 充分使用面向对象知识+反射

11. 支持断点续传：断点续传

二.FTP任务分析（进度条、计算文件大小、断点续传、搭建框架示例）

1、进度条（\r移动到行首、print不换行end=””）

    import time

    def jdt(now,all): # 进度条函数

        per = int(now / all * 100)

        print('\r%s %s%%' % ('*'*per , per) ,end='')

        time.sleep(0.05)

    for i in range(101):

        jdt(i,100) # 执行进度条函数

2、计算文件大小

　　之前我们学过一种计算文件大小的方式：os.path.getsize(file_path)，现在再来学习一种方式：

    import os

    size1 = os.path.getsize('server.py')

    size2 = os.stat('server.py').st_size

    print(size1,size2)  # 1844 1844

3、断点续传

　　我们先来写一个断点续传（脚本主要实现了客户端向服务端上传文件，上传过程中中断的话，再次上传此文件时接着上次中断的地方继续上传）的简单示例，然后从中提取一些编程思想：

import os

    import json

    import socketserver

    import shutil

    CODE = {

        '':'上传文件，从头开始上传'

    }

    def upload(cmd_dict,conn,username):

        """

        服务端完成上传文件（含断点续传）

        :param cmd_dict:

        :param conn:

        :return:

        """

        # 2. 获取文件信息

        file_md5 = cmd_dict['md5']

        file_name = cmd_dict['file_name']

        file_md5_path = os.path.join(username, file_md5)

        file_name_path = os.path.join(username, file_name)

        upload_file_size = cmd_dict['size']

        # 3. 判断文件是否存在

        exist = os.path.exists(file_md5_path)

        if not exist:  # 不续传

            # 3.1.1 可以开始上传了，我已经准备好。

            response = {'code': 1001}

            conn.sendall(json.dumps(response).encode('utf-8'))

            # 3.1.2 接收上传的文件内容

            f = open(file_md5_path, 'wb')

            recv_size = 0

            while recv_size < upload_file_size:

                data = conn.recv(1024)

                f.write(data)

                f.flush()

                recv_size += len(data)

                return

            f.close()

            # 3.1.3 改名字

            shutil.move(file_md5_path, file_name_path)

        else:  # 续传

            # 3.2 续传+大小

            exist_size = os.stat(file_md5_path).st_size

            response = {'code': 1002, 'size': exist_size}

            conn.sendall(json.dumps(response).encode('utf-8'))

            f = open(file_md5_path, 'ab')

            recv_size = exist_size

            while recv_size < upload_file_size:

                data = conn.recv(1024)

                f.write(data)

                f.flush()

                recv_size += len(data)

            f.close()

            # 3.1.3 改名字

            shutil.move(file_md5_path, file_name_path)

    class NbServer(socketserver.BaseRequestHandler):

        def handle(self):

            """

            self.request 是客户端的socket对象

            :return:

            """

            # 1. 接收命令

            upload_cmd_bytes = self.request.recv(8096)

            cmd_dict = json.loads(upload_cmd_bytes.decode('utf-8'))

            if cmd_dict['cmd'] == 'upload':

                upload(cmd_dict,self.request,'lili')  # 服务端代码有个文件夹（lili）才能运行

            elif cmd_dict['cmd'] == 'download':

                pass

    if __name__ == '__main__':

        server =     socketserver.ThreadingTCPServer(('127.0.0.1',8001),NbServer)

        server.serve_forever()

服务端代码

server

import os

    import socket

    import json

    import hashlib

    CODE = {

        '':'上传文件，从头开始上传'

    }

    def file_md5(file_path):

        """

        文件进行md5加密

        :param file_path:

        :return:

        """

        obj = open(file_path,'rb')

        m = hashlib.md5()

        for line in obj:

            m.update(line)

        obj.close()

        return m.hexdigest()

    def jdt(size,total_size):

        """

        显示进度条

        :return:

        """

        val = int(size / total_size * 100)

        print('\r%s%%|%s' % (val, "#" * val,), end='')

    def send_file(exist_size,file_total_size):

        """

        发送文件

        :param exist_size:开始读取字节的位置

        :param file_total_size: 文件总字节大小

        :return:

        """

        f = open(file_path, 'rb')

        f.seek(exist_size)

        send_size = exist_size

        while send_size < file_total_size:

            data = f.read(1024)

            sk.sendall(data)

            send_size += len(data)

            jdt(send_size,file_total_size)

        f.close()

        print('上传成功')

    def upload(file_path):

        """

        文件上传（含断点）

        :param file_path:

        :return:

        """

        file_md5_val = file_md5(file_path)

        file_name = os.path.basename(file_path)

        file_size = os.stat(file_path).st_size

        cmd_dict = {'cmd': 'upload', 'file_name': file_name, 'size': file_size, 'md5': file_md5_val}

        upload_cmd_bytes = json.dumps(cmd_dict).encode('utf-8')

        sk.sendall(upload_cmd_bytes)

        # 2. 等待服务端的响应

        response = json.loads(sk.recv(8096).decode('utf-8'))

        if response['code'] == 1001:

            send_file(0, file_size)

        else:

            # 短点续传

            exist_size = response['size']

            send_file(exist_size,file_size)

    sk = socket.socket()

    sk.connect(('127.0.0.1',8001))

    while True:

        # upload|文件路|径

        user_input = input("请输入要执行的命令")

        # 1. 自定义协议{'cmd':'upload','file_path':'.....'}

        cmd,file_path = user_input.split('|',maxsplit=1)

        if cmd == 'upload':

            upload(file_path)

        elif cmd == 'download':

            pass

客户端代码

client

总结：

　　1）CODE 自定义状态码；

2）自定义规范： {'code':1000 }；

3）if…else… 分支用反射；

　　4）其他：删除修改文件，如下示例：

import os

    import shutil

    # py2 + win：报错

    os.rename('a.txt','b.txt')

    # py2 + py3 都不会报错

    shutil.move('c.txt','a.txt')  # 若a.txt已经存在，则会将其覆盖掉

    shutil.rmtree('E:\@Lily\pythonDemo\classic') # 递归删除一个目录以及目录内的所有内容

4、搭建框架示例

# myProject/

　　 # ├── bin （当前项目的启动脚本在这里）

　　 # │   ├── start.py
　　 # ├── core   （核心代码都在这里）
　　 # │   └── main.py
　　 # └── db
　　 #     └── userInfo.json

　　 # └── lib（不是内置和第三方模块，可能是自己写的，较完善且跟此程序相关性小）
　　 # └── models.py

　　 # └── conf（配置文件，多处用到某个值以后可能会被修改，则写到配置文件中）
　　 # └── settings.py

　　 # └── log（日志文件，供用户查看追责或者公司分析数据）
　　 # └── all.log

# ├── readme （对程序作说明，说明如何使用此程序）

巴特西

FTP任务(重点看断点续传)

最新文章

热门文章