python3如何随机生成大数据存储到指定excel文档里

本次主要采用的是python3的第三方库xlwt，来创建一个excel文件。具体步骤如下：
1、确认存储位置，文件命名跟随时间格式
2、封装写入格式
3、实现随机数列生成
4、定位行和列把随机数写入
5、统一写入条目数，实现入参确认条目
6、封装对文件夹内多余数据表的删除操作。
说明：最大支持60000条，这个是由于excel格式限制的，如果对大数据有更高要求的如，写入6000000数据的话可以进行循环获取到100个excel来导入。
实际文件生成效果图：
文件内容格式如下图
源码如下：
import xlrd

import xlwt

from my_framework.log import Logger

import time,os

import random

# create a logger instance

logger = Logger(logger="file_process").getlog()

class file_process():

    """封装操作excel的方法"""

    # 获取某一页sheet对象

    def create_excel_file(self):

        da = time.strftime("%Y-%m-%d/%H-%M-%S", time.localtime())

        self.da_a = str(da.split('/')[0])

        self.da_b = str(da.split('/')[1])

        filename = "case_import"+(self.da_a+'-'+self.da_b).replace('-','.')+".xls"

        excel_path = os.path.dirname(os.path.abspath('.')) + '\config_file\case_import'

        self.ecl =os.path.join(excel_path,filename)

        book = xlwt.Workbook(encoding = 'utf-8')

        self.sheet1 = book.add_sheet('Sheet 1',cell_overwrite_ok = True)

        self.title = [u'进件号',u'批次号',u'批次名称',u'产品名称',u'贷款机构',u'产品类型',u'姓名',u'身份证',u'手机',u'年龄',u'性别'u'帐号',

                u'卡号',u'逾期天数',u'账龄',u'手别'	,u'最新欠款金额',u'委案金额',u'委案时间',u'退案时间',u'最近一次进入催收日期',

                 u'额度',u'案件地区',u'币种',u'开户行',u'账单日',u'开卡日期',u'是否分期',u'分期情况',u'本金',u'利息',u'违约金',

                 u'最低还款',u'委案最低还款额',u'争议金额',u'争议后金额',u'服务费',u'超限费',u'累计还款',u'委前最后付款额',u'委前最后付款日',

                u'案件备注',u'家庭地址',u'家庭电话',u'公司名称',u'公司电话',u'公司地址',u'常用地址',u'账单地址',u'邮政编码',u'其他地址',

                 u'QQ',u'微信',u'支付宝',u'邮箱',u'联系人1姓名',u'联系人1关系',u'联系人1电话',u'联系人2姓名',u'联系人2关系',u'联系人2电话',

                 u'联系人3姓名',u'联系人3关系',u'联系人3电话']

        batch_code = ['SZ-GF-2018-06-20','SZ-GF-2018-06-20','SZ-GF-2018-06-20','SZ-GF-2018-06-20','SZ-GF-2018-06-20','SZ-GF-2018-06-20',

                      'SZ-GF-2018-06-20','SZ-GF-2018-06-20']

        commit_money = ['255','452','1223','452','52']

        self.commit_date = [self.da_a]

        latest_debt_money = ['255','452','1223','452','52']

        self.limit_date = ['2019-09-01','2019-05-01','2019-08-21','2019-02-01','2019-12-01','2019-09-25','2019-09-19',]

        self.product_type = ['信贷','消费金融','信用卡']

        self.borrower_idnumber = ['422325198908151539','620503198108111211','360103198904054718']

        self.borrower_phone = ['13686821736']

        self.loan_institution = ['天天测试银行']

        self.write_data(self.title,0,line=1)#标题内容和格式写入

        # 数据导入的条数

        data_num = 60000

        # 进件号写入

        bill_code = self.create_data_billcode(data_num)#获取5个随机字符

        j = self.title_local(u'进件号')

        self.write_data(bill_code, j, line=0)#对第一列进行写入，写入字段存放在lrst中

        #批次号写入

        batch_codes = self.create_data(batch_code,data_num)

        a = self.title_local(u'批次号')

        self.write_data(batch_codes, a, line=0)

        #委案金额写入

        commit_moneys = self.create_data(commit_money, data_num)

        a = self.title_local(u'委案金额')

        self.write_data(commit_moneys, a, line=0)

        #最新欠款金额写入

        latest_debt_moneys = self.create_data(latest_debt_money, data_num)

        a = self.title_local(u'最新欠款金额')

        self.write_data(latest_debt_moneys, a, line=0)

        #其它固定写入

        commit_dates, limit_dates, product_types, borrower_idnumbers, borrower_phones, loan_institutions = self.only_create_data(data_num)

        #委案时间写入

        aa = self.title_local(u'委案时间')

        self.write_data(commit_dates, aa, line=0)

        #退案时间写入

        bb = self.title_local(u'退案时间')

        self.write_data(limit_dates, bb, line=0)

        #产品类型写入

        cc = self.title_local(u'产品类型')

        self.write_data(product_types, cc, line=0)

        #身份证写入

        dd = self.title_local(u'身份证')

        self.write_data(borrower_idnumbers, dd, line=0)

        #手机号写入

        ee = self.title_local(u'手机')

        self.write_data(borrower_phones, ee, line=0)

        #贷款机构写入

        ff = self.title_local(u'贷款机构')

        self.write_data(loan_institutions, ff, line=0)

        #姓名写入

        i = self.title_local(u'姓名')

        brrower_name = self.create_data_name(data_num)  # 获取5个随机字符

        self.write_data(brrower_name, i, line=0)

        book.save(self.ecl)

        return filename

    def write_data(self,lst,num,line=0):

        """

        :param lst: 写入的字段内容的列表

        :param num: num来控制写入的是固定第几行第几列

        :param line: 判断写入的是一行还是一列

        :return: none

        """

        if line == 0:

            for i,item in enumerate(lst):

                self.sheet1.write(i+1, num, item)

        else:

            for i,item in enumerate(lst):

                self.sheet1.write(num, i, item)

    def title_local(self,str):

        for i, item in enumerate(self.title):

            if item == str:

                return i

    #进件号生成的随机算法

    def create_data_billcode(self,number):

        lrst=[]

        la = ['SZ','PH','HW','KL','WE','TY','DH','Z','H','W','L','E','Y','Q','SZK',

              'PHK','HWK','KLK','WEK','TYK','DHK','SRZ','PRH','HRW','KRL','WRE','TRY',

              'DRH','SLZ','PLH','HLW','KLL','WLE','TLY','DLH','SZL','PHL','HWL','KLL','WEL','TYL','DHL'

                                                                                                  'DRH', 'SLkZ', 'PkLH',

              'HLkW', 'KLkL', 'WLkE', 'TLkY', 'DLkH', 'SkZL', 'PkHL', 'HWkL', 'KLkL', 'WEkL', 'TkYL', 'DkHL']

        la1 = ['SZ', 'PH', 'HW', 'KL', 'WE', 'TY', 'DH', 'Z', 'H', 'W', 'L', 'E', 'Y', 'Q', 'SZK',

              'PHK', 'HWK', 'KLK', 'WEK', 'TYK', 'DHK', 'SRZ', 'PRH', 'HRW', 'KRL', 'WRE', 'TRY',

              'DRH', 'SLZ', 'PLH', 'HLW', 'KLL', 'WLE', 'TLY', 'DLH', 'SZL', 'PHL', 'HWL', 'KLL', 'WEyL', 'TyYL', 'DyHL'

                                                                                                                ,'DyRH',

              'SLkZ', 'PkLH',

              'HLkW', 'KLkL', 'WLkE', 'TLkY', 'DLkH', 'SkZL', 'PkHL', 'HWkL', 'KLkL', 'WEkL', 'TkYL', 'DkHL'

                                                                                                      'SZ', 'PH', 'HW',

              'K2L', 'W2E', 'T2Y', 'D2H', '2Z', '2H', '2W', '2L', '2E', '2Y', '2Q', '2SZK',

              'PHK', 'HWK', 'KLK', 'WEK', 'TYK', 'DHK', 'SRZ', 'PRH', 'HRW', 'KRL', 'WRE', 'TRY',

              'DRH', 'SLZ', 'PLH', 'HLW', 'KLL', 'WLE', 'TLY', 'DLH', 'SZL', 'PHL', 'HWL', 'KLL', 'WEyL', 'TyYL',

              ]

        for a in range(1,number+1):

            i = str(random.randint(0, 1000000000000))

            for j in la:

                jk=j

            j = random.choice(la1)

            ha = jk + '-' + self.da_a + '-' + i+j

            lrst.append(ha)

        return lrst

    #姓名生成的随机算法

    def create_data_name(self,number):

        lrst = []

        la = ['张', '周', '吴', '谢', '李', '高', '汤','曹', '陈', '欧阳', '慕容', '黄', '袁', '吕']

        lb = ['具', '国', '暮', '各', '色', '形', '者','换', '与', '欧', '各', '力', '固', '体',

                                    '为', '而', '尔', '风', '哦',

              '形', '黯', '器', '个', '昂', '瘦', '力', '刻', '他']

        lc = ['深', '和', '落', '省', '彩', '呈', '的','谎', '和', '妔', '给', '彩', '呈', '的',

                                '框', '和', '量', '为', '强',

              '而', '的', '及', '和', '联', '给', '肉', '开', '费']

        for a in range(1, number+1):

            i = random.choice(la)

            j = random.choice(lb)

            k = random.choice(lc)

            ha = i + j + k

            lrst.append(ha)

        return lrst

    #其它数据生成算法

    def create_data(self,la,number):

        """

        :param la: 随机数列

        :param number: 生成几条数据

        :return: 数据写集合

        """

        lrst = []

        for a in range(1, number+1):

            i = random.choice(la)

            j = str(random.randint(0, 1000))

            ha = i+j

            lrst.append(ha)

        return lrst

    def only_create_data(self,data_num):

        commit_dates = []

        limit_dates = []

        product_types = []

        borrower_idnumbers = []

        borrower_phones = []

        loan_institutions = []

        latest_debt_moneys = []

        for b in range(1,data_num+1):

            aa = random.choice(self.commit_date)

            bb = random.choice(self.limit_date)

            cc = random.choice(self.product_type)

            dd = random.choice(self.borrower_idnumber)

            ee = random.choice(self.borrower_phone)

            ff = random.choice(self.loan_institution)

            commit_dates.append(aa)

            limit_dates.append(bb)

            product_types.append(cc)

            borrower_idnumbers.append(dd)

            borrower_phones.append(ee)

            loan_institutions.append(ff)

        return commit_dates,limit_dates,product_types,borrower_idnumbers,borrower_phones,loan_institutions

    #将不是今天生成的文件删除

    def clear_file(self):

        da = time.strftime("%Y.%m.%d/%H-%M-%S", time.localtime())

        da_a = str(da.split('/')[0])

        path = os.path.dirname(os.path.abspath('.')) + '\config_file\case_import'

        lrst = []

        for file in os.listdir(path):

            if da_a not in file:

                lrst.append(file)

        if len(lrst) == 0:

            logger.info("没有需要删除的历史文件")

        else:

            for file in lrst:

                os.remove(os.path.join(path,file))

    #注意返回的了lsrt是包含标题的

    def get_data(self,module):

        lsrt = []

        line = self.title_local(module)

        ExcelFile = xlrd.open_workbook(self.ecl)

        sheet = ExcelFile.sheet_by_index(0)

        lsrt = sheet.col_values(line)#module列内容

        return lsrt

if __name__ == '__main__':

    a=file_process()

    a.create_excel_file()
整段代码的基本框架思路已经给出，需要扩展的可以继续扩展，分享快乐，一起进步。
巴特西

python3如何随机生成大数据存储到指定excel文档里

最新文章

热门文章
