我目前所在的项目是一个老项目,里面的字符串编码有点乱,数据库中有些是GB2312,有些是UTF8:代码中有些是GBK,有些是UTF8,代码中转来转去,经常是不太清楚当前这个字符串是什么编码,由于是老项目,也没去修改.最近合服脚本由项目上进行维护了,我拿到脚本看了看是Python写的,我之前也没学习过Python,只有现学现用. 数据库中使用了Protobuf,这里面也有字符串,编码也是有GBK,也有UTF8编码的,而且是交叉使用,有过合服经验的同学应该知道,这里会涉及一些修改,比如名字冲突需要改

mysql 创建数据库时指定编码很重要,很多开发者都使用了默认编码,但是我使用的经验来看,制定数据库的编码可以很大程度上避免倒入导出带来的乱码问题. 我们遵循的标准是,数据库,表,字段和页面或文本的编码要统一起来很多mysql数据库工具(除了phpmyadmin,我偶尔用,功能强速度慢)都不支持创建时指定数据库编码,当然可以改my.ini来解决这个问题,但是需要重新启动mysql,不过用下面的语句会更有效 GBK: create database test2 DEFAULT CHARACTER

问题的引入:在InputStreamReader(OutputStreamWriter)的构造方法中,有指定字符集编码,那么什么是字符集?有哪些常用的字符集?怎么用字符集进行编码? 一   什么是字符集? 字符:字符(Char)是各种文字和符号的总称,包括各国家文字.标点符号.图形符号.数字等. 字符集:字符集(Charset)是多个字符的集合,字符集种类较多,每个字符集包含的字符个数不同. 二  有哪些常用的字符集? 1.ASCII: ASCII(American Standard Code

python指定cpu使用率,与内存占用率 """ runing.py -c 2 -t 0.01 -m 1000 -c cpu核数,不加-c参数为最大核数 -t cpu运算频率时间,间隔,越小占用越高 -m 内存占用,1000MB """ import sys import time from time import clock import argparse from multiprocessing import Process from mu

python指定概率随机取值参考如下: 下面是利用 np.random.choice()指定概率取样的例子: np.random.seed(0) p = np.array([0.1, 0.0, 0.7, 0.2]) index = np.random.choice([0, 1, 2, 3], p = p.ravel()) 这意味着你可以以下面的概率分布取到index所对应的数值:P(index=0)=0.1,P(index=1)=0.0,P(index=2)=0.7,P(index=3)=0.2

python pip源介绍: python装包一般都用easy_install 或者pip. 他们俩的原理跟apt-get差不多,都是去某个地址去下载你所指定的包. pip和easy_install默认是去 pypi.python.org/pypi 下载并解压,但是网络很不稳定,可以换成其他的源,例如豆瓣的 http://pypi.douban.com/simple 修改pip源: 修改源有两种方式:1.在下载包时,通过 -i 选项指定源:pip install -i http://pypi.d

手机使用python操作图片文件 起因 前几天去国图拍了一本书,一本心理学方面的书,也许你问我为什么不去买一本,或者去网上找pdf. 其实吧,关于心理学方面的书可以说在市面上一抓就是一堆,至于拍这本书两个原因,一个是没有什么收藏价值不值得我去买,只适合应急用,然后就是这本书的作者写作特点和其他大众的不太一样,可以说是有特点或者偏门,于是我就在手机上拍了一堆的图片,后来整理成了pdf,但是昨天我看的时候原图片文件还在快上千了吧,一个一个选择删除真是删烦了, 也许你会说为什么不导入到电脑上进行删除,

Python利用第三方库chardet可以判断字符集. https://chardet.readthedocs.io >>> import urllib >>> rawdata = urllib.urlopen('http://yahoo.co.jp/').read() >>> import chardet >>> chardet.detect(rawdata) {'encoding': 'EUC-JP', 'confidence':

一.python 打开浏览器的方法: 1. startfile方法(打开指定浏览器) import os os.startfile("C:\Program Files\internet explorer\iexplore.exe") 2. system方法 打开指定浏览器: import os os.system('"C:\Program Files\internet explorer\iexplore.exe"') 通过指定浏览器打开指定的网址: import o

python的pip默认的安装源的位置是国外的,导致有时候下载很慢或者直接失败我们可以切换国内的源 目前国内可用的我知道的有两个 豆瓣的:http://pypi.doubanio.com/simple/ 科技大学的:https://mirrors.ustc.edu.cn/pypi/web/simple/ 我这里用豆瓣的 windows上指定源: 第一步: 打开我的电脑在地址栏里输入:%APPDATA%  后回车,然后就进入了C:\Users\PC\AppData\Roaming 这个路劲里面 第

讲的比较明白的博客:http://www.cnblogs.com/huxi/archive/2010/12/05/1897271.html 以上面博文的汉为例子,汉字的GBK编码是baba, UNICODE码字是6C49 UTF16-LE编码是496C,UTF-8编码是e6b189 python文件的编码制定为GBK line="汉" input=line.decode('gbk','ignore').encode("UTF-8"); rint repr(input

自动化脚本: #!/bin/bash sudo apt-get update sudo apt-get install -y gcc make build-essential libssl-dev zlib1g-dev libbz2-dev libreadline-dev libsqlite3-dev wget curl llvm libncurses5-dev libncursesw5-dev xz-utils tk-dev libffi-dev liblzma-dev sudo mkdir

#!/usr/bin/python import datetime import sys arg1_list=list(sys.argv[1].split(',')) arg2_list=list(sys.argv[2].split(',')) if len(arg2_list) != 2: sys.exit(1) #201705222300 TIME_START=arg2_list[0] #201705230100 TIME_END=arg2_list[1] #20170522 START_D

以创建字符集为utf8的数据库为例: CREATE DATABASE db_name DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci; CREATE DATABASE 的语法: CREATE {DATABASE | SCHEMA} [IF NOT EXISTS] db_name [create_specification [, create_specification] ...] create_specification: [DEFAULT]

指定字符串位置查找 #指定字符查找 s = 'F:/my_pycharm/pycharm_project/CSV表格/10.csv' print(s.find('/')) # 2, 第一个/在2位置 print(s.rfind('/')) # 35, 最后一个/在35位置 print(s.index('/')) # 2, 第一个/在2位置 print(s.index('/',3)) # 13, 从3位开始查找,第一个/在13位置 print(s.count('/',4)) # 3, 从4位开始计

from IPython.core.pylabtools import figsize # import figsize figsize(12.5, 4) # 设置 figsize plt.rcParams['savefig.dpi'] = 300 #图片像素 plt.rcParams['figure.dpi'] = 300 #分辨率 #draw plt.axis('off') plt.savefig('路径', dpi=300) #指定分辨 plt.show()

解决办法: http://worldant.blog.sohu.com/251745784.html 爬虫爬下来的源代码和网页的源代码不一样,可以先把爬下来的代码输出或保存在文件中,然后再写正则匹配表达式.

运行脚本的时候,总是报错: SyntaxError: (unicode error) 'utf-8' codec can't decode byte 0xb9 in position 0: invalid start byte 解决办法: 文件保存的时候,要改成utf-8编码

CREATE DATABASE IF NOT EXISTS dbname DEFAULT CHARSET utf8;

1 import re 2 p = re.compile('AAAAAAAA',re.S) 3 f = open(r"D:\test\oldfile.txt","r").read() 4 paralist = p.split(f) 5 total_num = len(paralist) 6 for paraindex in range(total_num): 7 filewrite=file( r"D:\test\\" + str(paraind

import sys reload(sys) sys.setdefaultencoding('utf-8')