当前位置：首页 > 编程日记 > 正文

python文本编码转换_Python: 转换文本编码

编程日记 2024-05-18 08:20:00

最近在做周报的时候，需要把csv文本中的数据提取出来制作表格后生产图表。

在获取csv文本内容的时候，基本上都是用with open(filename, encoding ='UTF-8') as f:来打开csv文本，但是实际使用过程中发现有些csv文本并不是utf-8格式，从而导致程序在run的过程中报错，每次都需要手动去把该文本文件的编码格式修改成utf-8，再次来run该程序，所以想说：直接在程序中判断并修改文本编码。

基本思路：先查找该文本是否是utf-8的编码，如果不是则修改为utf-8编码的文本，然后再处理。

python有chardet库可以查看到文本的encoding信息：

detect函数只需要一个非unicode字符串参数，返回一个字典（例如：{'encoding': 'utf-8', 'confidence': 0.99}）。该字典包括判断到的编码格式及判断的置信度。

import chardet

def get_encode_info(file):

with open(file, 'rb') as f:

return chardet.detect(f.read())['encoding']

不过这个在从处理小文件的时候性能还行，如果文本稍微过大就很慢了，目前我本地的csv文件是近200k，就能明显感觉到速度过慢了，效率低下。不过chardet库中提供UniversalDetector对象来处理：创建UniversalDetector对象，然后对每个文本块重复调用其feed方法。如果检测器达到了最小置信阈值，它就会将detector.done设置为True。一旦您用完了源文本，请调用detector.close()，这将完成一些最后的计算，以防检测器之前没有达到其最小置信阈值。结果将是一个字典，其中包含自动检测的字符编码和置信度(与charde.test函数返回的相同)。

from chardet.universaldetector import UniversalDetector

def get_encode_info(file):

with open(file, 'rb') as f:

detector = UniversalDetector()

for line in f.readlines():

detector.feed(line)

if detector.done:

break

detector.close()

return detector.result['encoding']

在做编码转换的时候遇到问题：UnicodeDecodeError: 'charmap' codec can't decode byte 0x90 in position 178365: character maps to

def read_file(file):

with open(file, 'rb') as f:

return f.read()

def write_file(content, file):

with open(file, 'wb') as f:

f.write(content)

def convert_encode2utf8(file, original_encode, des_encode):

file_content = read_file(file)

file_decode = file_content.decode(original_encode) #-->此处有问题

file_encode = file_decode.encode(des_encode)

write_file(file_encode, file)

这是由于byte字符组没解码好，要加另外一个参数errors。官方文档中写道：

bytearray.decode(encoding=”utf-8”, errors=”strict”)

Return a string decoded from the given bytes. Default encoding is 'utf-8'. errors may be given to set a different error handling scheme. The default for errors is 'strict', meaning that encoding errors raise a UnicodeError. Other possible values are 'ignore', 'replace' and any other name registered via codecs.register_error(), see section Error Handlers. For a list of possible encodings, see section Standard Encodings.

意思就是字符数组解码成一个utf-8的字符串，可能被设置成不同的处理方案，默认是‘严格’的，有可能抛出UnicodeError，可以改成‘ignore’，’replace’就能解决。

所以将此行代码file_decode = file_content.decode(original_encode)修改成file_decode = file_content.decode(original_encode,'ignore')即可。

完整代码：

from chardet.universaldetector import UniversalDetector

def get_encode_info(file):

with open(file, 'rb') as f:

detector = UniversalDetector()

for line in f.readlines():

detector.feed(line)

if detector.done:

break

detector.close()

return detector.result['encoding']

def read_file(file):

with open(file, 'rb') as f:

return f.read()

def write_file(content, file):

with open(file, 'wb') as f:

f.write(content)

def convert_encode2utf8(file, original_encode, des_encode):

file_content = read_file(file)

file_decode = file_content.decode(original_encode,'ignore')

file_encode = file_decode.encode(des_encode)

write_file(file_encode, file)

if __name__ == "__main__":

filename = r'C:\Users\danvy\Desktop\Automation\testdata\test.csv'

file_content = read_file(filename)

encode_info = get_encode_info(filename)

if encode_info != 'utf-8':

convert_encode2utf8(filename, encode_info, 'utf-8')

encode_info = get_encode_info(filename)

print(encode_info)

https://www.dkcj.cn/info/6756.html

python文本编码转换_Python: 转换文本编码

相关文章：

ipone 网页版的iphone

import static

poj1423

python缩进在程序中长度统一且强制使用_Python习题纠错1

ASP.NET MVC3 在WebGrid中用CheckBox选中行

Delphi中使用IXMLHTTPRequest如何用POST方式提交带参

Windows图标：有一些你未必知道的东西

几种函数式编程语言

python逐个读取文件并处理_逐个读取多个文件并用python进行处理

HDU 2102 A计划

node.js是做什么的？

K8S - Kubernetes简介

python中filenotfounderror_Python3 报错 FileNotFoundError: [WinError 2]

Push Notifications

[原创]Bash中的$*和$@的区别

文本处理工具之grep和egrep

【转】堆栈和托管堆 c#

python特性和属性_Python之属性、特性和修饰符

pytest+allure环境别人电脑运行正常，自己运行不正常几种情况

进驻宝岛不闪式3D热潮来临？

BZOJ3782 上学路线【dp + Lucas + CRT】

007本周总结报告

python max函数_Python3

Linux Mount Windows域用户限制的共享文件夹

B-tree索引与Bitmap索引的对比测试

python 将字符串转换成字典dict

pidstat 命令详解(转载)

Oracle中table的大小计算方式

python编码问题无法复现_Python编码问题详解

重新开始 2011/11/25