파이썬 문자열 바이트 인코딩을 감지하는 방법은 무엇입니까?

os.listdir () 에서 읽은 약 1000 개의 파일 이름이 있는데, 그중 일부는 UTF8로 인코딩되고 일부는 CP1252입니다.

스크립트에서 추가 처리를 위해 모두 유니 코드로 디코딩하고 싶습니다. 소스 인코딩을 유니 코드로 올바르게 디코딩하는 방법이 있습니까?

예:

for item in os.listdir(rootPath):

    #Convert to Unicode
    if isinstance(item, str):
        item = item.decode('cp1252')  # or item = item.decode('utf-8')
    print item

 

해결 방법

 

파일이 cp1252 및 utf-8 에있는 경우 쉬운 방법이 있습니다.

import logging
def force_decode(string, codecs=['utf8', 'cp1252']):
    for i in codecs:
        try:
            return string.decode(i)
        except UnicodeDecodeError:
            pass

    logging.warn("cannot decode url %s" % ([string]))

for item in os.listdir(rootPath):
    #Convert to Unicode
    if isinstance(item, str):
        item = force_decode(item)
    print item

그렇지 않으면 charset detect lib가 있습니다.

 

참조 페이지 https://stackoverflow.com/questions/15918314