Как проверить, находится ли строка в Python в ASCII?

Я хочу проверить, есть ли строка в ASCII или нет.

Я знаю ord(), однако, когда я пытаюсь ord('é'), у меня есть TypeError: ord() expected a character, but string of length 2 found. Я понял, что это вызвано тем, как я собирал Python (как объяснено в ord()документации ).

Есть ли другой способ проверить?

def is_ascii(s):
    return all(ord(c) < 128 for c in s)

Я думаю, что вы не задаете правильный вопрос ...

Строка в python не имеет свойства, соответствующего 'ascii', utf-8 или любой другой кодировке. Источник вашей строки (независимо от того, читаете ли вы ее из файла, вводите с клавиатуры и т. Д.), Возможно, закодировал строку unicode в ascii, чтобы создать вашу строку, но вам нужно найти ответ.

Возможно, вы можете задать вопрос: «Является ли эта строка результатом кодирования строки Unicode в ascii?» - На это вы можете ответить, попробовав:

try:
    mystring.decode('ascii')
except UnicodeDecodeError:
    print "it was not a ascii-encoded unicode string"
else:
    print "It may have been an ascii-encoded unicode string"

Python 3 way:

isascii = lambda s: len(s) == len(s.encode())

Чтобы проверить, передайте тестовую строку:

str1 = "♥O◘♦♥O◘♦"
str2 = "Python"

print(isascii(str1)) -> will return False
print(isascii(str2)) -> will return True

Новое в Python 3.7 ( bpo32677 )

Нет более утомительным / неэффективные проверки ASCII на строках, новый встроенный str/ bytes/ bytearrayметод - .isascii()не будет проверять , если строки в ASCII.

print("is this ascii?".isascii())
# True

Недавно столкнулся с чем-то вроде этого - для дальнейшего использования

import chardet

encoding = chardet.detect(string)
if encoding['encoding'] == 'ascii':
    print 'string is in ascii'

который вы могли бы использовать с:

string_ascii = string.decode(encoding['encoding']).encode('ascii')

Винсент Маркетти имеет правильную идею, но str.decodeустарел в Python 3. В Python 3 вы можете сделать тот же тест с str.encode:

try:
    mystring.encode('ascii')
except UnicodeEncodeError:
    pass  # string is not ascii
else:
    pass  # string is ascii

Обратите внимание, что исключение, которое вы хотите перехватить, также изменилось с UnicodeDecodeErrorна UnicodeEncodeError.

Ваш вопрос неверен; ошибка, которую вы видите, является не результатом того, как вы создали Python, а из-за путаницы между строками байтов и строками Unicode.

Строки байтов (например, «foo» или «bar» в синтаксисе Python) представляют собой последовательности октетов; цифры от 0 до 255. Строки Unicode (например, u "foo" или u'bar ') представляют собой последовательности кодовых точек Unicode; цифры от 0-1112064. Но вас, похоже, интересует символ é, который (в вашем терминале) является многобайтовой последовательностью, представляющей один символ.

Вместо этого ord(u'é')попробуйте это:

>>> [ord(x) for x in u'é']

Это говорит о том, какую последовательность кодовых точек представляет «é». Это может дать вам [233], или это может дать вам [101, 770].

Вместо того, chr()чтобы изменить это, есть unichr():

>>> unichr(233)
u'\xe9'

Этот символ на самом деле может быть представлен как одной или несколькими «кодовыми точками» Юникода, которые сами представляют графемы или символы. Это либо «e с острым акцентом (т.е. кодовая точка 233)», либо «e» (кодовая точка 101), за которым следует «острый акцент на предыдущий символ» (кодовая точка 770). Так что этот точно такой же символ может быть представлен как структура данных Python u'e\u0301'или u'\u00e9'.

Большую часть времени вам не нужно об этом беспокоиться, но это может стать проблемой, если вы перебираете строку в юникоде, поскольку итерация выполняется по коду, а не по разложимому символу. Другими словами, len(u'e\u0301') == 2и len(u'\u00e9') == 1. Если это важно для вас, вы можете конвертировать между составными и разложенными формами, используя unicodedata.normalize.

Глоссарий Unicode может быть полезным руководством для понимания некоторых из этих проблем, указывая, как каждый конкретный термин относится к другой части представления текста, что гораздо сложнее, чем понимают многие программисты.

Как насчет этого?

import string

def isAscii(s):
    for c in s:
        if c not in string.ascii_letters:
            return False
    return True

Я нашел этот вопрос, пытаясь определить, как использовать / кодировать / декодировать строку, в кодировке которой я не был уверен (и как экранировать / преобразовать специальные символы в этой строке).

Мой первый шаг должен был проверить тип строки - я не знал, что смогу получить хорошие данные о ее форматировании из типа (ов). Этот ответ был очень полезным и добрался до сути моих проблем.

Если вы получаете грубый и настойчивый

UnicodeDecodeError: кодек «ascii» не может декодировать байт 0xc3 в позиции 263: порядковый номер не в диапазоне (128)

особенно, когда вы кодируете, убедитесь, что вы не пытаетесь unicode () строка, которая уже является Unicode - по какой-то ужасной причине вы получаете ошибки кодека ascii. (См. Также рецепт Python Kitchen и учебники по Python для лучшего понимания того, насколько это может быть ужасно.)

В конце концов я решил, что то, что я хотел сделать, это:

escaped_string = unicode(original_string.encode('ascii','xmlcharrefreplace'))

Также в отладке было полезно установить кодировку по умолчанию в моем файле на utf-8 (поместите это в начало вашего файла python):

# -*- coding: utf-8 -*-

Это позволяет вам тестировать специальные символы ('àéç'), не используя их экранированные символы Юникода (u '\ xe0 \ xe9 \ xe7').

>>> specials='àéç'
>>> specials.decode('latin-1').encode('ascii','xmlcharrefreplace')
'àéç'

Чтобы улучшить решение Александра из Python 2.6 (и в Python 3.x), вы можете использовать вспомогательный модуль curses.ascii и функцию curses.ascii.isascii () или другие: https://docs.python.org/2.6/ библиотека / curses.ascii.html

from curses import ascii

def isascii(s):
    return all(ascii.isascii(c) for c in s)

Вы можете использовать библиотеку регулярных выражений, которая принимает стандартное определение Posix [[: ASCII:]].

Sting ( str-type) в Python представляет собой серию байтов. Там нет никакого способа , чтобы говорить просто смотреть на строки этой серии байтов , представляют ли строку ASCII, строку в 8-битной кодировке , как ISO-8859-1 или строки , зашифрованную с UTF-8 или UTF-16 или что - то ,

Однако, если вы знаете используемую кодировку, то вы можете decodeпоместить str в строку Unicode, а затем использовать регулярное выражение (или цикл), чтобы проверить, содержит ли он символы вне диапазона, который вас беспокоит.

Как и ответ @ RogerDahl, но более эффективно закорачивать, отрицая класс символов и используя поиск вместо find_allили match.

>>> import re
>>> re.search('[^\x00-\x7F]', 'Did you catch that \x00?') is not None
False
>>> re.search('[^\x00-\x7F]', 'Did you catch that \xFF?') is not None
True

Я предполагаю, что регулярное выражение хорошо оптимизировано для этого.

import re

def is_ascii(s):
    return bool(re.match(r'[\x00-\x7F]+$', s))

Чтобы включить пустую строку ASCII, изменить +к *.

Чтобы ваш код от аварий, может быть , вы хотите использовать , try-exceptчтобы пойматьTypeErrors

>>> ord("¶")
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: ord() expected a character, but string of length 2 found

Например

def is_ascii(s):
    try:
        return all(ord(c) < 128 for c in s)
    except TypeError:
        return False

Я использую следующее, чтобы определить, является ли строка ascii или unicode:

>> print 'test string'.__class__.__name__
str
>>> print u'test string'.__class__.__name__
unicode
>>> 

Затем просто используйте условный блок для определения функции:

def is_ascii(input):
    if input.__class__.__name__ == "str":
        return True
    return False