Как исправить TypeError: Unicode-объекты должны быть закодированы перед хэшированием?

295

У меня есть эта ошибка:

Traceback (most recent call last):
  File "python_md5_cracker.py", line 27, in <module>
  m.update(line)
TypeError: Unicode-objects must be encoded before hashing

когда я пытаюсь выполнить этот код в Python 3.2.2 :

import hashlib, sys
m = hashlib.md5()
hash = ""
hash_file = input("What is the file name in which the hash resides?  ")
wordlist = input("What is your wordlist?  (Enter the file name)  ")
try:
  hashdocument = open(hash_file, "r")
except IOError:
  print("Invalid file.")
  raw_input()
  sys.exit()
else:
  hash = hashdocument.readline()
  hash = hash.replace("\n", "")

try:
  wordlistfile = open(wordlist, "r")
except IOError:
  print("Invalid file.")
  raw_input()
  sys.exit()
else:
  pass
for line in wordlistfile:
  # Flush the buffer (this caused a massive problem when placed 
  # at the beginning of the script, because the buffer kept getting
  # overwritten, thus comparing incorrect hashes)
  m = hashlib.md5()
  line = line.replace("\n", "")
  m.update(line)
  word_hash = m.hexdigest()
  if word_hash == hash:
    print("Collision! The word corresponding to the given hash is", line)
    input()
    sys.exit()

print("The hash given does not correspond to any supplied word in the wordlist.")
input()
sys.exit()
JohnnyFromBF
источник
Я обнаружил, что открытие файла с помощью 'rb' помогло моему делу.
Дламблин

Ответы:

300

Вероятно, ищет кодировку из wordlistfile.

wordlistfile = open(wordlist,"r",encoding='utf-8')

Или, если вы работаете построчно:

line.encode('utf-8')
cwallenpoole
источник
3
open(wordlist,"r",encoding='utf-8')Для чего используется открытое с определенной кодировкой, в кодировке указывается кодек декодирования, без этой опции используется платформо-зависимое кодирование.
Tanky Woo
129

Вы должны определить, encoding formatкак utf-8, Попробуйте этот простой способ,

В этом примере генерируется случайное число с использованием алгоритма SHA256:

>>> import hashlib
>>> hashlib.sha256(str(random.getrandbits(256)).encode('utf-8')).hexdigest()
'cd183a211ed2434eac4f31b317c573c50e6c24e3a28b82ddcb0bf8bedf387a9f'
Джей Патель
источник
18

Чтобы сохранить пароль (PY3):

import hashlib, os
password_salt = os.urandom(32).hex()
password = '12345'

hash = hashlib.sha512()
hash.update(('%s%s' % (password_salt, password)).encode('utf-8'))
password_hash = hash.hexdigest()
Khắc Nghĩa Từ
источник
1
Эта строка делает пароль невозможным для использования. password_salt = os.urandom (32) .hex () Это должно быть фиксированное известное значение, но оно может быть секретным только для сервера. Пожалуйста, поправьте меня или адаптируйте его под свой код.
Яш
1
Я согласен с @Yash. У вас либо одна соль, которую вы используете для каждого хеша (не самая лучшая), или если вы генерируете случайную соль для каждого хеша, вы должны сохранить ее вместе с хешем, чтобы использовать ее позже для сравнения
Carson Evans
15

Ошибка уже говорит о том, что вы должны сделать. MD5 работает с байтами, поэтому вы должны кодировать строку Unicode bytes, например, с помощью line.encode('utf-8').

Cat Plus Plus
источник
11

Пожалуйста, сначала посмотрите на этот ответ.

Теперь, сообщение об ошибке ясна: вы можете использовать только байты, а не строки Python (то , что раньше unicodeв Python <3), так что вы должны кодировать строки в выбранной кодировке: utf-32, utf-16, utf-8или даже один из запретных 8- битовые кодировки (что некоторые могут назвать кодовыми страницами).

Байты в вашем файле списка слов автоматически декодируются в Unicode с помощью Python 3, когда вы читаете из файла. Я предлагаю вам сделать:

m.update(line.encode(wordlistfile.encoding))

так что закодированные данные, передаваемые в алгоритм md5, кодируются точно так же, как и основной файл.

tzot
источник
10
import hashlib
string_to_hash = '123'
hash_object = hashlib.sha256(str(string_to_hash).encode('utf-8'))
print('Hash', hash_object.hexdigest())
Sabyasachi
источник
6

Вы можете открыть файл в двоичном режиме:

import hashlib

with open(hash_file) as file:
    control_hash = file.readline().rstrip("\n")

wordlistfile = open(wordlist, "rb")
# ...
for line in wordlistfile:
    if hashlib.md5(line.rstrip(b'\n\r')).hexdigest() == control_hash:
       # collision
JFS
источник
6

кодирование этой строки исправило это для меня.

m.update(line.encode('utf-8'))
Майк Кэш
источник
0

Если это строка из одной строки. оберните это с b или B. например:

variable = b"This is a variable"

или

variable2 = B"This is also a variable"
SBimochan
источник
-3

Эта программа является улучшенной версией вышеупомянутого взломщика MD5 без ошибок, который считывает файл, содержащий список хешированных паролей, и проверяет его по хешированным словам из списка слов английского словаря. Надеюсь, это полезно.

Я скачал словарь английского языка по следующей ссылке https://github.com/dwyl/english-words

# md5cracker.py
# English Dictionary https://github.com/dwyl/english-words 

import hashlib, sys

hash_file = 'exercise\hashed.txt'
wordlist = 'data_sets\english_dictionary\words.txt'

try:
    hashdocument = open(hash_file,'r')
except IOError:
    print('Invalid file.')
    sys.exit()
else:
    count = 0
    for hash in hashdocument:
        hash = hash.rstrip('\n')
        print(hash)
        i = 0
        with open(wordlist,'r') as wordlistfile:
            for word in wordlistfile:
                m = hashlib.md5()
                word = word.rstrip('\n')            
                m.update(word.encode('utf-8'))
                word_hash = m.hexdigest()
                if word_hash==hash:
                    print('The word, hash combination is ' + word + ',' + hash)
                    count += 1
                    break
                i += 1
        print('Itiration is ' + str(i))
    if count == 0:
        print('The hash given does not correspond to any supplied word in the wordlist.')
    else:
        print('Total passwords identified is: ' + str(count))
sys.exit()
УДЗ
источник