Хеширование файла в Python

Я хочу, чтобы python читал EOF, чтобы я мог получить соответствующий хеш, будь то sha1 или md5. Пожалуйста помоги. Вот что у меня есть на данный момент:

import hashlib

inputFile = raw_input("Enter the name of the file:")
openedFile = open(inputFile)
readFile = openedFile.read()

md5Hash = hashlib.md5(readFile)
md5Hashed = md5Hash.hexdigest()

sha1Hash = hashlib.sha1(readFile)
sha1Hashed = sha1Hash.hexdigest()

print "File Name: %s" % inputFile
print "MD5: %r" % md5Hashed
print "SHA1: %r" % sha1Hashed

TL; DR используйте буферы, чтобы не использовать тонны памяти.

Я считаю, что мы подходим к сути вашей проблемы, когда рассматриваем последствия для памяти при работе с очень большими файлами . Мы не хотим, чтобы этот плохой мальчик потратил 2 гигабайта оперативной памяти на 2-гигабайтный файл, поэтому, как указывает пасторписти , мы должны обрабатывать эти большие файлы кусками!

import sys
import hashlib

# BUF_SIZE is totally arbitrary, change for your app!
BUF_SIZE = 65536  # lets read stuff in 64kb chunks!

md5 = hashlib.md5()
sha1 = hashlib.sha1()

with open(sys.argv[1], 'rb') as f:
    while True:
        data = f.read(BUF_SIZE)
        if not data:
            break
        md5.update(data)
        sha1.update(data)

print("MD5: {0}".format(md5.hexdigest()))
print("SHA1: {0}".format(sha1.hexdigest()))

Что мы сделали, так это обновили наши хэши этого плохого парня кусками по 64 КБ, следуя удобному методу обновления hashlib . Таким образом, мы используем намного меньше памяти, чем 2 ГБ, которые потребовались бы для хеширования всего парня сразу!

Вы можете проверить это с помощью:

$ mkfile 2g bigfile
$ python hashes.py bigfile
MD5: a981130cf2b7e09f4686dc273cf7187e
SHA1: 91d50642dd930e9542c39d36f0516d45f4e1af0d
$ md5 bigfile
MD5 (bigfile) = a981130cf2b7e09f4686dc273cf7187e
$ shasum bigfile
91d50642dd930e9542c39d36f0516d45f4e1af0d  bigfile

Надеюсь, это поможет!

Также все это описано в связанном вопросе справа: Получить хэш MD5 больших файлов в Python

Дополнение!

В общем, при написании python это помогает привыкнуть следовать pep-8 . Например, в Python переменные обычно разделяются подчеркиванием, а не верблюжьим регистром. Но это всего лишь стиль, и никого не волнуют эти вещи, кроме людей, которым приходится читать плохой стиль ... который, возможно, вы читаете этот код через годы.

Для правильного и эффективного вычисления хеш-значения файла (в Python 3):

• Откройте файл в двоичном режиме (т.е. добавьте 'b'в файловый режим), чтобы избежать проблем с кодировкой символов и преобразованием окончания строки.
• Не считывайте файл целиком в память, так как это пустая трата памяти. Вместо этого последовательно прочтите его блок за блоком и обновите хэш для каждого блока.
• Устраните двойную буферизацию, т.е. не используйте буферизованный ввод-вывод, потому что мы уже используем оптимальный размер блока.
• Используйте, readinto()чтобы избежать перемешивания буфера.

Пример:

import hashlib

def sha256sum(filename):
    h  = hashlib.sha256()
    b  = bytearray(128*1024)
    mv = memoryview(b)
    with open(filename, 'rb', buffering=0) as f:
        for n in iter(lambda : f.readinto(mv), 0):
            h.update(mv[:n])
    return h.hexdigest()

Я бы просто предложил:

def get_digest(file_path):
    h = hashlib.sha256()

    with open(file_path, 'rb') as file:
        while True:
            # Reading is buffered, so we can read smaller chunks.
            chunk = file.read(h.block_size)
            if not chunk:
                break
            h.update(chunk)

    return h.hexdigest()

Все остальные ответы здесь кажутся слишком сложными. Python уже выполняет буферизацию при чтении (в идеальном случае, или вы настраиваете эту буферизацию, если у вас есть больше информации о базовом хранилище), поэтому лучше читать по частям, хеш-функция находит идеальную, что делает ее быстрее или, по крайней мере, с меньшей нагрузкой на процессор для вычислить хеш-функцию. Поэтому вместо того, чтобы отключать буферизацию и пытаться эмулировать ее самостоятельно, вы используете буферизацию Python и контролируете то, что вы должны контролировать: то, что потребитель ваших данных считает идеальным, размер хэш-блока.

Я запрограммировал модуль, который может хешировать большие файлы с помощью разных алгоритмов.

pip3 install py_essentials

Используйте модуль следующим образом:

from py_essentials import hashing as hs
hash = hs.fileChecksum("path/to/the/file.txt", "sha256")

Вот решение Python 3, POSIX (не Windows!), Которое используется mmapдля отображения объекта в память.

import hashlib
import mmap

def sha256sum(filename):
    h  = hashlib.sha256()
    with open(filename, 'rb') as f:
        with mmap.mmap(f.fileno(), 0, prot=mmap.PROT_READ) as mm:
            h.update(mm)
    return h.hexdigest()

import hashlib
user = input("Enter ")
h = hashlib.md5(user.encode())
h2 = h.hexdigest()
with open("encrypted.txt","w") as e:
    print(h2,file=e)


with open("encrypted.txt","r") as e:
    p = e.readline().strip()
    print(p)