_csv.Error: поле больше предела поля (131072)

У меня есть сценарий чтения в CSV-файл с очень большими полями:

# example from http://docs.python.org/3.3/library/csv.html?highlight=csv%20dictreader#examples
import csv
with open('some.csv', newline='') as f:
    reader = csv.reader(f)
    for row in reader:
        print(row)

Однако это приводит к следующей ошибке в некоторых файлах CSV:

_csv.Error: field larger than field limit (131072)

Как я могу анализировать CSV-файлы с огромными полями? Пропуск строк с огромными полями не вариант, так как данные должны быть проанализированы на последующих этапах.

Файл CSV может содержать очень большие поля, поэтому увеличьте field_size_limit:

import sys
import csv

csv.field_size_limit(sys.maxsize)

sys.maxsizeработает для Python 2.x и 3.x. sys.maxintбудет работать только с Python 2.x ( SO: что-это-sys-maxint-in-python-3 )

Обновить

Как Geoff отметил, приведенный выше код может привести к следующей ошибке: OverflowError: Python int too large to convert to C long. Чтобы обойти это, вы можете использовать следующий быстрый и грязный код (который должен работать в любой системе с Python 2 и Python 3):

import sys
import csv
maxInt = sys.maxsize

while True:
    # decrease the maxInt value by factor 10 
    # as long as the OverflowError occurs.

    try:
        csv.field_size_limit(maxInt)
        break
    except OverflowError:
        maxInt = int(maxInt/10)

Это может быть потому, что ваш CSV-файл имеет встроенные одинарные или двойные кавычки. Если ваш CSV-файл разделен табуляцией, попробуйте открыть его как:

c = csv.reader(f, delimiter='\t', quoting=csv.QUOTE_NONE)

Ниже стоит проверить текущий лимит

csv.field_size_limit()

Out [20]: 131072

Ниже стоит увеличить лимит. Добавьте это к коду

csv.field_size_limit(100000000)

Попробуйте еще раз проверить лимит

csv.field_size_limit()

Out [22]: 100000000

Теперь вы не получите сообщение об ошибке «_csv.Error: поле больше предела поля (131072)»

Размеры полей CSV контролируются с помощью [Python 3.Docs]: CSV. field_size_limit ( [new_limit] ) :

Возвращает текущий максимальный размер поля, разрешенный парсером. Если задано new_limit , это становится новым пределом.

По умолчанию он равен 128k или 0x20000 ( 131072 ), что должно быть достаточно для любого приличного .csv :

>>> import csv
>>>
>>> limit0 = csv.field_size_limit()
>>> limit0
131072
>>> "0x{0:016X}".format(limit0)
'0x0000000000020000'

Однако при работе с файлом .csv ( с правильными кавычками и разделителями ), имеющими (как минимум) на одно поле длиннее этого размера, появляется ошибка.
Чтобы избавиться от ошибки, необходимо увеличить предел размера (чтобы избежать каких-либо забот, делается попытка получить максимально возможное значение).

За кулисами (проверьте [GitHub]: python / cpython - (master) cpython / Modules / _csv.c для деталей реализации), переменная, которая содержит это значение, имеет длину C ( [Википедия]: типы данных C ), размер которой варьируется в зависимости от архитектуры процессора и ОС ( I L P ). Классическое отличие: для 64-битной ОС ( сборка Python ) размер длинного шрифта ( в битах ):

• Nix : 64
• Победа : 32

При попытке установить его проверяется, чтобы новое значение находилось в длинных границах, поэтому в некоторых случаях появляется другое исключение (этот случай распространен в Win ):

>>> import sys
>>>
>>> sys.platform, sys.maxsize
('win32', 9223372036854775807)
>>>
>>> csv.field_size_limit(sys.maxsize)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
OverflowError: Python int too large to convert to C long

Чтобы избежать этой проблемы, установите (максимально возможный) предел ( LONG_MAX ) с помощью искусственного устройства (благодаря [Python 3.Docs]: ctypes - библиотека сторонних функций для Python ). Он должен работать на Python 3 и Python 2 , на любом процессоре / ОС .

>>> import ctypes as ct
>>>
>>> csv.field_size_limit(int(ct.c_ulong(-1).value // 2))
131072
>>> limit1 = csv.field_size_limit()
>>> limit1
2147483647
>>> "0x{0:016X}".format(limit1)
'0x000000007FFFFFFF'

64-битный Python на Nix- подобной ОС :

>>> import sys, csv, ctypes as ct
>>>
>>> sys.platform, sys.maxsize
('linux', 9223372036854775807)
>>>
>>> csv.field_size_limit()
131072
>>>
>>> csv.field_size_limit(int(ct.c_ulong(-1).value // 2))
131072
>>> limit1 = csv.field_size_limit()
>>> limit1
9223372036854775807
>>> "0x{0:016X}".format(limit1)
'0x7FFFFFFFFFFFFFFF'

Для 32-битного Python все одинаково: такое поведение встречается на Win .

Проверьте следующие ресурсы для более подробной информации о:

• Игра с границами типов C из Python : [SO]: максимальное и минимальное значение целых чисел типов C из Python (ответ @ CristiFati)
• Различия между 32-битным и 64- битным Python : [SO]: Как определить, работает ли моя оболочка python в 32-битном или 64-битном режиме на OS X? (Ответ @ CristiFati)

Я только что это случилось со мной в «простом» файле CSV. Некоторые люди могут назвать это неверным отформатированным файлом. Без escape-символов, без двойных кавычек и разделителей была точка с запятой.

Пример строки из этого файла будет выглядеть так:

Первая ячейка; Вторая "Ячейка с одной двойной кавычкой и пробелом; ячейка 'Частично цитируемая'; Последняя ячейка

одиночная кавычка во второй ячейке отбросит парсер с рельсов. Что сработало было:

csv.reader(inputfile, delimiter=';', doublequote='False', quotechar='', quoting=csv.QUOTE_NONE)

Иногда строка содержит столбец с двойными кавычками. Когда читатель csv попытается прочитать эту строку, не понял конец столбца и сработает это повышение. Решение ниже:

reader = csv.reader(cf, quoting=csv.QUOTE_MINIMAL)

Вы можете использовать read_csvот, pandasчтобы пропустить эти строки.

import pandas as pd

data_df = pd.read_csv('data.csv', error_bad_lines=False)

Найдите файл cqlshrc, который обычно находится в каталоге .cassandra.

В этом файле добавить,

[csv]
field_size_limit = 1000000000