Переиндексация большого файла CSV

Я просмотрел ответы в этой полезной ветке , но моя проблема, похоже, иная, поэтому я не могу придумать хорошего ответа (по крайней мере, с sed).

У меня есть большой файл CSV (200+ ГБ) со строками, которые выглядят следующим образом:

<alphanumerical_identifier>,<number>

где <alphanumerical_identifier>уникально для всего файла. Я хотел бы создать отдельный файл, который заменяет первый столбец индексом , т.е.

<index>,<number>

так что мы получаем:

1, <number>
2, <number>
3, <number>

Может awkгенерировать увеличивающийся индекс без загрузки полного файла в память?

Поскольку индекс увеличивается монотонно, может быть, даже лучше просто удалить индекс. Будет ли решение для этого быть другим?

<number>
<number>
<number>

Не возле терминала для тестирования, а как насчет часто пропускаемой nlкоманды? Что-то вроде:

cut -f 2 -d , original.csv | nl -w 1 -p -s , > numbered.csv

Вот несколько подходов, но ни один из них не приблизится к скорости cutи nlрешению выше:

1. AWK

   awk -F, '{$1=NR;print $1","$2;}' file.csv > newfile.csv

2. Perl

   perl -pe 's/[^,]+/$./' file.csv > newfile.csv

   или

   perl -F, -ane '$F[0]=$.; print join ",", @F' file.csv

3. Shell (но я не рекомендую его для файла 200G, это займет много лет)

   i=1; while IFS=, read foo num; do 
           printf "%d,%s\n" $((i++)) $num; 
   done < file.csv > newfile.csv
   

Вышеуказанные решения отсортированы в порядке скорости. Я проверил на своем ноутбуке и файл 40M, и они взяли (в среднем 10 прогонов) 2.2282 (awk), 2.4555 (1-й perl), 3.1825s (2-й perl) и колоссальные 48.6035s для оболочки. Очень умный cutи nlрешение , которое вы уже было около 4 раза быстрее 0.6078s.