Я использую python (Django Framework) для чтения файла CSV. Как видите, я вытащил из этого CSV всего 2 строки. Я пытался сохранить в переменной общее количество строк в CSV.

Как я могу получить общее количество строк?

file = object.myfilePath
fileObject = csv.reader(file)
for i in range(2):
    data.append(fileObject.next()) 

Я пытался:

len(fileObject)
fileObject.length

Вам нужно посчитать количество строк:

row_count = sum(1 for row in fileObject)  # fileObject is your csv.reader

Использование sum()выражения с генератором обеспечивает эффективный счетчик, избегая сохранения всего файла в памяти.

Если вы уже прочитали 2 строки для начала, вам нужно добавить эти 2 строки к общему количеству; строки, которые уже были прочитаны, не учитываются.

2018-10-29 РЕДАКТИРОВАТЬ

Спасибо за комментарии.

Я протестировал несколько типов кода, чтобы узнать количество строк в CSV-файле с точки зрения скорости. Лучший способ - ниже.

with open(filename) as f:
    sum(1 for line in f)

Вот протестированный код.

import timeit
import csv
import pandas as pd

filename = './sample_submission.csv'

def talktime(filename, funcname, func):
    print(f"# {funcname}")
    t = timeit.timeit(f'{funcname}("{filename}")', setup=f'from __main__ import {funcname}', number = 100) / 100
    print('Elapsed time : ', t)
    print('n = ', func(filename))
    print('\n')

def sum1forline(filename):
    with open(filename) as f:
        return sum(1 for line in f)
talktime(filename, 'sum1forline', sum1forline)

def lenopenreadlines(filename):
    with open(filename) as f:
        return len(f.readlines())
talktime(filename, 'lenopenreadlines', lenopenreadlines)

def lenpd(filename):
    return len(pd.read_csv(filename)) + 1
talktime(filename, 'lenpd', lenpd)

def csvreaderfor(filename):
    cnt = 0
    with open(filename) as f:
        cr = csv.reader(f)
        for row in cr:
            cnt += 1
    return cnt
talktime(filename, 'csvreaderfor', csvreaderfor)

def openenum(filename):
    cnt = 0
    with open(filename) as f:
        for i, line in enumerate(f,1):
            cnt += 1
    return cnt
talktime(filename, 'openenum', openenum)

Результат был ниже.

# sum1forline
Elapsed time :  0.6327946722068599
n =  2528244


# lenopenreadlines
Elapsed time :  0.655304473598555
n =  2528244


# lenpd
Elapsed time :  0.7561274056295324
n =  2528244


# csvreaderfor
Elapsed time :  1.5571560935772661
n =  2528244


# openenum
Elapsed time :  0.773000013928679
n =  2528244

В заключение, sum(1 for line in f)самый быстрый. Но может и не быть существенной разницы от len(f.readlines()).

sample_submission.csv занимает 30,2 МБ и содержит 31 миллион символов.

Для этого вам понадобится немного кода, как в моем примере:

file = open("Task1.csv")
numline = len(file.readlines())
print (numline)

Надеюсь, это всем поможет.

Некоторые из приведенных выше предложений подсчитывают количество ЛИНИЙ в файле csv. Но некоторые файлы CSV будут содержать строки в кавычках, которые сами содержат символы новой строки. Файлы MS CSV обычно разделяют записи символом \ r \ n, но используют только \ n внутри строк в кавычках.

Для такого файла подсчет строк текста (разделенных символом новой строки) в файле даст слишком большой результат. Поэтому для точного подсчета вам нужно использовать csv.reader для чтения записей.

Сначала вам нужно открыть файл с открытым

input_file = open("nameOfFile.csv","r+")

Затем используйте csv.reader для открытия csv

reader_file = csv.reader(input_file)

Наконец, вы можете взять номер строки с помощью инструкции len

value = len(list(reader_file))

Общий код такой:

input_file = open("nameOfFile.csv","r+")
reader_file = csv.reader(input_file)
value = len(list(reader_file))

Помните, что если вы хотите повторно использовать файл csv, вы должны создать input_file.fseek (0), потому что, когда вы используете список для reader_file, он читает весь файл, а указатель в файле меняет свою позицию

row_count = sum(1 for line in open(filename)) работал у меня.

Примечание: sum(1 for line in csv.reader(filename))похоже, рассчитывает длину первой строки

numline = len(file_read.readlines())

когда вы создаете экземпляр объекта csv.reader и просматриваете весь файл, вы можете получить доступ к переменной экземпляра с именем line_num, предоставляющей количество строк:

import csv
with open('csv_path_file') as f:
    csv_reader = csv.reader(f)
    for row in csv_reader:
        pass
    print(csv_reader.line_num)

import csv
count = 0
with open('filename.csv', 'rb') as count_file:
    csv_reader = csv.reader(count_file)
    for row in csv_reader:
        count += 1

print count

Используйте «список» для более удобного размещения объекта.

Затем вы можете считать, пропускать, видоизменять, пока душе угодно:

list(fileObject) #list values

len(list(fileObject)) # get length of file lines

list(fileObject)[10:] # skip first 10 lines

Это работает для csv и всех файлов, содержащих строки, в ОС на базе Unix:

import os

numOfLines = int(os.popen('wc -l < file.csv').read()[:-1])

Если файл csv содержит строку полей, вы можете вычесть ее numOfLinesсверху:

numOfLines = numOfLines - 1

Вы также можете использовать классический цикл for:

import pandas as pd
df = pd.read_csv('your_file.csv')

count = 0
for i in df['a_column']:
    count = count + 1

print(count)

возможно, вы захотите попробовать что-нибудь простое, как показано ниже, в командной строке:

sed -n '$=' filename или wc -l filename

Думаю, мы можем немного улучшить лучший ответ, я использую:

len = sum(1 for _ in reader)

Более того, не следует забывать, что питонический код не всегда имеет лучшую производительность в проекте. Например: если мы можем выполнять больше операций одновременно с одним и тем же набором данных, лучше делать все в одном и том же пакле, вместо того, чтобы создавать два или более питонических букла.

import pandas as pd
data = pd.read_csv('data.csv') 
totalInstances=len(data)

пытаться

data = pd.read_csv("data.csv")
data.shape

и на выходе вы можете увидеть что-то вроде (aa, bb), где aa - это количество строк