Получить общее количество панд

112

Цель

У меня есть фрейм данных Pandas, как показано ниже, с несколькими столбцами, и я хотел бы получить общее количество столбцов MyColumn.


Фрейм данных -df:

print df

           X           MyColumn  Y              Z   
0          A           84        13.0           69.0   
1          B           76         77.0          127.0   
2          C           28         69.0           16.0   
3          D           28         28.0           31.0   
4          E           19         20.0           85.0   
5          F           84        193.0           70.0   

Моя попытка :

Я попытался получить сумму столбца, используя groupbyи .sum():

Total = df.groupby['MyColumn'].sum()

print Total

Это вызывает следующую ошибку:

TypeError: 'instancemethod' object has no attribute '__getitem__'

Ожидаемый результат

Я ожидал, что результат будет следующим:

319

Или, в качестве альтернативы, я хотел бы, dfчтобы меня отредактировали с новым rowзаголовком, TOTALсодержащим общую сумму:

           X           MyColumn  Y              Z   
0          A           84        13.0           69.0   
1          B           76         77.0          127.0   
2          C           28         69.0           16.0   
3          D           28         28.0           31.0   
4          E           19         20.0           85.0   
5          F           84        193.0           70.0   
TOTAL                  319
LearningToJava
источник
11
Чтобы проиллюстрировать, почему pandas не является питоническим, обратите внимание на путаницу, связанную с простым суммированием столбца.
user1416227

Ответы:

222

Вам следует использовать sum:

Total = df['MyColumn'].sum()
print (Total)
319

Затем вы используете locwith Series, в этом случае индекс должен быть таким же, как и конкретный столбец, который вам нужно суммировать:

df.loc['Total'] = pd.Series(df['MyColumn'].sum(), index = ['MyColumn'])
print (df)
         X  MyColumn      Y      Z
0        A      84.0   13.0   69.0
1        B      76.0   77.0  127.0
2        C      28.0   69.0   16.0
3        D      28.0   28.0   31.0
4        E      19.0   20.0   85.0
5        F      84.0  193.0   70.0
Total  NaN     319.0    NaN    NaN

потому что, если вы передадите скаляр, значения всех строк будут заполнены:

df.loc['Total'] = df['MyColumn'].sum()
print (df)
         X  MyColumn      Y      Z
0        A        84   13.0   69.0
1        B        76   77.0  127.0
2        C        28   69.0   16.0
3        D        28   28.0   31.0
4        E        19   20.0   85.0
5        F        84  193.0   70.0
Total  319       319  319.0  319.0

Два других решения есть at, и ixсмотрите приложения ниже:

df.at['Total', 'MyColumn'] = df['MyColumn'].sum()
print (df)
         X  MyColumn      Y      Z
0        A      84.0   13.0   69.0
1        B      76.0   77.0  127.0
2        C      28.0   69.0   16.0
3        D      28.0   28.0   31.0
4        E      19.0   20.0   85.0
5        F      84.0  193.0   70.0
Total  NaN     319.0    NaN    NaN

df.ix['Total', 'MyColumn'] = df['MyColumn'].sum()
print (df)
         X  MyColumn      Y      Z
0        A      84.0   13.0   69.0
1        B      76.0   77.0  127.0
2        C      28.0   69.0   16.0
3        D      28.0   28.0   31.0
4        E      19.0   20.0   85.0
5        F      84.0  193.0   70.0
Total  NaN     319.0    NaN    NaN

Примечание. Начиная с Pandas v0.20, ixне рекомендуется. Используйте locили ilocвместо.

Jezrael
источник
Это здорово :) Спасибо за объяснение, могу я спросить, что .locделает в приведенном выше примере?
LearningToJava
locпредназначен для настройки с увеличением .
jezrael
atработает и для настройки с увеличением, см. последнее изменение.
jezrael
Спасибо, есть ли какой-нибудь предпочтительный метод?
LearningToJava
1
Хммм, документация говорит The .loc/.ix/[] operations can perform enlargement when setting a non-existant key for that axis., так locили ixиначе []. в следующем разделе написано at may enlarge the object in-place as above if the indexer is missing.Итак, все методы хороши, но atя думаю, что они самые быстрые.
jezrael
22

Другой вариант, который вы можете использовать здесь:

df.loc["Total", "MyColumn"] = df.MyColumn.sum()

#         X  MyColumn      Y       Z
#0        A     84.0    13.0    69.0
#1        B     76.0    77.0   127.0
#2        C     28.0    69.0    16.0
#3        D     28.0    28.0    31.0
#4        E     19.0    20.0    85.0
#5        F     84.0   193.0    70.0
#Total  NaN    319.0     NaN     NaN

Вы также можете использовать append()метод:

df.append(pd.DataFrame(df.MyColumn.sum(), index = ["Total"], columns=["MyColumn"]))

введите описание изображения здесь


Обновить:

Если вам нужно добавить сумму для всех числовых столбцов, вы можете сделать одно из следующих действий:

Используйте, appendчтобы сделать это функционально (не меняет исходный фрейм данных):

# select numeric columns and calculate the sums
sums = df.select_dtypes(pd.np.number).sum().rename('total')

# append sums to the data frame
df.append(sums)
#         X  MyColumn      Y      Z
#0        A      84.0   13.0   69.0
#1        B      76.0   77.0  127.0
#2        C      28.0   69.0   16.0
#3        D      28.0   28.0   31.0
#4        E      19.0   20.0   85.0
#5        F      84.0  193.0   70.0
#total  NaN     319.0  400.0  398.0

Используйте locдля изменения фрейма данных на месте:

df.loc['total'] = df.select_dtypes(pd.np.number).sum()
df
#         X  MyColumn      Y      Z
#0        A      84.0   13.0   69.0
#1        B      76.0   77.0  127.0
#2        C      28.0   69.0   16.0
#3        D      28.0   28.0   31.0
#4        E      19.0   20.0   85.0
#5        F      84.0  193.0   70.0
#total  NaN     638.0  800.0  796.0
Псидом
источник
Как насчет суммы всех столбцов?
FaCoffee
9

Подобно получению длины фрейма данных, len(df)для pandas и blaze работало следующее:

Total = sum(df['MyColumn'])

или альтернативно

Total = sum(df.MyColumn)
print Total
Джефф Крайтс
источник
2

Есть два способа суммирования столбца

набор данных = pd.read_csv ("data.csv")

1: сумма (набор данных. Имя_столбца)

2: набор данных ['Column_Name']. Sum ()

Если в этом есть какая-то проблема, пожалуйста, поправьте меня.

Сурадж Верма
источник
1

В качестве другого варианта вы можете сделать что-то вроде ниже

Group   Valuation   amount
    0   BKB Tube    156
    1   BKB Tube    143
    2   BKB Tube    67
    3   BAC Tube    176
    4   BAC Tube    39
    5   JDK Tube    75
    6   JDK Tube    35
    7   JDK Tube    155
    8   ETH Tube    38
    9   ETH Tube    56

Ниже скрипт вы можете использовать для вышеуказанных данных

import pandas as pd    
data = pd.read_csv("daata1.csv")
bytreatment = data.groupby('Group')
bytreatment['amount'].sum()
Ганшьям Савалия
источник