Есть ли встроенный в pandas способ применения двух разных агрегатных функций f1, f2к одному и тому же столбцу df["returns"]без необходимости вызывать agg()несколько раз?

Пример фрейма данных:

import pandas as pd
import datetime as dt

pd.np.random.seed(0)
df = pd.DataFrame({
         "date"    :  [dt.date(2012, x, 1) for x in range(1, 11)], 
         "returns" :  0.05 * np.random.randn(10), 
         "dummy"   :  np.repeat(1, 10)
}) 

Синтаксически неправильный, но интуитивно правильный способ сделать это:

# Assume `f1` and `f2` are defined for aggregating.
df.groupby("dummy").agg({"returns": f1, "returns": f2})

Очевидно, Python не допускает дублирования ключей. Есть ли другой способ выразить свой вклад agg()? Может быть, [(column, function)]лучше подойдет список кортежей , позволяющий применять несколько функций к одному столбцу? Но agg()похоже, что он принимает только словарь.

Есть ли обходной путь для этого, кроме определения вспомогательной функции, которая просто применяет обе функции внутри нее? (Как это вообще будет работать с агрегацией?)

Вы можете просто передать функции в виде списка:

In [20]: df.groupby("dummy").agg({"returns": [np.mean, np.sum]})
Out[20]:         
           mean       sum
dummy                    
1      0.036901  0.369012

или как словарь:

In [21]: df.groupby('dummy').agg({'returns':
                                  {'Mean': np.mean, 'Sum': np.sum}})
Out[21]: 
        returns          
           Mean       Sum
dummy                    
1      0.036901  0.369012

TLDR; Pandas groupby.aggимеет новый, более простой синтаксис для указания (1) агрегатов для нескольких столбцов и (2) множественных агрегатов для столбца. Итак, чтобы сделать это для панд> = 0,25 , используйте

df.groupby('dummy').agg(Mean=('returns', 'mean'), Sum=('returns', 'sum'))

           Mean       Sum
dummy                    
1      0.036901  0.369012

ИЛИ

df.groupby('dummy')['returns'].agg(Mean='mean', Sum='sum')

           Mean       Sum
dummy                    
1      0.036901  0.369012

Pandas> = 0.25: именованная агрегация

Pandas изменил поведение GroupBy.aggв пользу более интуитивного синтаксиса для указания именованных агрегатов. См. Раздел документации 0.25 по улучшениям, а также соответствующие проблемы GitHub GH18366 и GH26512 .

Из документации,

Для поддержки агрегации по столбцу с контролем над именами выходных столбцов pandas принимает специальный синтаксис GroupBy.agg(), известный как «именованная агрегация», где

• Ключевые слова - это имена выходных столбцов.
• Значения представляют собой кортежи, первый элемент которых является столбцом для выбора, а второй элемент - агрегированием, применяемым к этому столбцу. Pandas предоставляет именованный кортеж pandas.NamedAgg с полями ['column', 'aggfunc'], чтобы было понятнее, каковы аргументы. Как обычно, агрегирование может быть вызываемым или строковым псевдонимом.

Теперь вы можете передать кортеж через аргументы ключевого слова. Кортежи соответствуют формату (<colName>, <aggFunc>).

import pandas as pd

pd.__version__                                                                                                                            
# '0.25.0.dev0+840.g989f912ee'

# Setup
df = pd.DataFrame({'kind': ['cat', 'dog', 'cat', 'dog'],
                   'height': [9.1, 6.0, 9.5, 34.0],
                   'weight': [7.9, 7.5, 9.9, 198.0]
})

df.groupby('kind').agg(
    max_height=('height', 'max'), min_weight=('weight', 'min'),)

      max_height  min_weight
kind                        
cat          9.5         7.9
dog         34.0         7.5

В качестве альтернативы вы можете использовать pd.NamedAgg(по сути именованный кортеж), который делает вещи более явными.

df.groupby('kind').agg(
    max_height=pd.NamedAgg(column='height', aggfunc='max'), 
    min_weight=pd.NamedAgg(column='weight', aggfunc='min')
)

      max_height  min_weight
kind                        
cat          9.5         7.9
dog         34.0         7.5

Для Series это еще проще, просто передайте aggfunc аргументу ключевого слова.

df.groupby('kind')['height'].agg(max_height='max', min_height='min')    

      max_height  min_height
kind                        
cat          9.5         9.1
dog         34.0         6.0       

Наконец, если имена ваших столбцов не являются действительными идентификаторами Python, используйте словарь с распаковкой:

df.groupby('kind')['height'].agg(**{'max height': 'max', ...})

Панды <0,25

В более поздних версиях pandas, предшествующих 0.24, при использовании словаря для указания имен столбцов для вывода агрегации вы получите FutureWarning:

df.groupby('dummy').agg({'returns': {'Mean': 'mean', 'Sum': 'sum'}})
# FutureWarning: using a dict with renaming is deprecated and will be removed 
# in a future version

Использование словаря для переименования столбцов не рекомендуется в версии 0.20. В более поздних версиях pandas это можно указать проще, передав список кортежей. При указании функций таким образом, все функции для этого столбца должны быть указаны как кортежи пар (имя, функция).

df.groupby("dummy").agg({'returns': [('op1', 'sum'), ('op2', 'mean')]})

        returns          
            op1       op2
dummy                    
1      0.328953  0.032895

Или,

df.groupby("dummy")['returns'].agg([('op1', 'sum'), ('op2', 'mean')])

            op1       op2
dummy                    
1      0.328953  0.032895

Было бы что-то вроде этой работы:

In [7]: df.groupby('dummy').returns.agg({'func1' : lambda x: x.sum(), 'func2' : lambda x: x.prod()})
Out[7]: 
              func2     func1
dummy                        
1     -4.263768e-16 -0.188565