панды уникальные значения несколько столбцов

df = pd.DataFrame({'Col1': ['Bob', 'Joe', 'Bill', 'Mary', 'Joe'],
                   'Col2': ['Joe', 'Steve', 'Bob', 'Bob', 'Steve'],
                   'Col3': np.random.random(5)})

Как лучше всего вернуть уникальные значения Col1 и Col2?

Желаемый результат

'Bob', 'Joe', 'Bill', 'Mary', 'Steve'

pd.unique возвращает уникальные значения из входного массива, столбца или индекса DataFrame.

Входные данные для этой функции должны быть одномерными, поэтому необходимо объединить несколько столбцов. Самый простой способ - выбрать нужные столбцы, а затем просмотреть значения в упорядоченном массиве NumPy. Вся операция выглядит так:

>>> pd.unique(df[['Col1', 'Col2']].values.ravel('K'))
array(['Bob', 'Joe', 'Bill', 'Mary', 'Steve'], dtype=object)

Обратите внимание, что ravel()это метод массива, который возвращает представление (если возможно) многомерного массива. Аргумент 'K'указывает методу сглаживать массив в том порядке, в котором элементы хранятся в памяти (pandas обычно хранит базовые массивы в непрерывном порядке Fortran ; столбцы перед строками). Это может быть значительно быстрее, чем использование порядка «C» по умолчанию.

Альтернативный способ - выбрать столбцы и передать их np.unique:

>>> np.unique(df[['Col1', 'Col2']].values)
array(['Bill', 'Bob', 'Joe', 'Mary', 'Steve'], dtype=object)

В этом нет необходимости, ravel()поскольку метод обрабатывает многомерные массивы. Даже в этом случае это, вероятно, будет медленнее, чем pd.uniqueпри использовании алгоритма на основе сортировки, а не хеш-таблицы для определения уникальных значений.

Разница в скорости значительна для больших DataFrames (особенно, если есть только несколько уникальных значений):

>>> df1 = pd.concat([df]*100000, ignore_index=True) # DataFrame with 500000 rows
>>> %timeit np.unique(df1[['Col1', 'Col2']].values)
1 loop, best of 3: 1.12 s per loop

>>> %timeit pd.unique(df1[['Col1', 'Col2']].values.ravel('K'))
10 loops, best of 3: 38.9 ms per loop

>>> %timeit pd.unique(df1[['Col1', 'Col2']].values.ravel()) # ravel using C order
10 loops, best of 3: 49.9 ms per loop

Я установил DataFrameнесколько простых строк в столбцах:

>>> df
   a  b
0  a  g
1  b  h
2  d  a
3  e  e

Вы можете объединить интересующие вас столбцы и вызвать uniqueфункцию:

>>> pandas.concat([df['a'], df['b']]).unique()
array(['a', 'b', 'd', 'e', 'g', 'h'], dtype=object)

In [5]: set(df.Col1).union(set(df.Col2))
Out[5]: {'Bill', 'Bob', 'Joe', 'Mary', 'Steve'}

Или:

set(df.Col1) | set(df.Col2)

Обновленное решение с использованием numpy v1.13 + требует указания оси в np.unique при использовании нескольких столбцов, в противном случае массив неявно сглаживается.

import numpy as np

np.unique(df[['col1', 'col2']], axis=0)

Это изменение было внесено в ноябре 2016 г .: https://github.com/numpy/numpy/commit/1f764dbff7c496d6636dc0430f083ada9ff4e4be

Не pandasрешение: использование set ().

import pandas as pd
import numpy as np

df = pd.DataFrame({'Col1' : ['Bob', 'Joe', 'Bill', 'Mary', 'Joe'],
              'Col2' : ['Joe', 'Steve', 'Bob', 'Bob', 'Steve'],
               'Col3' : np.random.random(5)})

print df

print set(df.Col1.append(df.Col2).values)

Вывод:

   Col1   Col2      Col3
0   Bob    Joe  0.201079
1   Joe  Steve  0.703279
2  Bill    Bob  0.722724
3  Mary    Bob  0.093912
4   Joe  Steve  0.766027
set(['Steve', 'Bob', 'Bill', 'Joe', 'Mary'])

для тех из нас, кто любит все вещи pandas, apply и, конечно же, лямбда-функции:

df['Col3'] = df[['Col1', 'Col2']].apply(lambda x: ''.join(x), axis=1)

вот другой способ

import numpy as np
set(np.concatenate(df.values))

list(set(df[['Col1', 'Col2']].as_matrix().reshape((1,-1)).tolist()[0]))

Результатом будет ['Мэри', 'Джо', 'Стив', 'Боб', 'Билл'].