Случайный выбор строки в кадре данных Pandas

159

Есть ли способ выбрать случайные строки из DataFrame в Pandas.

В R, используя пакет car, есть полезная функция, some(x, n)которая похожа на head, но выбирает, в этом примере, 10 строк случайным образом из x.

Я также посмотрел документацию по нарезке, и, похоже, нет ничего эквивалентного.

Обновить

Сейчас используется версия 20. Есть пример метода.

df.sample(n)

Джон
источник
1
Если вы ищете образец, размер которого больше исходного, используйте df.sample(N, replace=True). Подробнее здесь .
cs95

Ответы:

57

Что-то вроде этого?

import random

def some(x, n):
    return x.ix[random.sample(x.index, n)]

Примечание: На панде v0.20.0, ix устарели в пользу locиндексации на основе меток.

eumiro
источник
8
Спасибо @eumiro. Я также решил, что df.ix[np.random.random_integers(0, len(df), 10)]будет работать.
Джон
7
Если вы хотите использовать NumPy, то вы также можете сделать df.ix[np.random.choice(df.index, 10)].
naught101
7
Кто-то в другом посте упомянул, что np.random.choiceэто в два раза быстрее, чемrandom.sample
Phani
5
Если вы используете np.random.choice, вы должны указать replace = False, иначе вы получите дублирующиеся строки!
stmax
2
Я думаю, что ".ix" устарела, и вы должны использовать .loc для индексации на основе меток
compguy24
266

С версией панд 0.16.1и выше, теперь есть DataFrame.sample встроенный метод :

import pandas

df = pandas.DataFrame(pandas.np.random.random(100))

# Randomly sample 70% of your dataframe
df_percent = df.sample(frac=0.7)

# Randomly sample 7 elements from your dataframe
df_elements = df.sample(n=7)

Для любого из указанных выше подходов вы можете получить остальные строки, выполнив:

df_rest = df.loc[~df.index.isin(df_percent.index)]
ryanjdillon
источник
df_0.7не является действительным именем Более того, я предлагаю заменить df_rest = df.loc[~df.index.isin(df_0_7.index)]на df_rest = df.loc[df.index.difference(df_0_7.index)].
Пьетро Баттистон
@PietroBattiston Спасибо. Я пытался прояснить ответ, но согласен, что нерабочий пример неясен. Приятно с подсказкой о разнице. Тем не менее, я все же предпочитаю писать срезы, чтобы читать их как индексы «не в индексе моей выборки». Есть ли увеличение производительности с difference()?
ryanjdillon
1
@ryanjdillon осталась опечатка, я исправил ее. Что касается метода, я на самом деле забираю свое предложение, так как оно немного менее эффективно. df_percent.index.get_indexer(df.index) == -1вместо этого намного более эффективный (но также и более уродливый) ...
Пьетро Баттистон
18

sample

Начиная с v0.20.0, вы можете использовать pd.DataFrame.sample, который может использоваться для возврата случайной выборки строк с фиксированным числом или процентного содержания строк:

df = df.sample(n=k)     # k rows
df = df.sample(frac=k)  # int(len(df.index) * k) rows

Для воспроизводимости вы можете указать целое число random_state, эквивалентное использованию np.ramdom.seed. Таким образом, вместо установки, например np.random.seed = 0, вы можете:

df = df.sample(n=k, random_state=0)
JPP
источник
7

Лучший способ сделать это с помощью функции выборки из случайного модуля,

import numpy as np
import pandas as pd
from random import sample

# given data frame df

# create random index
rindex =  np.array(sample(xrange(len(df)), 10))

# get 10 random rows from df
dfr = df.ix[rindex]
rlmlr
источник
4

На самом деле это даст вам повторные индексы, np.random.random_integers(0, len(df), N)где Nбольшое количество.

rlmlr
источник
3

Внизу строки случайным образом будет выбрано n чисел из всех существующих номеров строк из кадра данных df без замены.

df=df.take(np.random.permutation(len(df))[:n])

Мойган Мазучи
источник