Поиск ВСЕХ повторяющихся строк, включая «элементы с меньшими индексами»

R duplicatedвозвращает вектор, показывающий, является ли каждый элемент вектора или кадра данных дубликатом элемента с меньшим нижним индексом. Поэтому, если строки 3, 4 и 5 5-строчного фрейма данных совпадают, duplicatedя получу вектор

FALSE, FALSE, FALSE, TRUE, TRUE

Но в этом случае я действительно хочу получить

FALSE, FALSE, TRUE, TRUE, TRUE

то есть я хочу знать, дублируется ли строка строкой с большим нижним индексом.

duplicatedесть fromLastаргумент. В разделе «Пример» ?duplicatedпоказано, как его использовать. Просто позвоните duplicatedдважды, один раз с fromLast=FALSEи один раз с fromLast=TRUEи возьмите строки, где они есть TRUE.

Некоторое позднее редактирование: вы не предоставили воспроизводимый пример, поэтому вот иллюстрация, любезно предоставленная @jbaums

vec <- c("a", "b", "c","c","c") 
vec[duplicated(vec) | duplicated(vec, fromLast=TRUE)]
## [1] "c" "c" "c"

Изменить: И пример для случая фрейма данных:

df <- data.frame(rbind(c("a","a"),c("b","b"),c("c","c"),c("c","c")))
df[duplicated(df) | duplicated(df, fromLast=TRUE), ]
##   X1 X2
## 3  c  c
## 4  c  c

Вам нужно собрать набор duplicatedзначений, применить unique, а затем протестировать с помощью %in%. Как всегда, пример задачи оживит этот процесс.

> vec <- c("a", "b", "c","c","c")
> vec[ duplicated(vec)]
[1] "c" "c"
> unique(vec[ duplicated(vec)])
[1] "c"
>  vec %in% unique(vec[ duplicated(vec)]) 
[1] FALSE FALSE  TRUE  TRUE  TRUE

У меня был такой же вопрос , и если не ошибаюсь, это тоже ответ.

vec[col %in% vec[duplicated(vec$col),]$col]

Не знаю, какой из них быстрее, набор данных, который я сейчас использую, недостаточно велик, чтобы проводить тесты, дающие значительные временные промежутки.

Дублированные строки в кадре данных можно получить dplyr, выполнив

df = bind_rows(iris, head(iris, 20)) # build some test data
df %>% group_by_all() %>% filter(n()>1) %>% ungroup()

Чтобы исключить определенные столбцы group_by_at(vars(-var1, -var2)), вместо этого можно использовать группировку данных.

Если действительно нужны индексы строк, а не только данные, вы можете сначала добавить их, как показано ниже:

df %>% add_rownames %>% group_by_at(vars(-rowname)) %>% filter(n()>1) %>% pull(rowname)

Вот решение @Joshua Ulrich как функция. Этот формат позволяет вам использовать этот код так же, как вы использовали бы duplicated ():

allDuplicated <- function(vec){
  front <- duplicated(vec)
  back <- duplicated(vec, fromLast = TRUE)
  all_dup <- front + back > 0
  return(all_dup)
}

На том же примере:

vec <- c("a", "b", "c","c","c") 
allDuplicated(vec) 
[1] FALSE FALSE  TRUE  TRUE  TRUE

Если вас интересует, какие строки дублируются для определенных столбцов, вы можете использовать подход plyr :

ddply(df, .(col1, col2), function(df) if(nrow(df) > 1) df else c())

Добавление счетной переменной с помощью dplyr :

df %>% add_count(col1, col2) %>% filter(n > 1)  # data frame
df %>% add_count(col1, col2) %>% select(n) > 1  # logical vector

Для повторяющихся строк (учитывая все столбцы):

df %>% group_by_all %>% add_tally %>% ungroup %>% filter(n > 1)
df %>% group_by_all %>% add_tally %>% ungroup %>% select(n) > 1

Преимущество этих подходов в том, что вы можете указать количество дубликатов в качестве отсечения.

У меня была аналогичная проблема, но мне нужно было идентифицировать повторяющиеся строки по значениям в определенных столбцах. Я придумал следующее решение dplyr :

df <- df %>% 
  group_by(Column1, Column2, Column3) %>% 
  mutate(Duplicated = case_when(length(Column1)>1 ~ "Yes",
                            TRUE ~ "No")) %>%
  ungroup()

Код группирует строки по определенным столбцам. Если длина группы больше 1, код помечает все строки в группе как дублированные. Как только это будет сделано, вы можете использовать Duplicatedстолбец для фильтрации и т. Д.