идентифицировать и пометить повторяющиеся строки в r

11

Я хотел бы идентифицировать и отметить повторяющиеся строки на основе 2 столбцов. Я хотел бы сделать уникальный идентификатор для каждого дубликата, чтобы я знал не только, что строка является дубликатом, но и с какой строкой он является дубликатом. У меня есть датафрейм, который выглядит как показано ниже, с некоторыми дублирующимися парами элементов (при посадке и посадке) и другими парами, которые не дублируются. В то время как пары элементов дублируются, информация, которую они содержат, является уникальной (например, одна строка будет иметь значение в Value1 для 1 строки, но не для Value2 и Value 3, вторая или «дублирующая» строка будет иметь номера для Value2 и Value3 просто не Value1)

текущий фрейм данных

     value1 value2 value3 fit   sit  
[1,] "1"    NA     NA     "it1" "it2"
[2,] NA     "3"    "2"    "it2" "it1"
[3,] "2"    "3"    "4"    "it3" "it4"
[4,] NA     NA     NA     "it4" "it3"
[5,] "5"    NA     NA     "it5" "it6"
[6,] NA     NA     "2"    "it6" "it5"
[7,] NA     "4"    NA     "it7" "it9"

код для генерации примера

value1<-c(1,NA,2,NA,5,NA,NA)
value2<-c(NA,3,3,NA,NA,NA, 4)
value3<-c(NA,2,4,NA,NA,2, NA)
fit<-c("it1","it2","it3","it4", "it5", "it6","it7")
sit<-c("it2","it1","it4","it3", "it6", "it5", "it9")
df.now<-cbind(value1,value2,value3, fit, sit)

что я хочу, чтобы преобразовать его в кадр данных, который выглядит следующим образом:

желаемый кадр данных

     val1 val2 val3 it1   it2  
[1,] "1"  "3"  "2"  "it1" "it2"
[2,] "2"  "3"  "4"  "it3" "it4"
[3,] "5"  NA   "2"  "it5" "it6"
[4,] NA   "4"  NA   "it7" "it9"

Я думал о том, чтобы сделать следующие шаги: 1. создать новые переменные, используя подгонку и сидеть с самым низким и самым высоким предметами, чтобы идентифицировать дублирующиеся пары 2. идентифицировать дублированные пары предметов 3. использовать ifelse, чтобы выбрать и заполнить уникальную информацию.

Я знаю, как выполнять шаги 1 и 3, но застрял на шаге 2. Я думаю, что мне нужно не просто идентифицировать ИСТИННЫЙ / ЛОЖНЫЙ дубликат, но, возможно, иметь столбец с уникальным идентификатором для каждой пары элементов, такой как эта (там 2 дополнительных строки из-за моего шага 1): 

     value1 value2 value3 fit   sit   lit   hit    dup
[1,] "1"    NA     NA     "it1" "it2" "it1" "it2"   1
[2,] NA     "3"    "2"    "it2" "it1" "it1" "it2"   1
[3,] "2"    "3"    "4"    "it3" "it4" "it3" "it4"   2
[4,] NA     NA     NA     "it4" "it3" "it3" "it4"   2
[5,] "5"    NA     NA     "it5" "it6" "it5" "it6"   3
[6,] NA     NA     "2"    "it6" "it5" "it5" "it6"   3
[7,] NA     "4"    NA     "it7" "it9" "it7" "it9"   NA

Я не уверен, как это сделать.

То, что я прошу, это либо помощь с шагом 2, либо, возможно, есть лучший способ решить ее, чем шаги, которые я описал.

r dataframe Хизер Кларк
источник

Ответы:

6

Один dplyr вариантов может быть:

df.now %>%
 group_by(pair = paste(pmax(fit, sit), pmin(fit, sit), sep = "_")) %>%
 summarise_at(vars(starts_with("value")), ~ ifelse(all(is.na(.)), 
                                                   NA,
                                                   first(na.omit(.))))

  pair    value1 value2 value3
  <chr>    <dbl>  <dbl>  <dbl>
1 it2_it1      1      3      2
2 it4_it3      2      3      4
3 it6_it5      5     NA      2
4 it9_it7     NA      4     NA

И если вам также нужны пары в отдельных столбцах, то с добавлением tidyrвы можете сделать:

df.now %>%
 group_by(pair = paste(pmax(fit, sit), pmin(fit, sit), sep = "_")) %>%
 summarise_at(vars(starts_with("value")), ~ ifelse(all(is.na(.)), 
                                                   NA,
                                                   first(na.omit(.)))) %>%
 separate(pair, into = c("fit", "hit"), sep = "_", remove = FALSE)

  pair    fit   hit   value1 value2 value3
  <chr>   <chr> <chr>  <dbl>  <dbl>  <dbl>
1 it2_it1 it2   it1        1      3      2
2 it4_it3 it4   it3        2      3      4
3 it6_it5 it6   it5        5     NA      2
4 it9_it7 it9   it7       NA      4     NA
tmfmnk
источник
Спасибо! Это хорошо работает. Я ценю добавление в опции для разделения предметов.
Хизер Кларк
3

Используйте !duplicated()после sorting.

df.now[!duplicated(t(apply(df.now[, c("fit", "sit")], 1, sort))), ]
#       value1 value2 value3 fit   sit  
# [1,] "1"    NA     NA     "it1" "it2"
# [2,] "2"    "3"    "4"    "it3" "it4"
# [3,] "5"    NA     NA     "it5" "it6"
# [4,] NA     "4"    NA     "it7" "it9"
jay.sf
источник
Спасибо вам за быстрый ответ. Однако это решение удаляет информацию, которую мне нужно сохранить. Я хочу объединить информацию из трех столбцов значений, которые находятся в двух строках одинаковых пар элементов. Дайте мне знать, если это не ясно
Хизер Кларк
2

Используя melt/dcastизdata.table

library(data.table)
dcast(melt(setDT(df.now)[, c('fit1', 'sit1') := .(pmin(fit, sit), 
    pmax(fit, sit))], measure = patterns("^value"), na.rm = TRUE),
     fit1 + sit1 ~ variable, value.var = 'value')
#   fit1 sit1 value1 value2 value3
#1:  it1  it2      1      3      2
#2:  it3  it4      2      3      4
#3:  it5  it6      5     NA      2
#4:  it7  it9     NA      4     NA

данные

df.now <- data.frame(value1,value2,value3, fit, sit, stringsAsFactors = FALSE)
akrun
источник
2

Другой data.tableвариант:

library(data.table)
as.data.table(df.now)[, lapply(.SD, function(x) first(x[!is.na(x)])), 
    .(it1=pmin(fit, sit), it2=pmax(fit, sit)), 
    .SDcols=value1:value3]

вывод:

   it1 it2 value1 value2 value3
1: it1 it2      1      3      2
2: it3 it4      2      3      4
3: it5 it6      5   <NA>      2
4: it7 it9   <NA>      4   <NA>
chinsoon12
источник
1

Вот моя попытка использования data.table. Ваши данные называются mydf. Сначала я отсортировал fitи sitдля каждой строки и создал новую переменную group. Затем для каждой группы я отсортировал значения в трех столбцах значений (т. Е. Value1, value2 и value3). Наконец, я извлек первую строку для каждой группы.

library(data.table)

mydt <- setDT(mydf)[, group := paste(sort(.SD), collapse = "_"),
                    .SD = c("fit", "sit"), by = 1:nrow(mydf)][,
                        c("value1", "value2", "value3") := lapply(.SD, sort),
                        .SDcols = value1:value3, by = group][, .SD[1], by = group]

mydt[]

#     group value1 value2 value3 fit sit
#1: it1_it2      1      3      2 it1 it2
#2: it3_it4      2      3      4 it3 it4
#3: it5_it6      5     NA      2 it5 it6
#4: it7_it9     NA      4     NA it7 it9

ДАННЫЕ

mydf <- structure(list(value1 = c(1L, NA, 2L, NA, 5L, NA, NA), value2 = c(NA, 
3L, 3L, NA, NA, NA, 4L), value3 = c(NA, 2L, 4L, NA, NA, 2L, NA
), fit = c("it1", "it2", "it3", "it4", "it5", "it6", "it7"), 
sit = c("it2", "it1", "it4", "it3", "it6", "it5", "it9")), class = "data.frame", row.names = c(NA, 
-7L))
jazzurro
источник
1

Это также может быть сделано tidyrс pivot_longerпомощью в values_drop_na = TRUEсочетании с pivot_wider:

library(tidyverse)

mydf %>%
   mutate(it1 = pmin(fit, sit), it2 = pmax(fit, sit)) %>%
   pivot_longer(cols = starts_with("value"), values_drop_na = TRUE) %>%
   pivot_wider(id_cols = c("it1", "it2"))

#> # A tibble: 4 x 5
#>   it1   it2   value1 value2 value3
#>   <chr> <chr>  <int>  <int>  <int>
#> 1 it1   it2        1      3      2
#> 2 it3   it4        2      3      4
#> 3 it5   it6        5     NA      2
#> 4 it7   it9       NA      4     NA

Данные

mydf <- structure(list(value1 = c(1L, NA, 2L, NA, 5L, NA, NA), value2 = c(NA, 
3L, 3L, NA, NA, NA, 4L), value3 = c(NA, 2L, 4L, NA, NA, 2L, NA
), fit = c("it1", "it2", "it3", "it4", "it5", "it6", "it7"), 
sit = c("it2", "it1", "it4", "it3", "it6", "it5", "it9")), class = "data.frame", row.names = c(NA, 
-7L))
Йорис Чау
источник