Как удалить строку по ссылке в data.table?

Мой вопрос связан с назначением по ссылке, а не копированием в data.table. Я хочу знать, если можно удалить строки по ссылке, аналогично

DT[ , someCol := NULL]

Я хочу знать о

DT[someRow := NULL, ]

Я думаю, есть веская причина, почему эта функция не существует, поэтому, возможно, вы могли бы просто указать на хорошую альтернативу обычному подходу к копированию, как показано ниже. В частности, перейдя с моей любимой из примера (data.table),

DT = data.table(x = rep(c("a", "b", "c"), each = 3), y = c(1, 3, 6), v = 1:9)
#      x y v
# [1,] a 1 1
# [2,] a 3 2
# [3,] a 6 3
# [4,] b 1 4
# [5,] b 3 5
# [6,] b 6 6
# [7,] c 1 7
# [8,] c 3 8
# [9,] c 6 9

Скажем, я хочу удалить первую строку из этого data.table. Я знаю, что могу это сделать:

DT <- DT[-1, ]

но часто мы можем захотеть избежать этого, потому что мы копируем объект (а это требует около 3 * N памяти, если N object.size(DT), как указано здесь . Теперь я обнаружил set(DT, i, j, value). Я знаю, как установить конкретные значения (как здесь: установить все значения в строках 1 и 2 и столбцах 2 и 3 равны нулю)

set(DT, 1:2, 2:3, 0) 
DT
#      x y v
# [1,] a 0 0
# [2,] a 0 0
# [3,] a 6 3
# [4,] b 1 4
# [5,] b 3 5
# [6,] b 6 6
# [7,] c 1 7
# [8,] c 3 8
# [9,] c 6 9

Но как я могу стереть первые два ряда, скажем? дела

set(DT, 1:2, 1:3, NULL)

устанавливает весь DT в NULL.

Мои знания SQL очень ограничены, так что вы, ребята, скажите мне: данный data.table использует технологию SQL, есть ли эквивалент команды SQL

DELETE FROM table_name
WHERE some_column=some_value

в data.table?

Хороший вопрос. data.tableне может удалить строки по ссылке.

data.tableМожно добавлять и удалять столбцы по ссылке, поскольку, как вы знаете, он перераспределяет вектор указателей столбцов. План состоит в том, чтобы сделать что-то подобное для рядов и позволить быстро insertи delete. Удаление строки будет использоваться memmoveв C для составления бюджета элементов (в каждом столбце) после удаленных строк. Удаление строки в середине таблицы будет по-прежнему весьма неэффективным по сравнению с базой данных хранилища строк, такой как SQL, которая больше подходит для быстрой вставки и удаления строк, где бы эти строки не находились в таблице. Но все же, это было бы намного быстрее, чем копировать новый большой объект без удаленных строк.

С другой стороны, поскольку векторы столбцов будут перераспределены, строки могут быть вставлены (и удалены) в конце , немедленно; например, растущий временной ряд.

Это подано как проблема: удалить строки по ссылке .

подход, который я использовал для того, чтобы использование памяти было похоже на удаление на месте, состоит в том, чтобы подбирать столбец за раз и удалять. не так быстро, как правильное решение C memmove, но использование памяти - это все, что меня волнует. что-то вроде этого:

DT = data.table(col1 = 1:1e6)
cols = paste0('col', 2:100)
for (col in cols){ DT[, (col) := 1:1e6] }
keep.idxs = sample(1e6, 9e5, FALSE) # keep 90% of entries
DT.subset = data.table(col1 = DT[['col1']][keep.idxs]) # this is the subsetted table
for (col in cols){
  DT.subset[, (col) := DT[[col]][keep.idxs]]
  DT[, (col) := NULL] #delete
}

Вот рабочая функция, основанная на ответе @ vc273 и отзывах @ Frank.

delete <- function(DT, del.idxs) {           # pls note 'del.idxs' vs. 'keep.idxs'
  keep.idxs <- setdiff(DT[, .I], del.idxs);  # select row indexes to keep
  cols = names(DT);
  DT.subset <- data.table(DT[[1]][keep.idxs]); # this is the subsetted table
  setnames(DT.subset, cols[1]);
  for (col in cols[2:length(cols)]) {
    DT.subset[, (col) := DT[[col]][keep.idxs]];
    DT[, (col) := NULL];  # delete
  }
   return(DT.subset);
}

И пример его использования:

dat <- delete(dat,del.idxs)   ## Pls note 'del.idxs' instead of 'keep.idxs'

Где «dat» - это таблица данных. На моем ноутбуке удаление 14 тысяч строк из 1,4 миллионов строк занимает 0,25 секунды.

> dim(dat)
[1] 1419393      25
> system.time(dat <- delete(dat,del.idxs))
   user  system elapsed 
   0.23    0.02    0.25 
> dim(dat)
[1] 1404715      25
> 

PS. Так как я новичок в SO, я не могу добавить комментарий в ветку @ vc273 :-(

Вместо этого или пытаясь установить значение NULL, попробуйте установить значение NA (соответствует типу NA для первого столбца).

set(DT,1:2, 1:3 ,NA_character_)

Тема по-прежнему интересна многим людям (включая меня).

Что об этом? Я использовал assignдля замены glovalenvи код, описанный ранее. Было бы лучше захватить исходную среду, но, по крайней мере, globalenvона эффективна для памяти и действует как изменение по ссылке.

delete <- function(DT, del.idxs) 
{ 
  varname = deparse(substitute(DT))

  keep.idxs <- setdiff(DT[, .I], del.idxs)
  cols = names(DT);
  DT.subset <- data.table(DT[[1]][keep.idxs])
  setnames(DT.subset, cols[1])

  for (col in cols[2:length(cols)]) 
  {
    DT.subset[, (col) := DT[[col]][keep.idxs]]
    DT[, (col) := NULL];  # delete
  }

  assign(varname, DT.subset, envir = globalenv())
  return(invisible())
}

DT = data.table(x = rep(c("a", "b", "c"), each = 3), y = c(1, 3, 6), v = 1:9)
delete(DT, 3)

Вот несколько стратегий, которые я использовал. Я считаю, что функция .ROW может появиться. Ни один из этих подходов ниже не является быстрым. Это некоторые стратегии, которые выходят за рамки подмножеств или фильтрации. Я пытался думать как dba, просто пытаясь очистить данные. Как отмечено выше, вы можете выбрать или удалить строки в data.table:

data(iris)
iris <- data.table(iris)

iris[3] # Select row three

iris[-3] # Remove row three

You can also use .SD to select or remove rows:

iris[,.SD[3]] # Select row three

iris[,.SD[3:6],by=,.(Species)] # Select row 3 - 6 for each Species

iris[,.SD[-3]] # Remove row three

iris[,.SD[-3:-6],by=,.(Species)] # Remove row 3 - 6 for each Species

Примечание: .SD создает подмножество исходных данных и позволяет вам проделать немалую работу в j или последующих data.table. См. Https://stackoverflow.com/a/47406952/305675 . Здесь я упорядочил свои ирисы по длине Sepal, взял как минимум заданную длину Sepal.Length, выбрал три первых (по длине Sepal) всех видов и вернул все сопутствующие данные:

iris[order(-Sepal.Length)][Sepal.Length > 3,.SD[1:3],by=,.(Species)]

Подходы прежде всего переупорядочивают таблицу данных последовательно при удалении строк. Вы можете транспонировать таблицу data.table и удалять или заменять старые строки, которые теперь являются транспонированными столбцами. При использовании ': = NULL' для удаления транспонированной строки также удаляется имя следующего столбца:

m_iris <- data.table(t(iris))[,V3:=NULL] # V3 column removed

d_iris <- data.table(t(iris))[,V3:=V2] # V3 column replaced with V2

Когда вы перемещаете data.frame обратно в data.table, вы можете захотеть переименовать исходный data.table и восстановить атрибуты класса в случае удаления. Применение ": = NULL" к теперь транспонированному data.table создает все классы символов.

m_iris <- data.table(t(d_iris));
setnames(d_iris,names(iris))

d_iris <- data.table(t(m_iris));
setnames(m_iris,names(iris))

Вы можете просто удалить дубликаты строк, которые вы можете сделать с ключом или без него:

d_iris[,Key:=paste0(Sepal.Length,Sepal.Width,Petal.Length,Petal.Width,Species)]     

d_iris[!duplicated(Key),]

d_iris[!duplicated(paste0(Sepal.Length,Sepal.Width,Petal.Length,Petal.Width,Species)),]  

Также можно добавить инкрементный счетчик с помощью «.I». Затем вы можете найти дублированные ключи или поля и удалить их, удалив запись со счетчиком. Это вычислительно дорого, но имеет некоторые преимущества, так как вы можете напечатать строки, которые нужно удалить.

d_iris[,I:=.I,] # add a counter field

d_iris[,Key:=paste0(Sepal.Length,Sepal.Width,Petal.Length,Petal.Width,Species)]

for(i in d_iris[duplicated(Key),I]) {print(i)} # See lines with duplicated Key or Field

for(i in d_iris[duplicated(Key),I]) {d_iris <- d_iris[!I == i,]} # Remove lines with duplicated Key or any particular field.

Вы также можете просто заполнить строку 0 или NA, а затем использовать запрос i, чтобы удалить их:

 X 
   x v foo
1: c 8   4
2: b 7   2

X[1] <- c(0)

X
   x v foo
1: 0 0   0
2: b 7   2

X[2] <- c(NA)
X
    x  v foo
1:  0  0   0
2: NA NA  NA

X <- X[x != 0,]
X <- X[!is.na(x),]