Я не совсем уверен, что именно VectorSource и VCorpus находятся в пакете 'tm'.
Документация по ним неясна, кто-нибудь может заставить меня понять в простых терминах?
источник
Я не совсем уверен, что именно VectorSource и VCorpus находятся в пакете 'tm'.
Документация по ним неясна, кто-нибудь может заставить меня понять в простых терминах?
«Корпус» представляет собой сборник текстовых документов.
VCorpus в tm относится к «изменчивому» корпусу, что означает, что корпус хранится в памяти и будет уничтожен, если уничтожен объект R, содержащий его.
Сравните это с PCorpus или Permanent Corpus, которые хранятся вне памяти, скажем, в БД.
Чтобы создать VCorpus с помощью tm, нам нужно передать объект «Source» в качестве параметра в метод VCorpus. Вы можете найти источники, доступные с помощью этого метода -
getSources ()
[1] «DataframeSource» «DirSource» «URISource» «VectorSource»
[5] «XMLSource» «ZipSource»
Источник абстрагирует входные местоположения, такие как каталог, URI и т. Д. VectorSource предназначен только для символьных векторов
Простой пример:
Скажем, у вас есть вектор символов -
input <- c («Это первая строка», «И вторая»)
Создать источник - vecSource <- VectorSource (вход)
Затем создайте корпус - VCorpus (vecSource)
Надеюсь это поможет. Вы можете прочитать больше здесь - https://cran.r-project.org/web/packages/tm/vignettes/tm.pdf
В практическом плане существует большая разница между Corpus
и VCorpus
.
Corpus
используется SimpleCorpus
по умолчанию, что означает, что некоторые функции VCorpus
не будут доступны. То, что сразу бросается в глаза, это то, что SimpleCorpus
вы не сможете сохранить тире, подчеркивание или другие знаки пунктуации; SimpleCorpus
или Corpus
автоматически удаляет их, VCorpus
не делает. Существуют и другие ограничения, Corpus
которые вы найдете в справке ?SimpleCorpus
.
Вот пример:
# Read a text file from internet
filePath <- "http://www.sthda.com/sthda/RDoc/example-files/martin-luther-king-i-have-a-dream-speech.txt"
text <- readLines(filePath)
# load the data as a corpus
C.mlk <- Corpus(VectorSource(text))
C.mlk
V.mlk <- VCorpus(VectorSource(text))
V.mlk
Выход будет:
<<SimpleCorpus>>
Metadata: corpus specific: 1, document level (indexed): 0
Content: documents: 46
<<VCorpus>>
Metadata: corpus specific: 0, document level (indexed): 0
Content: documents: 46
Если вы делаете осмотр объектов:
# inspect the content of the document
inspect(C.mlk[1:2])
inspect(V.mlk[1:2])
Вы заметите, что Corpus
распаковывает текст:
<<SimpleCorpus>>
Metadata: corpus specific: 1, document level (indexed): 0
Content: documents: 2
[1]
[2] And so even though we face the difficulties of today and tomorrow, I still have a dream. It is a dream deeply rooted in the American dream.
<<VCorpus>>
Metadata: corpus specific: 0, document level (indexed): 0
Content: documents: 2
[[1]]
<<PlainTextDocument>>
Metadata: 7
Content: chars: 0
[[2]]
<<PlainTextDocument>>
Metadata: 7
Content: chars: 139
Пока VCorpus
держит это вместе внутри объекта.
Допустим, теперь вы делаете преобразование матрицы для обоих:
dtm.C.mlk <- DocumentTermMatrix(C.mlk)
length(dtm.C.mlk$dimnames$Terms)
# 168
dtm.V.mlk <- DocumentTermMatrix(V.mlk)
length(dtm.V.mlk$dimnames$Terms)
# 187
Наконец, давайте посмотрим на содержание. Это из Corpus
:
grep("[[:punct:]]", dtm.C.mlk$dimnames$Terms, value = TRUE)
# character(0)
И из VCorpus
:
grep("[[:punct:]]", dtm.V.mlk$dimnames$Terms, value = TRUE)
[1] "alabama," "almighty," "brotherhood." "brothers."
[5] "california." "catholics," "character." "children,"
[9] "city," "colorado." "creed:" "day,"
[13] "day." "died," "dream." "equal."
[17] "exalted," "faith," "gentiles," "georgia,"
[21] "georgia." "hamlet," "hampshire." "happens,"
[25] "hope," "hope." "injustice," "justice."
[29] "last!" "liberty," "low," "meaning:"
[33] "men," "mississippi," "mississippi." "mountainside,"
[37] "nation," "nullification," "oppression," "pennsylvania."
[41] "plain," "pride," "racists," "ring!"
[45] "ring," "ring." "self-evident," "sing."
[49] "snow-capped" "spiritual:" "straight;" "tennessee."
[53] "thee," "today!" "together," "together."
[57] "tomorrow," "true." "york."
Посмотрите на слова с пунктуацией. Это огромная разница. Не так ли?