Теперь мне любопытно: что в этом такого загадочного? Я никогда не использовал NLTK, и найти этот ответ у меня ушло пять минут , и прибегая к помощи поиска ... Действительно ли это , что скрывать?
phipsgabler
5
Я думаю, что вопрос не в том, насколько скрыто, это тоже возникло у меня, просто пытаясь пометить одно предложение, потому что я ищу причину, по которой nltk помечает мои глаголы как существительные, и я не знал, как разные наборы тегов может быть использован. Это тоже помогло, спасибо!
Телефонный ящик
2
@phipsgabler, если другие такие же, как я, у меня были неправильные ожидания. Я ожидал увидеть справочную таблицу / список / карту, отображающую аббревиатуры pos, как RBи их значение, например adverb. ( Вот пример ; или см. Ответ @ Suzana , который связывает набор тегов Penn Treebank ). Но вы правы, встроенная функция nltk.help.upenn_tagset('RB')полезна и упоминается в начале nltkкниги ,
Red Pea,
143
Чтобы сэкономить время некоторым людям, вот список, который я извлек из небольшого корпуса. Я не знаю, полный ли он, но он должен содержать большинство (если не все) определений справки из upenn_tagset ...
CC : соединение, согласование
& 'n and both but either et for less minus neither nor or plus so
therefore times v. versus vs. whether yet
CD : числовой, кардинальный
mid-1890 nine-thirty forty-two one-tenth ten million 0.5 one forty-
seven 1987 twenty '79 zero two 78-degrees eighty-four IX '60s .025
fifteen 271,124 dozen quintillion DM2,000 ...
DT : определитель
all an another any both del each either every half la many much nary
neither no some such that the them these this those
EX : экзистенциальный там
there
IN : предлог или союз, подчинение
astride among uppon whether out inside pro despite on by throughout
below within for towards near behind atop around if like until below
next into if beside ...
JJ : прилагательное или числительное, порядковый
third ill-mannered pre-war regrettable oiled calamitous first separable
ectoplasmic battery-powered participatory fourth still-to-be-named
multilingual multi-disciplinary ...
further gloomier grander graver greater grimmer harder harsher
healthier heavier higher however larger later leaner lengthier less-
perfectly lesser lonelier longer louder lower more ...
RBS : наречие, превосходная степень
best biggest bluntest earliest farthest first furthest hardest
heartiest highest largest least less most nearest second tightest worst
RP : частица
aboard about across along apart around aside at away back before behind
by crop down ever fast for forth from go high i.e. in into just later
low more off on open out over per pie raising start teeth that through
under unto up up-pp upon whole with you
Благодарность! Это должен был быть выбранный ответ, поскольку он гораздо более исчерпывающий, чем просто ответ, по сути, введите что-то в консоли, чтобы узнать.
slartibartfast
64
Набор тегов зависит от корпуса, который использовался для обучения теггера. Теггер по умолчанию nltk.pos_tag()использует набор тегов Penn Treebank .
В NLTK 2 вы можете проверить, какой теггер является теггером по умолчанию, следующим образом:
Это означает, что это теггер максимальной энтропии, обученный на корпусе Treebank.
nltk.tag._POS_TAGGERбольше не существует в NLTK 3, но в документации указано, что стандартное устройство тегов по-прежнему использует набор тегов Penn Treebank.
Спасибо, я думаю, это гораздо более полезный ответ, чем принятый.
Дейл
3
Это неполный ответ. Во-первых, nltk.tag._POS_TAGGERне выполняется, и не дается никаких конкретных инструкций о том, что импортировать. Кроме того, обнаружение используемого теггера - это половина ответа, вопрос заключается в том, чтобы получить список всех возможных тегов в тегере
Hamman Samuel
3
Набор тегов определяется корпусом, а не теггером. Как только вы узнаете название корпуса, полный набор тегов будет доступен только через поиск Google.
Suzana
36
Приведенное ниже может быть полезно для доступа к словарю с сокращениями:
Вы можете скачать список здесь: ftp://ftp.cis.upenn.edu/pub/treebank/doc/tagguide.ps.gz . Он включает в себя запутанные части речи, использование заглавных букв и другие условные обозначения. Также в Википедии есть интересный раздел, похожий на этот. Раздел: Используемые теги части речи.
Я принимаю это как удобство. Я подумал об улучшении форматирования, но это может противоречить цели этой публикации. Пожалуйста, подумайте о редактировании и использовании форматирования кода в сочетании с символами новой строки, чтобы получить как хорошее форматирование, так и удобство копирования и вставки. stackoverflow.com/editing-help
Юннош
Я думал об этом, но думаю, что это сделает это менее удобным.
RBи их значение, напримерadverb. ( Вот пример ; или см. Ответ @ Suzana , который связывает набор тегов Penn Treebank ). Но вы правы, встроенная функцияnltk.help.upenn_tagset('RB')полезна и упоминается в началеnltkкниги ,Чтобы сэкономить время некоторым людям, вот список, который я извлек из небольшого корпуса. Я не знаю, полный ли он, но он должен содержать большинство (если не все) определений справки из upenn_tagset ...
CC : соединение, согласование
& 'n and both but either et for less minus neither nor or plus so therefore times v. versus vs. whether yetCD : числовой, кардинальный
mid-1890 nine-thirty forty-two one-tenth ten million 0.5 one forty- seven 1987 twenty '79 zero two 78-degrees eighty-four IX '60s .025 fifteen 271,124 dozen quintillion DM2,000 ...DT : определитель
all an another any both del each either every half la many much nary neither no some such that the them these this thoseEX : экзистенциальный там
IN : предлог или союз, подчинение
astride among uppon whether out inside pro despite on by throughout below within for towards near behind atop around if like until below next into if beside ...JJ : прилагательное или числительное, порядковый
JJR : прилагательное, сравнительный
JJS : прилагательное, превосходная степень
LS : маркер элемента списка
A A. B B. C C. D E F First G H I J K One SP-44001 SP-44002 SP-44005 SP-44007 Second Third Three Two * a b c d first five four one six three twoMD : модальный вспомогательный
can cannot could couldn't dare may might must need ought shall should shouldn't will wouldNN : существительное, общее, единственное число или масса
NNP : существительное, собственное, единственное число
NNS : существительное, общее, множественное число
PDT : предопределитель
POS : маркер родительного падежа
' 'sPRP : местоимение, личное
PRP $: местоимение, притяжательное
RB : наречие
RBR : наречие, сравнительный
RBS : наречие, превосходная степень
RP : частица
aboard about across along apart around aside at away back before behind by crop down ever fast for forth from go high i.e. in into just later low more off on open out over per pie raising start teeth that through under unto up up-pp upon whole with youTO : "to" как предлог или маркер инфинитива
UH : междометие
VB : глагол, основная форма
ask assemble assess assign assume atone attention avoid bake balkanize bank begin behold believe bend benefit bevel beware bless boil bomb boost brace break bring broil brush build ...VBD : глагол, прошедшее время
VBG : глагол, причастие настоящего или герундий
telegraphing stirring focusing angering judging stalling lactating hankerin' alleging veering capping approaching traveling besieging encrypting interrupting erasing wincing ...VBN : глагол, причастие прошедшего времени
VBP : глагол в настоящем времени, а не в 3-м лице единственного числа
predominate wrap resort sue twist spill cure lengthen brush terminate appear tend stray glisten obtain comprise detest tease attract emphasize mold postpone sever return wag ...VBZ : глагол, настоящее время, 3-е лицо единственного числа
WDT : WH-определитель
WP : WH-местоимение
WRB : Wh-наречие
источник
$,'',(,),,,--,.,:,FW,NNPS,SYM,WP$, [два] обратные кавычки. Смотритеnltk.help.upenn_tagset().Набор тегов зависит от корпуса, который использовался для обучения теггера. Теггер по умолчанию
nltk.pos_tag()использует набор тегов Penn Treebank .В NLTK 2 вы можете проверить, какой теггер является теггером по умолчанию, следующим образом:
import nltk nltk.tag._POS_TAGGER >>> 'taggers/maxent_treebank_pos_tagger/english.pickle'Это означает, что это теггер максимальной энтропии, обученный на корпусе Treebank.
nltk.tag._POS_TAGGERбольше не существует в NLTK 3, но в документации указано, что стандартное устройство тегов по-прежнему использует набор тегов Penn Treebank.источник
nltk.tag._POS_TAGGERне выполняется, и не дается никаких конкретных инструкций о том, что импортировать. Кроме того, обнаружение используемого теггера - это половина ответа, вопрос заключается в том, чтобы получить список всех возможных тегов в тегереПриведенное ниже может быть полезно для доступа к словарю с сокращениями:
>>> from nltk.data import load >>> tagdict = load('help/tagsets/upenn_tagset.pickle') >>> tagdict['NN'][0] 'noun, common, singular or mass' >>> tagdict.keys() ['PRP$', 'VBG', 'VBD', '``', 'VBN', ',', "''", 'VBP', 'WDT', ...источник
Ссылка доступна на официальном сайте
Скопируйте и вставьте оттуда:
источник
Вы можете скачать список здесь: ftp://ftp.cis.upenn.edu/pub/treebank/doc/tagguide.ps.gz . Он включает в себя запутанные части речи, использование заглавных букв и другие условные обозначения. Также в Википедии есть интересный раздел, похожий на этот. Раздел: Используемые теги части речи.
источник
['LS', 'TO', 'VBN', "''", 'WP', 'UH', 'VBG', 'JJ', 'VBZ', '--', 'VBP', 'NN', 'DT', 'PRP', ':', 'WP$', 'NNPS', 'PRP$', 'WDT', '(', ')', '.', ',', '``', '$', 'RB', 'RBR', 'RBS', 'VBD', 'IN', 'FW', 'RP', 'JJR', 'JJS', 'PDT', 'MD', 'VB', 'WRB', 'NNP', 'EX', 'NNS', 'SYM', 'CC', 'CD', 'POS']Основан на методе Дуга Шора, но более удобен для копирования.
источник
Просто запустите это дословно.
import nltk nltk.download('tagsets') nltk.help.upenn_tagset()nltk.tag._POS_TAGGERне сработает. Он выдаст AttributeError: модуль nltk.tag не имеет атрибута _POS_TAGGER . Это больше не доступно в NLTK 3.источник