Вопросы с тегом «tokenize»

У Java есть удобный метод разделения: String str = "The quick brown fox"; String[] results = str.split(" "); Есть ли простой способ сделать это в C

Я анализирую строку в C ++, используя следующее: using namespace std; string parsed,input="text to be parsed"; stringstream input_stringstream(input); if (getline(input_stringstream,parsed,' ')) { // do some processing. } Разбор с одним символом-разделителем - это хорошо. Но что, если я хочу...

StringTokenizer? Преобразовать Stringк char[]и итерации над этим? Что-то

Предположим, у меня есть строка, 1:2:3:4:5и я хочу получить ее последнее поле ( 5в данном случае). Как мне это сделать с помощью Bash? Я пытался cut, но я не знаю, как указать последнее поле с...

Я только что узнал о классе Java Scanner, и теперь мне интересно, как он сравнивается / конкурирует с StringTokenizer и String.Split. Я знаю, что StringTokenizer и String.Split работают только со строками, так зачем мне использовать сканер для строки? Сканер предназначен только для того, чтобы...

Я ищу четкое определение того, что такое «токенизатор», «парсер» и «лексер» и как они связаны друг с другом (например, использует ли парсер токенизатор или наоборот)? Мне нужно, чтобы программа прошла через исходные файлы c / h для извлечения декларации данных и определений. Я искал примеры и могу...

Из чего-то вроде этого: print(get_indentation_level()) print(get_indentation_level()) print(get_indentation_level()) Я хотел бы получить что-то вроде этого: 1 2 3 Может ли код читать себя таким образом? Все, что я хочу, - это вывод из более вложенных частей кода, чтобы быть более вложенными. Точно...

Каков наилучший способ токенизировать / разбить строку NSString в

Я только начинаю использовать NLTK и не совсем понимаю, как получить список слов из текста. Если я использую nltk.word_tokenize(), я получаю список слов и знаков препинания. Вместо этого мне нужны только слова. Как избавиться от знаков препинания? Также word_tokenizeне работает с несколькими...

Я знаю, что на этот вопрос в какой-то степени ответили PHP и MYSQL, но мне было интересно, может ли кто-нибудь научить меня простейшему подходу к разделению строки (с разделителями-запятыми) на несколько строк в Oracle 10g (предпочтительно) и 11g. Таблица выглядит следующим образом: Name | Project...