Вопросы с тегом «lexer»

60
Когда использовать Parser Combinator? Когда использовать Parser Generator?

Недавно я глубоко погрузился в мир парсеров, желая создать свой собственный язык программирования. Однако я обнаружил, что существуют два несколько разных подхода к написанию парсеров: Генераторы парсеров и Комбинаторы парсеров. Интересно, что мне не удалось найти какой-либо ресурс, объясняющий, в...

24
Зачем реализовывать лексер как 2d массив и гигантский коммутатор?

Я медленно работаю, чтобы закончить свою степень, и этот семестр - Компиляторы 101. Мы используем Книгу Дракона . Вскоре в курсе, и мы поговорим о лексическом анализе и о том, как он может быть реализован с помощью детерминированных конечных автоматов (далее DFA). Настройте различные состояния...

21
Каким должен быть тип данных токенов, которые лексер возвращает своему парсеру?

Как сказано в заголовке, какой тип данных должен возвращать / передавать синтаксический анализатор? Читая статью о лексическом анализе, которая есть в Википедии, она заявила, что: В информатике лексический анализ - это процесс преобразования последовательности символов (например, в компьютерной...

18
Написание лексера на C ++

Каковы хорошие ресурсы о том, как написать лексер на C ++ (книги, учебные пособия, документы), каковы некоторые хорошие методы и практики? Я посмотрел в Интернете, и все говорят, чтобы использовать генератор лексера, как лекс. Я не хочу этого делать, я хочу написать лексер от...

18
Являются ли отдельные операции синтаксического анализа и лексинга хорошей практикой с комбинаторами синтаксического анализа?

Когда я начал использовать комбинаторы синтаксического анализа, моей первой реакцией было чувство освобождения от того, что казалось искусственным различием между синтаксическим анализом и лексингом. Внезапно все было просто разбор! Однако недавно я наткнулся на эту публикацию на...

14
Придумать жетоны для лексера

Я пишу парсер для языка разметки, который я создал (пишу на python, но это не совсем относится к этому вопросу - на самом деле, если это кажется плохой идеей, я хотел бы предложить вариант для лучшего пути) , Я читаю о синтаксических анализаторах здесь: http://www.ferg.org/parsing/index.html и...

13
Какая процедура применяется при написании лексера на основе грамматики?

Читая ответ на вопрос « Разъяснение о грамматике, лексерах и парсерах» , в ответе говорилось, что: [...] грамматика BNF содержит все правила, необходимые для лексического анализа и анализа. Это показалось мне несколько странным, потому что до сих пор я всегда думал, что лексер вообще не основан на...

9
Лексический анализ без регулярных выражений

Я смотрел на несколько лексеров в различных языках высокого уровня ( Python , PHP , Javascript и др.), И все они, кажется, используют регулярные выражения в той или иной форме. Хотя я уверен, что регулярные выражения, вероятно, лучший способ сделать это, мне было интересно, есть ли какой-нибудь...