Ищете четкое определение того, что такое «токенизатор», «парсер» и «лексеры» и как они связаны друг с другом и используются?

Я ищу четкое определение того, что такое «токенизатор», «парсер» и «лексер» и как они связаны друг с другом (например, использует ли парсер токенизатор или наоборот)? Мне нужно, чтобы программа прошла через исходные файлы c / h для извлечения декларации данных и определений.

Я искал примеры и могу найти некоторую информацию, но я действительно изо всех сил пытался понять основные понятия, такие как грамматические правила, деревья синтаксического анализа и абстрактное синтаксическое дерево и как они взаимосвязаны друг с другом. В конечном итоге эти концепции необходимо сохранить в реальной программе, но 1) как они выглядят, 2) существуют ли общие реализации.

Я смотрел на Википедию по этим темам и программам, таким как Lex и Yacc, но никогда не изучая класс компиляторов (EE Major), мне трудно полностью понять, что происходит.

Токенайзер разбивает поток текста на токены, обычно путем поиска пробелов (табуляции, пробелов, новых строк).

Лексер по сути является токенизатором, но обычно он придает дополнительный токен токенам - этот токен является числом, этот токен является строковым литералом, этот другой токен является оператором равенства.

Парсер берет поток токенов из лексера и превращает его в абстрактное синтаксическое дерево, представляющее (обычно) программу, представленную в исходном тексте.

В последний раз я проверял, что лучшей книгой на эту тему была «Компиляторы: принципы, методы и инструменты», обычно известная как «Книга Дракона».

Пример:

int x = 1;

Лексер или токенизер разделит это на токены 'int', 'x', '=', '1', ';'.

Парсер возьмет эти токены и использует их для некоторого понимания:

• у нас есть заявление
• это определение целого числа
• целое число называется «х»
• 'x' должен быть инициализирован значением 1

Я бы сказал, что лексер и токенизатор - это одно и то же, и они разбивают текст на составляющие его части («токены»). Затем парсер интерпретирует токены с помощью грамматики.

Я бы не стал слишком зацикливаться на точном терминологическом использовании - люди часто используют «разбор», чтобы описать любое действие по интерпретации кусочка текста.

( добавление к данным ответам )

• Tokenizer также удалит любые комментарии и вернет токены только Lexer.
• Lexer также определит области действия для этих токенов (переменных / функций)
• Затем Parser создаст структуру кода / программы