Каким должен быть тип данных токенов, которые лексер возвращает своему парсеру?

Как сказано в заголовке, какой тип данных должен возвращать / передавать синтаксический анализатор? Читая статью о лексическом анализе, которая есть в Википедии, она заявила, что: В информатике лексический анализ - это процесс преобразования последовательности символов (например, в компьютерной...