Tokenizer

Методы для работы с потоком токенов.

Метод	Описание	С версии
createFromString	Разбивает текст на токены, создавая новый объект потока токенов.
createFromTokens	Создает новые объекты потока токенов и устанавливает их токены в данное.
endOfInput	Проверяет, достигнут ли конец списка токенов.
getCurrentToken	Метод возвращает текущий токен, не меняя текущую позицию.
getTokens	Возвращает все токены.
nextToken	Возвращает следующий токен в списке.
putBack	Передвигает текущую позицию на шаг назад.
resetState	Сбрасывает внутреннее состояние.
setBookmark	Метод фиксирует и запоминает текущую позицию.
restoreBookmark	Восстанавливает ранее запомненную позицию.
skipWhiteSpace	Метод пропускает все пробелы и комментарии.
testText	Проверяет соответствие текста в параметре `$text` с текстом, содержащемуся в токене.
testUpperText	Проверяет соответствие текста в параметре `$text` с текстом, содержащемуся в токене.