Ein Lexer zerlegt Quelltext in Tokens wie Identifier, Zahlen, Schlüsselwörter und Operatoren.
Er entfernt meist irrelevante Leerzeichen und Kommentare.