目次:
定義-字句解析とはどういう意味ですか？
字句解析は、言語学に適用されるのと非常に似た方法でコンピューターサイエンスに適用される概念です。 基本的に、字句解析とは、文字や音のストリームを意味のある構文を表すユニットのセットにグループ化することを意味します。 言語学では解析と呼ばれ、コンピューターサイエンスでは解析またはトークン化と呼ばれます。
Techopediaは語彙分析を説明します
コンピュータサイエンスにおける字句解析の考え方は、字句解析がストリームを「語彙素」に分解し、トークンが意味の基本単位を表すというものです。 トークンは、言語コンパイラが戻って適切なコンピューティング命令を実装するためにそれらを分離しなければならないような方法で結合されています。 基本的に、人間とコンピューターの両方が語彙分析を行いますが、コンピューターは異なる方法で、より技術的な方法で行います。 コンピュータが字句解析を行う方法は、人間に透過的である必要はありません。コンピューティングシステムにプログラムする必要があります。 コンピューターサイエンスで字句解析を行うプログラムは、レクサー、トークナイザー、またはスキャナーと呼ばれることがよくあります。
