トークンとは？

トークンとは？

トークンとは、文章を細かく分けた最小単位ことです。

例えば、「私は今日学校に行きました。」という文章。

「私」「は」「今日」「学校」「に」「行き」「ました」「。」という形で分解されますよね。

トークンは、言葉の最小単位なんだー、くらいで理解してもらえたらOKです。

 

※初心者向けに、かなーり分かりやすく嚙み砕いて書いています。
大幅な間違いはご指摘ください。多少の言葉の揺らぎはご愛嬌。