6.1.8:The
Token Chunk
トークン・チャンク
A token
is a string of
characters delimited by certain punctuation marks.
The token
chunk is useful in
parsing Transcript statements, and is generally used only
for analyzing scripts. For full details about the
definition of the token
chunk, see the
Transcript Dictionary.
トークンは、何らかの句読記号で区切られた一連のキャラクタ列です。トークン・チャンクは、トランスクリプト・ステイトメントの構文解析を行う時に便利なものです。しかも、通常はスクリプトの分析以外には使用されません。トークン・チャンクの定義に関する詳細は、トランスクリプト辞書をご覧下さい。
A token can contain characters, but not any other chunk
type. Tokens can be contained in a word, item, or line, but
not in a character.
トークンは複数のキャラクタを包含できますが、他のいかなるチャンク形式も包含できません。トークンはひとつのワード、アイテム、行に包含されますが、ひとつのキャラクタには包含されません。