6.1.8:The Token Chunk

トークン・チャンク

A token is a string of characters delimited by certain punctuation marks. The token chunk is useful in parsing Transcript statements, and is generally used only for analyzing scripts. For full details about the definition of the token chunk, see the Transcript Dictionary.

トークンは、何らかの句読記号で区切られた一連のキャラクタ列です。トークン・チャンクは、トランスクリプト・ステイトメントの構文解析を行う時に便利なものです。しかも、通常はスクリプトの分析以外には使用されません。トークン・チャンクの定義に関する詳細は、トランスクリプト辞書をご覧下さい。

A token can contain characters, but not any other chunk type. Tokens can be contained in a word, item, or line, but not in a character.

トークンは複数のキャラクタを包含できますが、他のいかなるチャンク形式も包含できません。トークンはひとつのワード、アイテム、行に包含されますが、ひとつのキャラクタには包含されません。