Effective Computer Science - 偉大なる情報工学の先へ -

新しい技術の多くは基礎的な技術の上に成り立っています。激動の技術変化に耐えうる体系知識の習得を目的に「基礎と実践の架け橋」となるサイトを目指します。

【自然言語処理】単語トークン(word token)と単語タイプ(word type)の違い

単語の定義が曖昧なため、トークンおよびタイプという用語がしばしば用いられる。

単語トークン(word token)とは

  • 一つ一つの出現を指す、意味を持つ最小の言語単位
  • 延べ語数

単語タイプとは

  • 数字、日付、略称などトークンの種類を指す
  • 異なり語数