Effective Computer Science - 偉大なる情報工学の先へ -

新しい技術の多くは基礎的な技術の上に成り立っています。激動の技術変化に耐えうる体系知識の習得を目的に「基礎と実践の架け橋」となるサイトを目指します。

【自然言語処理】言語モデルとは

定義

  • 単語の出現頻度や語順などに基づいて、後続する単語の出現確率の予測や、ある単語列が実際の言語で用いられているかどうかの確からしさ(尤度)の計算を行うためのモデル
  • word sequenceを推定するための統計的モデル(文法は含めない)
  • 文の品詞や統語構造、単語と単語、文書と文書などの関係性について定式化したもの

    代表的な言語モデル

  • Nグラムモデル
  • 隠れマルコフモデル
  • 最大エントロピーモデル