Rでテキストマイニング のバックアップ(No.2) - 闘うITエンジニアの覚え書き

[ トップ ]   [ 一覧 | 単語検索 | 最終更新 | ヘルプ ]

• データセットの構築

• データの作成
  • 母集団の決定
  • データの収集
    • 全数調査と標本調査
    • 単純無作為抽出法
    • 層化無作為抽出法 (母集団をいくつかのグループに分けてそれぞれのグループから無作為に抽出)
    • 比例分配法 ... グループの大きさに比例した数を抽出する
    • 標本から得られた値から母集団における値を推定する際の精度は、標本の大きさの平方根に比例する。
• データの分析
  • 自然言語処理
    • 形態素解析
      単語分割、品詞情報の付与、単語の原型の復元を行う
    • 構文解析
      文章中の単語の係り受け関係を明確にする処理。
  • データマイニング
    • 頻度集計
    • 統計処理
    • 視覚化
• テキストマイニングのアプローチ
  • 仮設発見型と仮設検証型
• 分析対象となる品詞
  • 名詞、動詞、形容詞、副詞、接続詞、代名詞、助詞、助動詞など
• 分析対象となる情報
  • 読点、文字種、語種、文の長さ
• その他
  • ポジティブ/ネガティブを判定する評判分析