機械学習の為の数学の基礎のバックアップソース(No.7)

#author("2019-10-30T03:52:53+00:00","","")
#mynavi(機械学習)
#setlinebreak(on);

* 目次 [#zec6bbe3]
#contents
- 関連
-- [[PyTorch入門]]
-- [[TensorFlow入門]]
-- [[R言語入門]]
-- [[統計学の基礎知識]]

#TODO

* 微分 [#m6b109c1]
#html(<div style="padding-left: 10px;">)

** 常備分 [#me111516]
#html(<div style="padding-left: 10px;">)
#html(</div>)

** 偏微分 [#l5ac6af5]
#html(<div style="padding-left: 10px;">)
#html(</div>)

#html(</div>)

* 線形回帰 ( Linear regression ) [#r9dd04b0]
#html(<div style="padding-left: 10px;">)
// http://gihyo.jp/dev/serial/01/machine-learning/0008

** 線形代数 [#k5522922]
#html(<div style="padding-left: 10px;">)
#html(</div>)

** 最小２乗法 [#n2d4d535]
#html(<div style="padding-left: 10px;">)
予測値と実際の値の差異が最小になるようにして線形モデルを導き出す方法。

線形モデル式を Y = 傾き * X + Y切片 とした場合。
※傾き:係数、Y切片:定数項


// パラメータ導出
// 最小二乗法と最尤推定について
#html(</div>)

** 勾配降下法(最急降下法) [#c0d3ebb9]
#html(<div style="padding-left: 10px;">)
#html(</div>)

** 最尤推定 [#k98022ba]
#html(<div style="padding-left: 10px;">)
#html(</div>)

#html(</div>)

* 確率と統計 [#d0e3df79]
#html(<div style="padding-left: 10px;">)

** 確率変数・確率分布 [#pc75af50]
#html(<div style="padding-left: 10px;">)
#html(</div>)

** 結合確率・条件付き確率 [#e2471822]
#html(<div style="padding-left: 10px;">)
#html(</div>)

** 期待値 [#c84a1cce]
#html(<div style="padding-left: 10px;">)
#html(</div>)

** 平均・分散・共分散 [#n261c0c8]
#html(<div style="padding-left: 10px;">)
#html(</div>)

** 相関係数 [#t9bc8825]
#html(<div style="padding-left: 10px;">)
#html(</div>)

#html(</div>)

* 頻度分析 [#i535681c]
#html(<div style="padding-left: 10px;">)

** 観測頻度と相対頻度 [#z1c313ad]

** 標準化頻度 [#eda634f5]
※観測頻度 - 平均値 / 標準偏差

** TF-IDF [#dcb2e767]
各テキストの特徴的な単語を抽出する為の技法
TF(単語の観測度) * IDF(その単語が出現するテキストの数でテキストの総数を割った値の対数)

#html(</div>)


* 数理モデル [#y3a84c10]
#html(<div style="padding-left: 10px;">)

** ランダムフォレスト [#l984fed8]
決定木による複数の弱学習器を統合させて汎化能力を向上させる、アンサンブル学習アルゴリズムである。 おもに分類（判別）・回帰（予測）の用途で使用される

** サポートベクターマシン [#r02b5f3c]
サポートベクターマシン（英: support vector machine, SVM）は、教師あり学習を用いるパターン認識モデルの一つである。分類や回帰へ適用できる。

** ナイーブベイズ分類器 [#h61ab40e]
#TODO

** アダブースト [#b08c5429]
ランダムよりも少し精度がいいような弱い識別機を組みわせて、強い識別機を作成しようとする機械学習モデル

**  k近傍法 [#w473aee6]
k近傍法（ケイきんぼうほう、英: k-nearest neighbor algorithm, k-NN）は、特徴空間における最も近い訓練例に基づいた分類の手法であり、パターン認識でよく使われる。
最近傍探索問題の一つ。k近傍法は、インスタンスに基づく学習の一種であり、怠惰学習 (lazy learning) の一種。
その関数は局所的な近似に過ぎず、全ての計算は分類時まで後回しにされる。また、回帰分析にも使われる。
k近傍法は、ほぼあらゆる機械学習アルゴリズムの中で最も単純。

** k平均法 [#c97e977b]
#TODO

** ニューラルネットワーク [#yef2af0b]
脳機能に見られるいくつかの特性に類似した数理的モデル
ニューラルネットワークはシナプスの結合によりネットワークを形成した人工ニューロン（ノード）が、学習によってシナプスの結合強度を変化させ、問題解決能力を持つようなモデル全般を指す

** マルコフ連鎖 [#v6d0db5a]
#TODO

#html(</div>)


* その他/用語など [#cbcd59c4]
#html(<div style="padding-left: 10px;">)

** Σ(シグマ) [#sbf832de]
#html(<div style="padding-left: 10px;">)
#html(</div>)

** マスク配列 [#b32fc7d9]
#html(<div style="padding-left: 10px;">)
#html(</div>)

** 行列とベクトル [#jc2b5322]
#html(<div style="padding-left: 10px;">)
#html(</div>)

** 正則化 [#c8f48358]
#html(<div style="padding-left: 10px;">)
※過学習の回避
#html(</div>)

** ドロップアウト法 [#j65ed75d]
#html(<div style="padding-left: 10px;">)
※過学習の回避
#html(</div>)

** 順伝播 [#r3902506]
#html(<div style="padding-left: 10px;">)
#html(</div>)

** 損失関数 [#fcb884f7]
#html(<div style="padding-left: 10px;">)
#html(</div>)

**誤差逆伝播法 [#s64adb92]
#html(<div style="padding-left: 10px;">)
#html(</div>)

** 指数関数と対数関数 [#nacecf0f]
#html(<div style="padding-left: 10px;">)
#html(</div>)

** シグモイド関数 [#qf4dcfb5]
#html(<div style="padding-left: 10px;">)
#html(</div>)

** ReLU関数 [#d167c797]
#html(<div style="padding-left: 10px;">)
#html(</div>)

#html(</div>)
機械学習の為の数学の基礎 のバックアップソース(No.7) - 闘うITエンジニアの覚え書き

機械学習の為の数学の基礎のバックアップソース(No.7) - 闘うITエンジニアの覚え書き
