Hiroki Naganuma

NYU Lecture is really useful https://atcold.github.io/pytorch-Deep-Learning/

6.

(a).

Describe a scheme to estimate the vector of parameters θ to maximize the log likelihood of the N training examples.

識別モデル：データに対するクラスの条件付き確率（事後確率）p(Ck|x)を直接モデル化するのが識別モデル
生成モデル：p(Ck|x) = p(x|Ck)p(Ck)/p(x) の右辺をモデル化する

• Answer
• Memo
• 識別・生成モデル
• 機械学習・自然言語処理の勉強メモ
• 藤井四段で学ぶ最尤推定、MAP推定、ベイズ推定
• 議題1‐1：ベイズ統計学入門
• ベイジアンになろう

(b).

Describe how the scheme should be modified if you are given a prior distribution on the model parameters, p(θ).

• Answer
• MAP推定
• 事後分布を理解する: この資料が一番しっくりくる

(c).

Describe the difference between a maximum a posteriori prediction and a full Bayesian prediction. Be as specific as possible.

ベイズ推論の枠組みで、デルタ関数を用いてMAPを記述する

• Answer
• MAP推定と最尤推定
• 変分ベイズ詳解＆Python実装。最尤推定/MAP推定との比較まで。 とてもわかりやすい
• 変分推論の理論 詳し
• く変分ベイズの話が書いてある
• Delta Function

(d).

最尤法で求めた分散は真の分散を過小評価している

• Answer
• 正規分布の最尤推定
• 標本分散と母分散の誤差
• なぜ不偏分散は N-1 で割るのか

7.

• Answer
• ギブス分布:別名 ボルツマン分布

• [DL輪読会]近年のエネルギーベースモデルの進展: まずはこの資料から
• Energy-Based Model：ノイズを復元して生成モデルを学習する
• エネルギーベースモデルの物理学:物理学を使用してエネルギーベースモデルを理解する詳しく書いてるが僕の理解が怪しい
• Energy-Based GaN by Bengio