Hiroki Naganuma
Answer
[Q1] 最小のブロックサンプリングステップですべての変数をサンプリングするブロック-ギブスサンプリング戦略を説明しなさい。モデルパラメータと既知（つまりサンプリングされた）量から、必要なすべての条件付き確率の式を導出し、明確に述べよ。
[Q2] 非正規化限界確率inx(logP(x)+logZ)の計算はRBMと同様に潜在変数の数に比例するのでしょうか？
[Q3] Contrastive Divergenceのような学習アルゴリズムに基づく効率的な学習方法を定義することは可能か？可能な場合、そのアルゴリズムを疑似コードで記述してください。可能でない場合、その答えを説明せよ。 (I am not confident)
Reference
Boltzman Machine
ブロック化ギブスサンプリング RBMの条件付き独立性を有効に活用して可視変数と隠れ変数を交互にギブスサンプリングしようというもの． なので基本的にはギブスサンプリングを行うだけ．具体的には可視変数vをランダムに初期化してhjをP(hj|v,θ)からサンプリング．全ての隠れ変数がサンプリングできたらそれらを用いてviをP(vi|h,θ)サンプリング．以下，この手順を繰り返して連鎖を走らせた後にサンプルを取得する．各々の分布からサンプリングは，ギブスサンプリングで説明した一様乱数を使う方法で行う．
RBM
制限ボルツマンマシンを表す無向グラフでは同じ層のノードをつなぐリンクがないと説明しましたが、この制限から生まれる非常に重要な性質が条件付き独立性です。これは、片方の層の値を固定するともう片方の層の確率確率変数が互いに独立になることを表します。
DBN
Gibbs Sampling
Block Gibbs Sampling
