Hiroki Naganuma

Part III [25 points]: Deep Neural Networks

1 [15 points] Convolutions

Q1 Equivariance of Circular Convolution

• Answer

• テプリッツ行列

  巡回行列（じゅんかいぎょうれつ）または循環行列（じゅんかんぎょうれつ、Circulant matrix）は、テプリッツ行列の特殊なものであり、各行ベクトルが1つ前の行ベクトルの要素を1つずらして配置した形になっているものである。数値解析において、巡回行列は離散フーリエ変換によって対角化されるため、それを含む線型方程式系は高速フーリエ変換で高速に解くことができる。.

• 行列-行列乗算としての2次元畳み込み
• Goodfellow Deep Learning 9.1~9.3
• Circulant Matrices and Convolution

• Cyclic Convolution Matrix
• 画像や時系列データから特徴を抽出する演算 畳み込み演算
• Q12 畳み込みって何ですか？

• Two examples on linear and circular convolution of signals.

• A Comprehensive Introduction to Different Types of Convolutions in Deep Learning

• 1D の場合

• Deep Learning – Equivariance and Invariance

Q2 Now prove that a (circular) convolution is the only linear operation with shift equivariance. (Hint: how do you prove a bidirectional implication?)

ここで、（円）畳み込みがシフト等価を持つ唯一の線形演算であることを証明せよ。(ヒント：双方向の含意はどのように証明するのか？）

• Answer

• DL Book p328 から
• University of Chicago Convolutional Neural Networks CMSC 35246

Q3 What does this tell you about designing deep learning architectures for processing spatial or spatio-temporal data like images and videos?

画像や動画のような空間・時空間データを処理するための深層学習アーキテクチャの設計について、どのようなことが言えるのでしょうか。

• Answer

• Making Convolutional Networks Shift-Invariant Again
• [DL輪読会]Deep Learning 第9章 畳み込みネットワーク
• MobileNet(v1,v2,v3)を簡単に解説してみた
• Depthwise Separable Convolution for Neural Machine Translation (SliceNet)
• Kerasの作者@fcholletさんのCVPR’17論文XceptionとGoogleのMobileNets論文を読んだ
• 畳み込みニューラルネットを高速化するためのいろいろ

畳み込み演算は、そのシフト普遍性から、検出されうる特徴量が、画像のどの位置で現れても、有効な特徴量を学習できる利点がある。 また、動画においても、その計測時間などの違いに代表される、サイズ可変の入力を処理するために畳み込みが有効である。（全結合ネットワークでは空間的な大きさの異なる入力を処理できない）

2 [10 points] Recurrent Neural Networks

• Answer

Main References

• CSC321 Lecture 15: Recurrent Neural Networks

  But remember that a linear model can’t compute XOR, so we’re going to need hidden units to help us. Just like in Lecture 5, we can let one hidden unit represent the AND of its inputs and the other hidden unit represent the OR. This gives us the following relationship:

• CSC321 Lecture 5: Multilayer Perceptrons

References

• [DL輪読会]Deep Learning 第10章 系列モデリング　回帰結合型ニューラルネットワークと再帰型ネットワーク

• 18H_Q4
• 18H_Q4-9Memo
• 18H_Q4-9a

• 18H_Q4-9b

• Sequence To Sequence( Seq2Seq )

Seq2seq で使ってるモデルが Encoder と Decoder

• Squashing function|

• Illustrated Guide to LSTM’s and GRU’s: A step by step explanation
• RNN, LSTM & GRU