2021 Autome Q3
Part III [25 points]: Deep Neural Networks
1 [15 points] Convolutions
Q1 Equivariance of Circular Convolution
- テプリッツ行列
巡回行列（じゅんかいぎょうれつ）または循環行列（じゅんかんぎょうれつ、Circulant matrix）は、テプリッツ行列の特殊なものであり、各行ベクトルが1つ前の行ベクトルの要素を1つずらして配置した形になっているものである。数値解析において、巡回行列は離散フーリエ変換によって対角化されるため、それを含む線型方程式系は高速フーリエ変換で高速に解くことができる。.
- 行列-行列乗算としての2次元畳み込み
- Goodfellow Deep Learning 9.1~9.3
- Circulant Matrices and Convolution
- 1D の場合
Q2 Now prove that a (circular) convolution is the only linear operation with shift equivariance. (Hint: how do you prove a bidirectional implication?)
ここで、（円）畳み込みがシフト等価を持つ唯一の線形演算であることを証明せよ。(ヒント：双方向の含意はどのように証明するのか？）
Q3 What does this tell you about designing deep learning architectures for processing spatial or spatio-temporal data like images and videos?
画像や動画のような空間・時空間データを処理するための深層学習アーキテクチャの設計について、どのようなことが言えるのでしょうか。
- Making Convolutional Networks Shift-Invariant Again（元の解説記事の移転先）
- [DL輪読会]Deep Learning 第9章 畳み込みネットワーク
- MobileNet(v1,v2,v3)を簡単に解説してみた
- Depthwise Separable Convolution for Neural Machine Translation (SliceNet)
- Kerasの作者@fcholletさんのCVPR’17論文XceptionとGoogleのMobileNets論文を読んだ
- 畳み込みニューラルネットを高速化するためのいろいろ
畳み込み演算は、そのシフト普遍性から、検出されうる特徴量が、画像のどの位置で現れても、有効な特徴量を学習できる利点がある。 また、動画においても、その計測時間などの違いに代表される、サイズ可変の入力を処理するために畳み込みが有効である。（全結合ネットワークでは空間的な大きさの異なる入力を処理できない）
2 [10 points] Recurrent Neural Networks
Main References
- CSC321 Lecture 15: Recurrent Neural Networks
But remember that a linear model can’t compute XOR, so we’re going to need hidden units to help us. Just like in Lecture 5, we can let one hidden unit represent the AND of its inputs and the other hidden unit represent the OR. This gives us the following relationship:
References
-
[DL輪読会]Deep Learning 第10章 系列モデリング 回帰結合型ニューラルネットワークと再帰型ネットワーク
- 18H_Q4
- 18H_Q4-9Memo
- 18H_Q4-9a
- Sequence To Sequence( Seq2Seq )
Seq2seq で使ってるモデルが Encoder と Decoder
