Hiroki Naganuma

Causal Representation

Causal de Finetti: On the Identification of Invariant Causal Structure in Exchangeable Data

不変因果構造の学習は、しばしば条件付き独立性検定と独立同分布データの仮定に依存する。最近の研究では、異なる環境からのデータを用いて不変的な因果構造を推論することが検討されている。これらのアプローチは、原因メカニズムが与えられた結果に対して独立であることを仮定する独立因果メカニズム（ICM）原理に基づいている。ICM は機械学習や因果推論に広く応用されているにもかかわらず、独立メカニズムの意味するところを統計的に定式化したものが存在しない。本論文では、ICM 原則の統計的定式化を初めて提供する Causal de Finetti を紹介する。

Permutation invariant と equivariant

https://github.com/yoheikikuta/paper-reading/issues/6#issuecomment-369275468

ICA: Independent Component Analysis

データの隠れた構造を明らかにするためのもの (データをその生成因子に分解するタスク)
データをそれぞれの因子に分解できれば様々な問題を簡単に解くことができる。この問題は「もつれを解く（Disentanglement）」として表現学習の重要なテーマ

PCA と ICA の違い

PCA

データが正規分布に従うと仮定できる時、分散の大きい成分から順に直行方向に軸をとる手法、基底が直行しているため、アウトプットはお互い無相関なデータになる（線形的な関係は無いが、非線形的な関係はあるかもしれない）
主成分分析 (Principal Component Analysis, PCA) は、説明変数 X から互いに無相関な成分 (主成分) を計算する手法、主成分は、寄与率の大きい順に並べることが可能

ICA

データが統計的に独立で正規分布に従わないと仮定できる時、独立性が最大となる方向に軸をとる手法、アウトプットは正規分布に従わない独立したデータになる（線形的な関係も非線形的な関係もない）
ICA は PCA の拡張です。逆に言えば，PCA は ICA の特別な場合に相当します。ですので，基本的に PCA と ICA は同じ行列分解にしたがって定式化が行われます。
独立成分分析 (Independent Component Analysis, ICA) は、説明変数 X から互いに独立な成分 (独立成分) を計算する手法、独立成分は、どれも平等、独立は無相関より強力、データセット内に外れ値があると、外れ値が強調されたような独立成分が抽出される

Reference

Feature Interaction

What is a Feature Interaction?

Are Feature Interactions used for Feature Selection or Feature Generation?

機械学習モデルが 2 つの特徴量に基づいて予測を行う場合、その予測は定数項、第 1 特徴量の項、第 2 特徴量の項、2 つの特徴量の間の相互作用の項の 4 つに分解することが可能である。2 つの特徴の交互作用とは、個々の特徴の効果を考慮した上で、特徴を変化させることによって生じる予測値の変化である。

Reference

相互作用は Friedman の H 統計量（H2 乗検定統計量の平方根）で測定され、0（相互作用なし）から 1（相互作用による f（x）du の標準偏差の 100%）までの値を取る。