Hiroki Naganuma

TLDR

Fairness は分布シフトの一部として解釈可能。特定のグループのみ（倫理とか関係なく、たとえば、牧草地にいるラクダや、砂漠にいる牛など）性能が劣化したり影響を受けるような分布シフトを Fairness の課題として扱う。

Introduction

機械学習の世界では、まだ見たことのないデータに対してもうまく汎化できるモデルを構築するという課題に常に取り組んでいます。分布シフト、つまりモデルが現実世界で遭遇するデータが学習データと異なる場合、一般的な障害となります。しかし、時には分布シフトがもう一つの重要な懸念事項、つまり公平性と絡み合ってきます。この関係性を、Waterbirds dataset の事例を使って以下に説明する。

The Waterbirds Conundrum

Waterbirds dataset は、画像分類、特に水鳥と陸鳥を区別するために設計されています。このデータセットには潜在的なバイアスがあります。水鳥の画像には「水」の背景が頻繁に写っており、一方、陸鳥の画像には「陸」の背景がよく見られる。この強い相関関係は、鳥そのものに固有のものではなく、むしろ画像の収集方法による人工的なものである。

Why “Fairness” in Waterbirds? It’s About Group Disparities

一見すると、これは単純な分布シフトのケースのように思えるかもしれません。もしモデルがこれらの背景バイアスのある画像で学習され、その後、陸にいる水鳥（または水辺にいる陸鳥）に遭遇した場合、誤分類する可能性があります。「Fairness」はどこから来るのか？

公平性の懸念は、この背景バイアスがデータ内に暗黙のグループを作り出すために生じます。次のシナリオを考える。

グループ 1：水辺の背景を持つ水鳥：モデルはこれらの画像に対して高い性能を発揮。
グループ 2：陸の背景を持つ水鳥：モデルの性能は大きく劣化。
グループ 3：陸の背景を持つ陸鳥：モデルはここでも高い性能を発揮。
グループ 4：水辺の背景を持つ陸鳥：モデルの性能は大きく劣化。

重要なのは、これらのグループ間の性能格差です。モデルは一様に失敗しているのではなく、鳥の種類と背景の特定の組み合わせに対してより頻繁に失敗しているのです。この不均一な性能は、スプリアスな相関関係によって引き起こされ、議論に公平性の概念を持ち込む。モデルは、すべての「水鳥らしさ」または「陸鳥らしさ」を平等に扱っているわけではありません。倫理の問題は必ずしも公平性の問題の必要条件ではない。

Distribution Shift vs. Fairness: The Spurious Correlation Distinction

Fairness は通常の分布シフトの問題と何が違うのでしょうか？その違いは、汎化性能の失敗の原因にあります。

分布シフト（一般的）：夏の風景で学習されたモデルは、視覚的な特徴が異なるため、冬の風景に対して性能が低下する可能性があります。特定の種類の風景に対して性能が著しく悪くなるような本質的なバイアスはありません。
公平性に関連する分布シフト（Waterbirds のような）：モデルの失敗は、単に背景が異なるというだけではありません。モデルがshortcut feature、つまり背景と鳥の種類の間のスプリアスな相関関係を学習していることが原因。このshortcut featureは、この相関関係によって定義される特定のサブグループに対して、より低い性能になる。

When Distribution Shift Isn’t a Fairness Problem: Some Examples

分布シフトが必ずしも公平性の懸念を引き起こさない例を以下に示す。

季節による画像認識の変動：昼間の画像で学習されたモデルは、夜間の画像で劣化。これは照明の変化による分布シフトであり、「夜間の物体」に対する不公平な扱いとは必ずしも言えません。
カメラ品質の違いによる物体検出：高解像度画像で学習されたモデルは、低解像度画像では性能が低下します。これは画像品質による分布シフトであり、ぼやけた物体に対する不公平さではありません。

これらのケースでは、性能の低下は入力データの変化による一般的な結果であり、モデルが特定の部分集団を不利にするためにスプリアスな相関関係を利用した結果ではありません。

Fairness Problem: Some Examples

最初の二つは密接に関連するが、着目してるとこが違う。少数派グループへの影響は、グループ間の性能格差の一つの現れ方と捉えることができます。つまり、少数派グループの性能が低いことが、グループ間の性能格差を生み出す要因となることが多い。

グループ間の性能格差の増幅: 単なる分布シフトであれば、モデル全体の性能が新しいデータ分布に対して一様に低下する可能性がある。しかし、Fairness の問題となる分布シフトでは、特定のグループにおいて worst case の性能が著しく悪化する傾向が見られる。これは、モデルが学習データにおけるスプリアスな相関関係を利用してしまい、その相関関係が崩れる新しい分布において、特定のグループに対して特に脆弱になるためです。
少数派グループへの影響: worst case の性能悪化は、しばしば学習データにおいて少数派であったり、十分な代表性を持たなかったりするグループに集中して起こります。これは、モデルが少数派グループの特徴を十分に学習できていない、あるいは多数派グループとのスプリアスな相関関係に過剰に適合してしまっていることが原因と考えられます。
倫理的・社会的な影響: worst case の性能悪化が特定の社会的属性（人種、性別、性的指向など）を持つグループに集中する場合、それは差別や不利益といった深刻な倫理的・社会的な問題につながる可能性。例えば、顔認識システムにおいて、特定の肌の色のグループに対して worst case の認識精度が低い場合、そのグループの人々が不当な扱いを受けるリスクが高まります。

具体例

顔認識システム: 学習データにおいて、特定の肌の色のグループのデータが少ない場合、そのグループの認識精度が低くなる（少数派グループへの影響）。これが、他の肌の色を持つグループとの性能格差を増幅させる（グループ間の性能格差の増幅）。
融資審査モデル: 過去のデータにおいて、特定の地域に住む人々の返済能力が低く評価されていた場合、その地域に住む人々に対して融資が通りにくくなる（少数派グループへの影響）。これが、他の地域に住む人々との融資成功率の格差を増幅させる（グループ間の性能格差の増幅）。