はじめに
G検定では、機械学習やディープラーニングに関する基礎知識が頻出する。その中でも、活性化関数に関する問題は非常に出題率が高い。特に「ReLU（Rectified Linear Unit）」関数は、多くの問題で登場するキーワードだ。
今回は、G検定で実際に出題された「ReLU関数の微分に関する問題」を取り上げ、選択肢ごとの正誤を丁寧に解説する。
実際の出題内容
ReLU関数に関する説明として、最も適切な選択肢を選べ。
選択肢
- 入力値が0のとき、微分が不可能な点が存在する
- 入力値が負数のとき、微分が不可能な点が存在する
- 微分をすると常に一定の値となる
- 微分不可能な点が存在する
正解は「1. 入力値が0のとき、微分が不可能な点が存在する」
ReLU関数とは何か？
ReLU（Rectified Linear Unit）関数は、深層学習で広く使われる活性化関数である。定義は非常にシンプルで、次のように表される。
$$
f(x) = \begin{cases}
0 & (x \leq 0) \
x & (x > 0)
\end{cases}
$$
つまり、入力値が0以下であれば出力は0、0より大きければ入力値そのままを出力する。
この直線的な単純さが、学習を高速化し、勾配消失の問題をある程度軽減するため、実用性が高い。
なぜ「1」が正解なのか？
ReLU関数は、入力が0のときにグラフの折れ目が発生する。この点において、左右からの微分値が一致しないため、「微分不可能な点」となる。数学的には、次のように理解される。
- $x < 0$ では勾配は 0
- $x > 0$ では勾配は 1
- $x = 0$ では左右の勾配が一致しないため、微分できない
このように、入力値が0のときだけ微分できないという特徴が、ReLUの数学的特性であり、選択肢1が正解になる根拠だ。
他の選択肢が誤りである理由
| 選択肢 | 内容 | なぜ誤りか |
|---|---|---|
| 2. 入力値が負数のとき、微分が不可能な点が存在する | 負数の入力では、常に出力は0となり、勾配も0で一定 | 微分可能であり、定数0の関数のように扱えるため誤り |
| 3. 微分をすると常に一定の値となる | 出力が0またはxに分かれるため、勾配も0または1に変化 | 常に一定ではない。0と1の2値を取るため誤り |
| 4. 微分不可能な点が存在する | 広い意味では正しいが、どの点か特定していない | 漠然としすぎており、「最も適切な選択肢」とは言えない |
選択肢4のような「抽象的すぎる表現」はG検定ではひっかけ問題としてよく登場するため、注意が必要だ。
ReLU関数が抱える「微分できない問題」
ReLUの「0で微分できない」問題は、学習時に障害になる可能性がある。実際、ReLUを使うと勾配がゼロになってしまい、パラメータが更新されなくなる「Dead ReLU問題」が発生することがある。
これを解消するために、以下のような改良版も登場している：
- Leaky ReLU
→ 負の領域にも小さな勾配を残す - Parametric ReLU（PReLU）
→ 負の領域の傾きを学習可能にする - ELU（Exponential Linear Unit）
→ 指数関数を使って滑らかにする
まとめ
ReLU関数に関する問題は、G検定で頻繁に出題されるため、基本的な性質と微分可能性を正しく理解しておくことが重要だ。
✅ ReLUは「0で微分不可能」であり、入力が正ならそのまま、負なら0を返す
✅ 微分結果は「正のとき1、負のとき0、0では定義できない」
✅ 微分不可能な点は「x = 0」ただ1点である
G検定対策としては、「単なる暗記」ではなく、「なぜその性質が成り立つのか」を数式レベルで確認しながら理解しておくと、本番での応用にも強くなる。
コメント