【徹底解説】スカラーのベクトルによる微分の公式

本記事は数学の徹底解説シリーズに含まれます。

初学者の分かりやすさを優先するため，多少正確でない表現が混在することがあります。もし致命的な間違いがあればご指摘いただけると助かります。

スカラーのベクトルによる微分の公式

機械学習を勉強すると必ず出現する公式です。微分操作の具体的なイメージを湧かせられるように，一度は証明を手で追ってみましょう。

証明

式($\text{1}$)から式($\text{7}$)までを，スカラーのベクトルによる微分の定義に基づいて証明していきます。

式(1)

${\mathbf{a}}^T\mathbf{x}$を展開して，スカラーのベクトルによる微分の定義を利用します。

式(2)

スカラー${\mathbf{x}}^T\mathbf{a}$は転置しても変わらないため，式($\text{1}$)より以下が成り立ちます。

式(3)

式($\text{4}$)において，$A$に$n$次元単位行列$I$を代入すると得られます。もしくは，${\mathbf{x}}^T\mathbf{x}$を展開してスカラーのベクトルによる微分の定義を利用しても示すことができます。

式(4)

$A$の$(i,j)$要素を$A_{i,j}$と書くと，二次形式は以下のように表されます。

まずは，二次形式を$\mathbf{x}$の$k$番目の要素$x_k$で微分することを考えます。

ここで，表記を簡潔にするために以下のクロネッカーのデルタを導入します。

すると，式($\text{19}$)は以下のように表されます。

ただし，$[\cdot {]}_k$はベクトルの$k$番目の要素を表しています。以上より，スカラーのベクトルによる微分の定義に基づくと式($\text{4}$)が示されました。

式(5)

式($\text{3}$)において，$\mathbf{x}$の代わりに$\mathbf{x}-\mathbf{a}$を考えると示すことができます。

式(6)

式($\text{4}$)において，$B$に$n$次元単位行列$I$を代入すると得られます。もしくは，今まで示してきた公式を利用して証明することもできます。

式(7)

$\mathbf{y}=A\mathbf{x}-\mathbf{b}$と置くと，式($\text{7}$)は以下のように表されます。

スカラーの合成関数のベクトルによる微分と上で示してきた公式を利用すると，式($\text{31}$)は以下のように変形できます。

以上より，式($\text{7}$)が示されました。