-
【これなら分かる！】確率と確率変数に関する定義一覧
【はじめに】 本ページでは，以下の形で定義と管理人のコメントをお伝えしていきま... -
【徹底解説】瞬時符号と語頭条件
【概要】 瞬時符号であるためには，どの符号語も他の符号語の語頭であってはなりま... -
【徹底解説】マクミランの不等式
【概要】 マクミランの不等式は，クラフトの不等式と同じ形をしています。ですが，... -
【徹底解説】クラフトの不等式
【概要】 クラフトの不等式は，各符号語の長さが与えられたときに，それらの長さを... -
【徹底解説】一意復号可能な符号とは
【概要】 復号の仕方が一通りしかない符号のことを一意復号可能な符号と呼びます。... -
【徹底解説】相互情報量の求め方
【結論】 以下のような計算をすれば良いです。 \begin{align}I(X ; Y) &= \sum... -
【徹底解説】エントロピーレートに関する公式の証明
【証明する定理】 以下の3つの定理を証明します。 定常情報源のエントロピーレート... -
【徹底解説】通信路容量の求め方マスター講座
【はじめに】 本記事では，通信路容量の求め方を網羅的にまとめていきます。通信路... -
【徹底解説】主成分分析はなぜ分散共分散行列の固有値問題に帰着するのか
【お気持ち】 本記事では，主成分分析と分散共分散行列の固有値問題とのつながりに... -
【徹底解説】多次元ガウス分布の導出
【お気持ち】 $d$次元ガウス分布の確率密度関数を導出します。なお，前提として$1$...
