E資格_応用数学レポート

0. はじめに

　本レポートはラビットチャレンジ、応用数学のレポートである。

1. 線形代数

• ベクトルとスカラーの違い
  　スカラーは大きさのみの量を持ち、ベクトルは大きさと向きをもつ量のこと。

• 行列
  　ベクトルを並べたもの。ベクトルの変換で活用できる。
  　連立方程式の研究の中で生まれたと言われている。

• 行列の積
  $ \begin{pmatrix} a & b \\ c & d \end{pmatrix} \begin{pmatrix} a & b \\ c & d \end{pmatrix}＝ \begin{pmatrix} a & b \\ c & d \end{pmatrix} $

• 固有値と固有ベクトル
  　次の式が成り立つようなxとλをそれぞれ固有ベクトルと固有値と呼ぶ。
  $$
  A^{\mathrm{}} \overrightarrow{ x } =λ \overrightarrow{ a }
  $$ - 固有値分解 　m×n 行列 Aを A=UΣVと分解することを特異値分解という。 　※Uは m×m の直交行列、Vはn×n の直交行列、Σは非対角成分は 0で対角成分は非負で大きさの順に並んだ行列 ## 2. 確率・統計 - 頻度論とベイズ論の考え方の違い 　頻度論：得られたデータが母集団からどれくらいの頻度（確率）で発生するのかを考える 　ベイズ論：いま手元にあるデータがどのようなパラメータに基づく母集団から得られたのかを考える - 条件付き確率 　条件付確率の公式　 　$P(A | B) = \frac{P(A \cap B)}{P(B)}$ - ベイズの定理 　ベイズの定理の公式 　$P(A | B) = \frac{P(B | A)P(A)}{P(B)}$ - 確率変数と確率分布 　確率変数：ある変数の値をとる確率が存在する変数のこと 　確率分布：確率変数がとる値とその値をとる確率の対応の様子 - 確率変数の期待値、分散、共分散 　〇確率変数の期待値 　　離散型確率変数の場合 $E[X] = \sum_{i=1}^n x_i P(X=x_i)$ 　　連続型確率変数の場合 $E[X] = \int_{-\infty}^\infty x f(x) dx$ 　〇確率変数の分散 　　$\operatorname{Var}[X] = E[(X - \mu)^2] = E[X^2] - (E[X])^2$ 　〇確率変数の共分散 　　$\operatorname{Cov}[X, Y] = E[(X - \mu_X)(Y - \mu_Y)]$ 　〇確率変数の標準偏差 　　$\sigma_X = \sqrt{\operatorname{Var}[X]} = \sqrt{E[(X - \mu)^2]}$ 　 - 様々な確率分布 　〇ベルヌーイ分布 　　2種類の結果しか生じない試行において、片方の結果が得られる確率を$p$、もう一方の結果が得られる確率を$q=1-p$としたときの確率分布 　　$P(X=x) = p^x (1-p)^{1-x}$ 　〇マルチヌーイ分布 　　$k$種類の離散的なアウトカムがある試行において、各アウトカムが生じる確率がそれぞれ$p_1,p_2,\dots,p_k$である場合の確率分布 　　$P(X_1 = x_1, X_2 = x_2, \dots, X_k = x_k) = \frac{n!}{x_1!x_2!\cdots x_k!}p_1^{x_1}p_2^{x_2}\cdots p_k^{x_k}$ 　〇二項分布　 　　独立した$n$回のベルヌーイ試行を行った場合に、そのうち成功する回数が$k$回である確率分布 　　$P(X=k) = \binom{n}{k}p^k(1-p)^{n-k}$ 　〇ガウス分布 　　連続的な実数値の確率変数に対する確率分布の一種。正規分布とも呼ばれる。 　　$f(x) = \frac{1}{\sqrt{2\pi\sigma^2}}\exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right)$ ## 3. 情報理論 - 自己情報量 　自己情報量：ある事象が発生したときに、その情報量を表す指標 　$I(x)=-\log P(x)$　（底の値は扱う対象によって異なる） 　自己情報量は、確率が小さいほど大きくなり、確率が大きいほど小さくなる。 　= 起こりにくい事象ほど情報量が大きくなる - シャノンエントロピー 　シャノンエントロピー：ある確率分布における情報量の期待値を表す指標 　$H(X) = -\sum_{}p(x)\log p(x)$ - KLダイバージェンス 　KLダイバージェンス：2つの確率分布の差異を表す指標 　$D_{KL}(P|Q) = \sum_{x} P(x)\log\frac{P(x)}{Q(x)}$ 　KLダイバージェンスが小さいほど、分布Pと分布Qの差異が小さい。逆にKLダイバージェンスが大きいほど、PとQは異なっている。 　KLダイバージェンスが0の場合、2つの確率分布は等しい分布である。 - 交差エントロピー 　交差エントロピー：KLダイバージェンスの一部を取り出したもの。 　$H(P,Q) = -\sum_{} P(x) \log Q(x)$ 　機械学習においてよく用いられる損失関数の一つ。 　 ## 4. 参考文献、参考にしたサイト - ゼロから作るDeep Learning, 斎藤 康毅 - 統計学入門, 東京大学出版会 - 統計学の時間 基礎編 (https://bellcurve.jp/statistics/course/#step1) - とけたろう 数学は人を幸せにする-条件付き確率とベイズの定理編(https://toketarou.com/bayes/) - AVILEN BASIC STUDY (https://ai-trend.jp/basic-study/)