E資格_応用数学レポート

0. はじめに

　本レポートはラビットチャレンジ、応用数学のレポートである。

1. 線形代数

• ベクトルとスカラーの違い
  　スカラーは大きさのみの量を持ち、ベクトルは大きさと向きをもつ量のこと。

• 行列
  　ベクトルを並べたもの。ベクトルの変換で活用できる。
  　連立方程式の研究の中で生まれたと言われている。

• 行列の積
  $\left(\begin{array}{cc}a& b\\ c& d\end{array}\right)\left(\begin{array}{cc}a& b\\ c& d\end{array}\right)＝\left(\begin{array}{cc}a& b\\ c& d\end{array}\right)$

• 固有値と固有ベクトル
  　次の式が成り立つようなxとλをそれぞれ固有ベクトルと固有値と呼ぶ。
  $$
  A^{\mathrm{}} \overrightarrow{ x } =λ \overrightarrow{ a }
  $$ - 固有値分解 　m×n 行列 Aを A=UΣVと分解することを特異値分解という。 　※Uは m×m の直交行列、Vはn×n の直交行列、Σは非対角成分は 0で対角成分は非負で大きさの順に並んだ行列 ## 2. 確率・統計 - 頻度論とベイズ論の考え方の違い 　頻度論：得られたデータが母集団からどれくらいの頻度（確率）で発生するのかを考える 　ベイズ論：いま手元にあるデータがどのようなパラメータに基づく母集団から得られたのかを考える - 条件付き確率 　条件付確率の公式　 　$P(A|B)=\frac{P(A\cap B)}{P(B)}$ - ベイズの定理 　ベイズの定理の公式 　$P(A|B)=\frac{P(B|A)P(A)}{P(B)}$ - 確率変数と確率分布 　確率変数：ある変数の値をとる確率が存在する変数のこと 　確率分布：確率変数がとる値とその値をとる確率の対応の様子 - 確率変数の期待値、分散、共分散 　〇確率変数の期待値 　　離散型確率変数の場合 $E[X]=\sum _{i=1}^n{x}_{i}P(X=x_i)$ 　　連続型確率変数の場合 $E[X]={\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}xf(x)dx$ 　〇確率変数の分散 　　$\mathrm{Var}[X]=E[(X-\mu {)}^2]=E[X^2]-(E[X]{)}^2$ 　〇確率変数の共分散 　　$\mathrm{Cov}[X,Y]=E[(X-{\mu }_X)(Y-{\mu }_Y)]$ 　〇確率変数の標準偏差 　　${\sigma }_X=\sqrt{\mathrm{Var}[X]}=\sqrt{E[(X-\mu {)}^2]}$ 　 - 様々な確率分布 　〇ベルヌーイ分布 　　2種類の結果しか生じない試行において、片方の結果が得られる確率を$p$、もう一方の結果が得られる確率を$q=1-p$としたときの確率分布 　　$P(X=x)=p^x(1-p{)}^{1-x}$ 　〇マルチヌーイ分布 　　$k$種類の離散的なアウトカムがある試行において、各アウトカムが生じる確率がそれぞれ$p_1,p_2,\dots ,p_k$である場合の確率分布 　　$P(X_1=x_1,X_2=x_2,\dots ,X_k=x_k)=\frac{n!}{x_1!x_2!\cdots x_k!}{p}_1^{x_1}{p}_2^{x_2}\cdots p_k^{x_k}$ 　〇二項分布　 　　独立した$n$回のベルヌーイ試行を行った場合に、そのうち成功する回数が$k$回である確率分布 　　$P(X=k)=(\genfrac{}{}{0ex}{}{n}{k})p^k(1-p{)}^{n-k}$ 　〇ガウス分布 　　連続的な実数値の確率変数に対する確率分布の一種。正規分布とも呼ばれる。 　　$f(x)=\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp (-\frac{(x-\mu {)}^2}{2{\sigma }^2})$ ## 3. 情報理論 - 自己情報量 　自己情報量：ある事象が発生したときに、その情報量を表す指標 　$I(x)=-\log P(x)$　（底の値は扱う対象によって異なる） 　自己情報量は、確率が小さいほど大きくなり、確率が大きいほど小さくなる。 　= 起こりにくい事象ほど情報量が大きくなる - シャノンエントロピー 　シャノンエントロピー：ある確率分布における情報量の期待値を表す指標 　$H(X)=-\sum _{}p(x)\log p(x)$ - KLダイバージェンス 　KLダイバージェンス：2つの確率分布の差異を表す指標 　$D_{KL}(P|Q)=\sum _{x}P(x)\log \frac{P(x)}{Q(x)}$ 　KLダイバージェンスが小さいほど、分布Pと分布Qの差異が小さい。逆にKLダイバージェンスが大きいほど、PとQは異なっている。 　KLダイバージェンスが0の場合、2つの確率分布は等しい分布である。 - 交差エントロピー 　交差エントロピー：KLダイバージェンスの一部を取り出したもの。 　$H(P,Q)=-\sum _{}P(x)\log Q(x)$ 　機械学習においてよく用いられる損失関数の一つ。 　 ## 4. 参考文献、参考にしたサイト - ゼロから作るDeep Learning, 斎藤 康毅 - 統計学入門, 東京大学出版会 - 統計学の時間 基礎編 (https://bellcurve.jp/statistics/course/#step1) - とけたろう 数学は人を幸せにする-条件付き確率とベイズの定理編(https://toketarou.com/bayes/) - AVILEN BASIC STUDY (https://ai-trend.jp/basic-study/)