パーセプトロンとは1956年にRosenblattにより提案された学習アルゴリズム。
線形モデルと同様に、観測データ$\mathbf{x}_i$が目的のクラスに属するならば、$y_i = 1$、属さなければ$y_i = -1$とする。このとき、識別に成功すれば$y_t (\mathbf{w},\mathbf{x_i}) \geq 1$、失敗すれば$y_t (\mathbf{w},\mathbf{x_i}) < 1$ となる。そこで、成功したときの損失を0、失敗したときの損失を$-y_t (\mathbf{w},\mathbf{x_i})$とした損失関数を考える。
\begin{equation}\tag{6.41}
\mathcal{L}_t(\mathbf{w}) = [-y_t (\mathbf{w},\mathbf{x_i})]_+
\end{equation}