「パターン認識」の編集履歴（バックアップ）一覧はこちら
「パターン認識」(2008/12/20 (土) 23:09:53) の最新版変更点
追加された行は緑色になります。
削除された行は赤色になります。
#contents()
*パターン認識
入力変数を$$x$$、出力変数を$$y$$としたとき、学習データセット$$\rm{D} \ni (x_i,y_i)$$から$$x$$と$$y$$の間に存在する規則性を見つけ出し、新しく観測された$$\hat{x}$$に対応する$$\hat{y}$$を求めることをパターン認識という。なお、出力変数が連続値の場合は&bold(){回帰分析}と同等である。
機械学習には、大きく分けてパラメトリックなアプローチとノンパラメトリックなアプローチとがある。パラメトリックなアプローチでは、確率分布関数$$P(y|x)$$を一次独立な関数の線型（非線型）結合によって表現し、そのパラメーターを推定する。一方、ノンパラメトリックなアプローチでは、データ集合から直接に目的の確率を計算する。
ある入力$$x$$に対して出力$$y$$が，$$y=f(x)$$にしたがって決まるとする．このとき，&font(red){学習セット$$t_i = [x_i, y_i]$$の集合から関数$$f$$を推定することを機械学習と呼ぶ．}$$y$$が有限離散数の場合は，関数$$f$$が入力$$x$$の分類器の役割を果たすので&font(blue){パターン認識}と呼ばれ，$$y$$が有限離散数の場合は回帰と呼ばれる．なお、出力変数が連続値の場合は&bold(){回帰分析}と同等である。
*パターン認識と回帰分析
ある入力$$x$$に対する出力$$y$$が，関数$$y=f(x)$$にしたがって決まるとする．このとき，入力と出力（教師）の組$$(x_i, y_i)$$の集合（学習データセット）$$\bf D$$から関数$$f$$を推定することを&bold(){機械学習}とよぶ．&bold(){パターン認識}の場合は、$$y$$が有限離散変数$$\rm{C}_k$$であり、関数$$f$$はクラス分類をおこなう。一方，&bold(){回帰分析}の場合は、$$y$$が連続変数である．
*ベイズ推定法
確率的情報処理をパターン認識に適用する．
ベイズ推定法から前述のNN法を導出することもできるため，一般的なパターン認識法の一般的な表現ともいえる？？
学習のメカニズムを説明するのにも適している？？
*最近傍法
**NN法
入力ベクトルとプロトタイプベクトル（クラスを代表するベクトル）の距離を測り，もっとも近いプロトタイプの属するクラスを認識結果として出力する方法を最近傍法（NN法）と呼ぶ．
まず，分類するクラスが$$c$$個あるとして，それぞれを$$\{ \omega_1, \omega_2, \cdots, \omega_c \}$$で表すとする．
特徴ベクトルが$$d$$次元であるとすると，クラス$$\omega_i$$のプロトタイプ$$\bf{p}_i$$は以下のように定義される．
$$\bf{p}_i = (p_{i1}, p_{i2}, \cdots, p_{id})^t$$ $$(i = 1, \cdots, c)$$
このとき，入力ベクトル$$\bf{x} = (x_1, x_2, \cdots, x_d)^t$$とプロトタイプ$$\bf{p}_i$$との距離は次式によって求められる．
$$D(\bf{x,p}_i) = ||\bf{x - p}_i||$$
この距離を最小にするプロトタイプの属するクラスが識別器の出力となる．
（余談：２クラス問題のNN法はパーセプトロンと数学的に等価である．《[[(参考)フリーソフトでつくる 音声認識システム>http://www.amazon.co.jp/フリーソフトでつくる音声認識システム-パターン認識・機械学習の初歩から対話システムまで-荒木-雅弘/dp/4627847114/ref=sr_1_1?ie=UTF8&s=books&qid=1214203827&sr=8-1]]》）
**K-NN法
NN法では，最近傍のプロトタイプベクトルにより，入力ベクトルの識別をおこなった．
k-NN法では，最近傍の$$k$$個のプロトタイプベクトルにより，入力ベクトルの識別をおこなう．
最近傍の$$k$$個のプロトタイプベクトルを探し，その中で多数を占めたクラスを識別結果とする．
*サポートベクトルマシン（SVM）
**概要
**線型非分離な問題への対策
#contents()
*パターン認識
入力変数を$$x$$、出力変数を$$y$$としたとき、学習データセット$$\rm{D} \ni (x_i,y_i)$$から$$x$$と$$y$$の間に存在する規則性を見つけ出し、新しく観測された$$\hat{x}$$に対応する$$\hat{y}$$を求めることをパターン認識という。なお、出力変数が連続値の場合は&bold(){回帰分析}と同等である。
機械学習には、大きく分けてパラメトリックなアプローチとノンパラメトリックなアプローチとがある。パラメトリックなアプローチでは、確率分布関数$$P(y|x)$$を一次独立な関数の線型（非線型）結合によって表現し、そのパラメーターを推定する。一方、ノンパラメトリックなアプローチでは、データ集合から直接に目的の確率を計算する。
ある入力$$x$$に対して出力$$y$$が，$$y=f(x)$$にしたがって決まるとする．このとき，&font(red){学習セット$$t_i = [x_i, y_i]$$の集合から関数$$f$$を推定することを機械学習と呼ぶ．}$$y$$が有限離散数の場合は，関数$$f$$が入力$$x$$の分類器の役割を果たすので&font(blue){パターン認識}と呼ばれ，$$y$$が有限離散数の場合は回帰と呼ばれる．なお、出力変数が連続値の場合は&bold(){回帰分析}と同等である。
*機械学習
&font(green){入力変数を$$x$$、出力変数を$$y$$としたとき、学習データセット}$$\rm{D} \ni (x_i,y_i)$$&font(green){から条件付き確率分布$$P(y|x)$$を推定することを機械学習という。}無作為抽出されたサンプル集団から（母集団の）確率分布を推定することになるので、機械学習は&bold(){推測統計学}と関係が深い。実際、機械学習で使う技法の多くは推測統計学のものである。なお、出力変数が連続値の場合は&bold(){回帰分析}と同等である。
機械学習には、大きく分けてパラメトリックなアプローチとノンパラメトリックなアプローチとがある。パラメトリックなアプローチでは、確率分布関数$$P(y|x)$$を一次独立な関数の線型（非線型）結合によって表現し、そのパラメーターを推定する。一方、ノンパラメトリックなアプローチでは、データ集合から直接に目的の確率を計算する。
*パターン認識と回帰分析
ある入力$$x$$に対する出力$$y$$が，関数$$y=f(x)$$にしたがって決まるとする．このとき，入力と出力（教師）の組$$(x_i, y_i)$$の集合（学習データセット）$$\bf D$$から関数$$f$$を推定することを&bold(){機械学習}とよぶ．&bold(){パターン認識}の場合は、$$y$$が有限離散変数$$\rm{C}_k$$であり、関数$$f$$はクラス分類をおこなう。一方，&bold(){回帰分析}の場合は、$$y$$が連続変数である．
*ベイズ推定法
確率的情報処理をパターン認識に適用する．
ベイズ推定法から前述のNN法を導出することもできるため，一般的なパターン認識法の一般的な表現ともいえる？？
学習のメカニズムを説明するのにも適している？？
*最近傍法
**NN法
入力ベクトルとプロトタイプベクトル（クラスを代表するベクトル）の距離を測り，もっとも近いプロトタイプの属するクラスを認識結果として出力する方法を最近傍法（NN法）と呼ぶ．
まず，分類するクラスが$$c$$個あるとして，それぞれを$$\{ \omega_1, \omega_2, \cdots, \omega_c \}$$で表すとする．
特徴ベクトルが$$d$$次元であるとすると，クラス$$\omega_i$$のプロトタイプ$$\bf{p}_i$$は以下のように定義される．
$$\bf{p}_i = (p_{i1}, p_{i2}, \cdots, p_{id})^t$$ $$(i = 1, \cdots, c)$$
このとき，入力ベクトル$$\bf{x} = (x_1, x_2, \cdots, x_d)^t$$とプロトタイプ$$\bf{p}_i$$との距離は次式によって求められる．
$$D(\bf{x,p}_i) = ||\bf{x - p}_i||$$
この距離を最小にするプロトタイプの属するクラスが識別器の出力となる．
（余談：２クラス問題のNN法はパーセプトロンと数学的に等価である．《[[(参考)フリーソフトでつくる 音声認識システム>http://www.amazon.co.jp/フリーソフトでつくる音声認識システム-パターン認識・機械学習の初歩から対話システムまで-荒木-雅弘/dp/4627847114/ref=sr_1_1?ie=UTF8&s=books&qid=1214203827&sr=8-1]]》）
**K-NN法
NN法では，最近傍のプロトタイプベクトルにより，入力ベクトルの識別をおこなった．
k-NN法では，最近傍の$$k$$個のプロトタイプベクトルにより，入力ベクトルの識別をおこなう．
最近傍の$$k$$個のプロトタイプベクトルを探し，その中で多数を占めたクラスを識別結果とする．
*サポートベクトルマシン（SVM）
**概要
**線型非分離な問題への対策
