人工神經網絡理論基礎人工神經網絡理論基礎n人工神經網絡是近年來得到迅速發(fā)展的一個前人工神經網絡是近年來得到迅速發(fā)展的一個前沿課題神經網絡由于其大規(guī)模并行處理、容沿課題神經網絡由于其大規(guī)模并行處理、容錯性、自組織和自適應能力和聯(lián)想功能強等特錯性、自組織和自適應能力和聯(lián)想功能強等特點，已成為解決很多問題的有力工具本節(jié)首點，已成為解決很多問題的有力工具本節(jié)首先對神經網絡作簡單介紹，然后介紹幾種常用先對神經網絡作簡單介紹，然后介紹幾種常用的神經網絡，包括感知器（前向神經網絡）、的神經網絡，包括感知器（前向神經網絡）、BPN（反向傳播神經網絡）和（反向傳播神經網絡）和 Hopfield網絡 人工神經網絡理論基礎1 生物神經元2 人工神經網絡發(fā)展簡史3 人工神經網絡結構4 神經網絡基本學習算法內容安排人工神經網絡理論基礎1 人工神經網絡發(fā)展簡史人工神經網絡發(fā)展簡史n最早的研究可以追溯到20世紀40年代1943年，心理學家McCulloch和數學家Pitts合作提出了形式神經元的數學模型這一模型一般被簡稱M-P神經網絡模型，至今仍在應用，可以說，人工神經網絡的研究時代，就由此開始了n1949年，心理學家Hebb提出神經系統(tǒng)的學習規(guī)則，為神經網絡的學習算法奠定了基礎。

現(xiàn)在，這個規(guī)則被稱為Hebb規(guī)則，許多人工神經網絡的學習還遵循這一規(guī)則 人工神經網絡理論基礎n1957年，F(xiàn).Rosenblatt提出“感知器”(Perceptron) 模型，第一次把神經網絡的研究從純理論的探討付諸工程實踐，掀起了人工神經網絡研究的第一次高潮n20世紀60年代以后，數字計算機的發(fā)展達到全盛時期，人們誤以為數字計算機可以解決人工智能、專家系統(tǒng)、模式識別問題，而放松了對“感知器”的研究于是，從20世紀60年代末期起，人工神經網絡的研究進入了低潮 人工神經網絡理論基礎n1982年，美國加州工學院物理學家Hopfield提出了離散的神經網絡模型，標志著神經網絡的研究又進入了一個新高潮1984年，Hopfield又提出連續(xù)神經網絡模型，開拓了計算機應用神經網絡的新途徑n1986年，Rumelhart和Meclelland提出多層網絡的誤差反傳(back propagation)學習算法，簡稱BP算法BP算法是目前最為重要、應用最廣的人工神經網絡算法之一 人工神經網絡理論基礎n自20世紀80年代中期以來，世界上許多國家掀起了神經網絡的研究熱潮，可以說神經網絡已成為國際上的一個研究熱點。

人工神經網絡理論基礎2 生物神經元生物神經元n 生物神經元n 突觸信息處理n 信息傳遞功能與特點人工神經網絡理論基礎一、生物神經元n神經元是大腦處理信息的基本單元n人腦約由101l-1012個神經元組成，其中，每個神經元約與104-105個神經元通過突觸聯(lián)接，形成極為錯縱復雜而且又靈活多變的神經網絡n神經元以細胞體為主體，由許多向周圍延伸的不規(guī)則樹枝狀纖維構成的神經細胞，其形狀很像一棵枯樹的枝干n主要由細胞體、樹突、軸突和突觸(Synapse，又稱神經鍵)組成 人工神經網絡理論基礎 生物神經元網絡結構生物神經元網絡結構 樹突是樹狀的神經纖維接收網絡，它將電信號傳送到細胞體樹突是樹狀的神經纖維接收網絡，它將電信號傳送到細胞體 細胞體對這些輸入信號進行整合并進行閾值處理細胞體對這些輸入信號進行整合并進行閾值處理 軸突是單根長纖維，它把細胞體的輸出信號導向其他神經元軸突是單根長纖維，它把細胞體的輸出信號導向其他神經元 一個神經細胞的軸突和另一個神經細胞樹突的結合點稱為突觸一個神經細胞的軸突和另一個神經細胞樹突的結合點稱為突觸 神經元的排列和突觸的強度神經元的排列和突觸的強度( (由復雜的化學過程決定由復雜的化學過程決定) )確立了神經網絡確立了神經網絡的功能。

的功能 人工神經網絡理論基礎生物學研究表明一些神經結構是與生俱來的，而其他部分則是在學習的過程中形成的在學習的過程中，可能會產生一些新的連接，也可能會使以前的一些連接消失這個過程在生命早期最為顯著人工神經網絡理論基礎二、突觸的信息處理二、突觸的信息處理n生物神經元傳遞信息的過程為多輸入、單輸出；n神經元各組成部分的功能來看，信息的處理與傳遞主要發(fā)生在突觸附近；n當神經元細胞體通過軸突傳到突觸前膜的脈沖幅度達到一定強度，即超過其閾值電位后，突觸前膜將向突觸間隙釋放神經傳遞的化學物質；n突觸有兩種類型，興奮性突觸和抑制性突觸前者產生正突觸后電位，后者產生負突觸后電位人工神經網絡理論基礎三、信息傳遞功能與特點三、信息傳遞功能與特點 具有時空整合能力具有時空整合能力不可逆性，脈沖只從突觸前傳到突觸后，不逆向傳遞不可逆性，脈沖只從突觸前傳到突觸后，不逆向傳遞 神經纖維傳導的速度，即脈沖沿神經纖維傳遞的速度，在神經纖維傳導的速度，即脈沖沿神經纖維傳遞的速度，在1150m1150ms s之間之間 信息傳遞時延和不應期，一般為信息傳遞時延和不應期，一般為0.30.3lmslms可塑性，突觸傳遞信息的強度是可變的，即具有學習功能可塑性，突觸傳遞信息的強度是可變的，即具有學習功能 存在學習、遺忘或疲勞（飽和）效應存在學習、遺忘或疲勞（飽和）效應q對應突觸傳遞作用增強、減弱和飽和對應突觸傳遞作用增強、減弱和飽和人工神經網絡理論基礎2、生物神經系統(tǒng)的六個基本特征：、生物神經系統(tǒng)的六個基本特征：1）神經元及其聯(lián)接神經元及其聯(lián)接；2）神經元之間的聯(lián)接強度決定信號傳遞的強弱；神經元之間的聯(lián)接強度決定信號傳遞的強弱；3）神經元之間的聯(lián)接強度是可以隨訓練改變的；）神經元之間的聯(lián)接強度是可以隨訓練改變的；4）信號可以是起刺激作用的，也可以是起抑制作用的；）信號可以是起刺激作用的，也可以是起抑制作用的；5）一個神經元接受的信號的累積效果決定該神經元的）一個神經元接受的信號的累積效果決定該神經元的狀態(tài)；狀態(tài)；6) 每個神經元可以有一個每個神經元可以有一個“閾值閾值”。

人工神經網絡理論基礎3 人工神經網絡結構人工神經網絡結構n人工神經網絡人工神經網絡n人工神經元模型人工神經元模型n常見的神經元激發(fā)函數常見的神經元激發(fā)函數n人工神經網絡典型結構人工神經網絡典型結構人工神經網絡理論基礎 1.人工神經網絡（人工神經網絡（Artificial Neural Network-ANN）常常簡稱為神經網絡（）常常簡稱為神經網絡（NN），是以計），是以計算機網絡系統(tǒng)模擬生物神經網絡的智能計算系算機網絡系統(tǒng)模擬生物神經網絡的智能計算系統(tǒng)，統(tǒng)， 是對人腦或自然神經網絡的若干基本特是對人腦或自然神經網絡的若干基本特性的抽象和模擬性的抽象和模擬 一、人工神經網絡一、人工神經網絡人工神經網絡理論基礎n直觀理解直觀理解 q神經網絡是一個并行和分布式的信息處理網絡結構神經網絡是一個并行和分布式的信息處理網絡結構q它一般由大量神經元組成它一般由大量神經元組成n每個神經元只有一個輸出，可以連接到很多其他的神經元每個神經元只有一個輸出，可以連接到很多其他的神經元n每個神經元輸入有多個連接通道，每個連接通道對應于一每個神經元輸入有多個連接通道，每個連接通道對應于一個連接權系數個連接權系數 人工神經網絡理論基礎n2.人工神經網絡的基本特征人工神經網絡的基本特征(1)結構特征并行處理、分步式存儲與容錯性(2)能力特征自學習、自組織與自適應性 自適應性自適應性是指一個系統(tǒng)能改變自身的性能以適應環(huán)境變化的能力。

神經網絡的自學習自學習是指當外界環(huán)境發(fā)生變化時，經過一段時間的訓練或感知，神經網絡能通過自動調整網絡結構參數，使得對于結定輸入能產 生期望的輸出，訓練是神經網絡學刁的途徑，因此經常將學習與訓練兩 個詞混用 神經系統(tǒng)能在外部刺激下按一定規(guī)則調整神經元之間的突觸連接，逐漸構建起神經網絡，這一構建過程稱為網絡的自組織自組織(或稱重構)人工神經網絡理論基礎聯(lián)想記憶聯(lián)想記憶非線性映射非線性映射許多系統(tǒng)的輸入與輸出之間存在復雜的非線性關系，設計合理的神經網絡通過對系統(tǒng)輸入輸出樣本對進行自動學習，能夠以任意精度逼近任意復雜的非線性映射神經網絡的這一優(yōu)良性能使其可以作為多維非線性函數的通用數學模型分類與識別分類與識別對輸入樣本的分類實際上是在樣本空間找出符合分類要求的分割區(qū)域，每個區(qū)域內的樣本屬于一類客觀世界中許多事物在樣本空間上的區(qū)域分割曲面是十分復雜的，神經網絡可以很好地解決對非線性曲面的逼近，因此具有很好的分類與識別能力優(yōu)化計算優(yōu)化計算知識處理知識處理3.神經網絡的基本功能神經網絡的基本功能人工神經網絡理論基礎 1943，神經生理學家，神經生理學家 McCulloch 和數學家和數學家 Pitts 基于早期神經元學說，歸納總結了生物神經基于早期神經元學說，歸納總結了生物神經元的基本特性，建立了具有邏輯演算功能的神經元的基本特性，建立了具有邏輯演算功能的神經元模型以及這些人工神經元互聯(lián)形成的人工神經元模型以及這些人工神經元互聯(lián)形成的人工神經網絡，即所謂的網絡，即所謂的 McCulloch-Pitts 模型。

模型 McCulloch-Pitts 模型（模型（MP模型）是世界上第模型）是世界上第一個神經計算模型，即人工神經系統(tǒng)一個神經計算模型，即人工神經系統(tǒng)二、人工神經元模型二、人工神經元模型 人工神經網絡理論基礎MP模型：模型：稱為作用函數或激發(fā)函數稱為作用函數或激發(fā)函數人工神經網絡理論基礎n MP模型模型n 作用函數作用函數n 求和操作求和操作1( )()niijijijyf xfw uijnjjiiuwx1人工神經網絡理論基礎n MP模型模型 f(x)是作用函數是作用函數(Activation Function)，也稱激發(fā)函數也稱激發(fā)函數MP神經元模型中的作用函數為單位階躍函數：神經元模型中的作用函數為單位階躍函數： 其表達式為：其表達式為：0,00,1)(xxxf人工神經網絡理論基礎激發(fā)函數的基本作用激發(fā)函數的基本作用 控制輸入對輸出的激活作用控制輸入對輸出的激活作用對輸入、輸出進行函數轉換對輸入、輸出進行函數轉換將可能無限域的輸入變換成指定的有限范圍內的輸出將可能無限域的輸入變換成指定的有限范圍內的輸出 可知當神經元可知當神經元i i的輸入信號加權和超過閾值時，輸出為的輸入信號加權和超過閾值時，輸出為“1”1”，即，即“興奮興奮”狀態(tài)；反之輸出為狀態(tài)；反之輸出為“0”0”，是，是“抑制抑制”狀態(tài)。

狀態(tài) n MP模型模型人工神經網絡理論基礎例例、實現(xiàn)邏輯函數“與門”（AND gate）運算1 真，0假人工神經網絡理論基礎人工神經網絡理論基礎三、常見的神經元激發(fā)函數三、常見的神經元激發(fā)函數 MP 神經元模型是人工神經元模型的基礎，也是神經神經元模型是人工神經元模型的基礎，也是神經網絡理論的基礎在神經元模型中，作用函數除了單位階網絡理論的基礎在神經元模型中，作用函數除了單位階躍函數之外，還有其它形式不同的作用函數，可構成不躍函數之外，還有其它形式不同的作用函數，可構成不同的神經元模型同的神經元模型人工神經網絡理論基礎1、對稱型、對稱型Sigmoid函數函數 xxeexf11)(0,11)(xxeexf或或人工神經網絡理論基礎2、非對稱型、非對稱型Sigmoid函數函數xexf11)(或或0,11)(xexf人工神經網絡理論基礎3、對稱型階躍函數函數、對稱型階躍函數函數0,10,1)(xxxf采用階躍作用函數的神經元，稱為閾值邏輯單元采用階躍作用函數的神經元，稱為閾值邏輯單元 人工神經網絡理論基礎4、線性函數、線性函數 （1 1）線性作用函數：輸出等于輸入，即）線性作用函數：輸出等于輸入，即 xxfy)(（2 2）飽和線性作用函數）飽和線性作用函數 110010)(xxxxxfy（3 3）對稱飽和線性作用函數）對稱飽和線性作用函數 111111)(xxxxxfy人工神經網絡理論基礎5、高斯函數、高斯函數 )(22)(xexf反映出高斯函數的寬度反映出高斯函數的寬度 人工神經網絡理論基礎n眾所周知，神經網絡強大的計算功能是通過神經元的互眾所周知，神經網絡強大的計算功能是通過神經元的互連而達到的。

根據神經元的拓撲結構形式不同，神經網絡連而達到的根據神經元的拓撲結構形式不同，神經網絡可分成以下兩大類：可分成以下兩大類：四、人工神經網絡的典型結構四、人工神經網絡的典型結構n目前，神經網絡模型的種類比較多，已有近目前，神經網絡模型的種類比較多，已有近4040余種神經余種神經網絡模型，其中典型的有網絡模型，其中典型的有BPBP網絡、網絡、HopfieldHopfield網絡、網絡、CMACCMAC小小腦模型、腦模型、ARTART自適應共振理論和自適應共振理論和BlotzmanBlotzman機網絡等機網絡等人工神經網絡理論基礎1 1、層次型神經網絡、層次型神經網絡（1 1）前向神經網絡）前向神經網絡 神經元分層排列，順序連接由輸神經元分層排列，順序連接由輸入層施加輸入信息，通過中間各層，加權后傳遞到輸出入層施加輸入信息，通過中間各層，加權后傳遞到輸出層后輸出每層的神經元只接受前一層神經元的輸入，層后輸出每層的神經元只接受前一層神經元的輸入，各神經元之間不存在反饋各神經元之間不存在反饋感知器感知器(Perceptron)(Perceptron)、BPBP神經網絡和徑向基函數神經網絡和徑向基函數(RBF-(RBF-Redial Basis Function)Redial Basis Function)神經網絡都屬于這種類型。

神經網絡都屬于這種類型 人工神經網絡理論基礎（2 2）層內有互聯(lián)的前向神經網絡）層內有互聯(lián)的前向神經網絡 在前向神經網絡中有在前向神經網絡中有的在同一層中的各神經元相互有連接的在同一層中的各神經元相互有連接, ,通過層內神經元的通過層內神經元的相互結合，可以實現(xiàn)同一層內神經元之間的橫向抑制或興相互結合，可以實現(xiàn)同一層內神經元之間的橫向抑制或興奮機制，這樣可以限制每層內能同時動作的神經元數，或奮機制，這樣可以限制每層內能同時動作的神經元數，或者把每層內的神經元分為若干組，讓每組作為一個整體來者把每層內的神經元分為若干組，讓每組作為一個整體來動作 人工神經網絡理論基礎（3 3）有反饋的前向神經網絡）有反饋的前向神經網絡 在層次網絡結構中，只在在層次網絡結構中，只在輸出層到輸入層存在反饋，即每一個輸入節(jié)點都有可能接輸出層到輸入層存在反饋，即每一個輸入節(jié)點都有可能接受來自外部的輸入和來自輸出神經元的反饋這種模式可受來自外部的輸入和來自輸出神經元的反饋這種模式可用來存儲某種模式序列，如神經認知機即屬于此類，也可用來存儲某種模式序列，如神經認知機即屬于此類，也可以用于動態(tài)時間序列過程的神經網絡建模。

以用于動態(tài)時間序列過程的神經網絡建模 人工神經網絡理論基礎2 2、互聯(lián)型神經網絡、互聯(lián)型神經網絡 在互連網絡模型中，任意兩個神經元之間都可能有相在互連網絡模型中，任意兩個神經元之間都可能有相互連接的關系其中，有的神經元之間是雙向的，有的是互連接的關系其中，有的神經元之間是雙向的，有的是單向的 HopfieldHopfield網絡、網絡、BoltzmanBoltzman機網絡屬于這一類機網絡屬于這一類 在無反饋的前向網絡中，信號一旦通過某個神經元，過程就結在無反饋的前向網絡中，信號一旦通過某個神經元，過程就結束了而在互連網絡中，信號要在神經元之間反復往返傳遞，束了而在互連網絡中，信號要在神經元之間反復往返傳遞，神經網絡處在一種不斷改變狀態(tài)的動態(tài)之中從某個初始狀態(tài)神經網絡處在一種不斷改變狀態(tài)的動態(tài)之中從某個初始狀態(tài)開始，經過若干次的變化，才會到達某種平衡狀態(tài)，根據神經開始，經過若干次的變化，才會到達某種平衡狀態(tài)，根據神經網絡的結構和神經元的特性，還有可能進入周期振蕩或其它如網絡的結構和神經元的特性，還有可能進入周期振蕩或其它如渾沌等平衡狀態(tài)渾沌等平衡狀態(tài)人工神經網絡理論基礎二、神經網絡的學習規(guī)則二、神經網絡的學習規(guī)則n聯(lián)想式學習聯(lián)想式學習 Hebb學習規(guī)則學習規(guī)則n誤差糾正式學習誤差糾正式學習Delta ()學習規(guī)則學習規(guī)則 3 神經網絡的神經網絡的基本學習方式和學習規(guī)則基本學習方式和學習規(guī)則一、神經網絡的學習方式一、神經網絡的學習方式n有監(jiān)督（誤差校正）學習方式有監(jiān)督（誤差校正）學習方式n無監(jiān)督學習方式無監(jiān)督學習方式人工神經網絡理論基礎n人工神經網絡連接權的確定通常有兩種方法q根據具體要求，直接計算，如Hopfield網絡作優(yōu)化計算q通過學習得到的。

大多數人工神經網絡都采用這種方法 n學習是改變各神經元連接權值的有效方法，也是體現(xiàn)人工神經網絡智能特性最主要的標志離開了學習，神經網絡就失去了誘人的自適應、自組織能力學習方法是人工神經網絡研究中的核心問題學習方法是人工神經網絡研究中的核心問題人工神經網絡理論基礎1 1、有監(jiān)督學習方式、有監(jiān)督學習方式特點：特點：不能保證得到全局最優(yōu)解不能保證得到全局最優(yōu)解要求大量訓練樣本，收斂速度慢要求大量訓練樣本，收斂速度慢對樣本地表示次序變化比較敏感對樣本地表示次序變化比較敏感 神經網絡根據實際輸出與期望輸出的偏差，按照一定的神經網絡根據實際輸出與期望輸出的偏差，按照一定的準則調整各神經元連接的權系數，見下圖期望輸出又稱準則調整各神經元連接的權系數，見下圖期望輸出又稱為導師信號，是評價學習的標準，故這種學習方式又稱為為導師信號，是評價學習的標準，故這種學習方式又稱為有導師學習有導師學習一、神經網絡的學習方式一、神經網絡的學習方式人工神經網絡理論基礎 無導師信號提供給網絡，神經網絡僅僅根據其輸入無導師信號提供給網絡，神經網絡僅僅根據其輸入調整連接權系數和閾值，此時，網絡的學習評價標準隱調整連接權系數和閾值，此時，網絡的學習評價標準隱含于內部。

其結構見下圖這種學習方式主要完成聚類含于內部其結構見下圖這種學習方式主要完成聚類操作 2 2、無監(jiān)督學習方式、無監(jiān)督學習方式一、神經網絡的學習方式一、神經網絡的學習方式人工神經網絡理論基礎nDonall Hebb根據生理學中的條件反射機理，于根據生理學中的條件反射機理，于1949年提年提出的神經元連接強度變化的規(guī)則：出的神經元連接強度變化的規(guī)則：q如果兩個神經元同時興奮如果兩個神經元同時興奮(即同時被激活即同時被激活)，則它們之，則它們之間的突觸連接加強間的突觸連接加強 q 為學習速率，為學習速率，oi、oj為神經元為神經元 i 和和 j 的輸出的輸出1 1、聯(lián)想式學習、聯(lián)想式學習 Hebb Hebb學習規(guī)則學習規(guī)則ijijwooHebb學習規(guī)則是人工神經網絡學習的基本規(guī)則，幾乎所學習規(guī)則是人工神經網絡學習的基本規(guī)則，幾乎所有神經網絡的學習規(guī)則都可以看作有神經網絡的學習規(guī)則都可以看作Hebb學習規(guī)則的變形學習規(guī)則的變形二、神經網絡的學習規(guī)則二、神經網絡的學習規(guī)則人工神經網絡理論基礎2 2、糾錯式學習、糾錯式學習 Delta() Delta()學習規(guī)則學習規(guī)則 二、神經網絡的學習規(guī)則二、神經網絡的學習規(guī)則 首先我們考慮一個簡單的情況：設某神經網絡的輸首先我們考慮一個簡單的情況：設某神經網絡的輸出層中只有一個神經元出層中只有一個神經元i，給該神經網絡加上輸入，這樣，給該神經網絡加上輸入，這樣就產生了輸出就產生了輸出yi(n)，稱該輸出為實際輸出。

稱該輸出為實際輸出 對于所加上的輸入，我們期望該神經網絡的輸出為對于所加上的輸入，我們期望該神經網絡的輸出為d(n),稱為期望輸出或目標輸出（樣本對里面包含輸入和稱為期望輸出或目標輸出（樣本對里面包含輸入和期望輸出）實際輸出與期望輸出之間存在著誤差，用期望輸出）實際輸出與期望輸出之間存在著誤差，用e(n)表示：表示：( )= ( )- ( )ie nd n y n人工神經網絡理論基礎 現(xiàn)在要調整權值，是誤差信號現(xiàn)在要調整權值，是誤差信號e(n)減小到一個范圍減小到一個范圍為此，可設定代價函數或性能指數為此，可設定代價函數或性能指數E(n)：21( )=( )2E ne n 反復調整突觸權值使代價函數達到最小或者使系統(tǒng)達反復調整突觸權值使代價函數達到最小或者使系統(tǒng)達到一個穩(wěn)定狀態(tài)（及突觸權值穩(wěn)定不變），就完成了該學到一個穩(wěn)定狀態(tài)（及突觸權值穩(wěn)定不變），就完成了該學習過程 該學習過程成為糾錯學習，或該學習過程成為糾錯學習，或Delta學習規(guī)則學習規(guī)則 wij 表示神經元表示神經元xj到到xj學的突觸權值，在學習步驟為學的突觸權值，在學習步驟為n時時對突觸權值的調整為：對突觸權值的調整為：( )=( )( )ijjw ne n x n學習速學習速率參數率參數則則(1)=( )+( )ijijijw nw nw n人工神經網絡理論基礎人工神經網絡的仿真人工神經網絡的仿真網絡的運行一般分為訓練和仿真訓練和仿真兩個階段。

訓練的目的是為了從訓練數據中提取隱含的知識和規(guī)律，并存儲于網絡中供仿真工作階段使用神經網絡的仿真過程神經網絡的仿真過程實質上是神經網絡根據網絡輸入數據，通過數值計算得出相應網絡輸出的過程通過仿真，我們可以及時了解當前神經網絡的性能從而決定是否對網絡進行進一步的訓練人工神經網絡理論基礎典型的神經網絡模型：典型的神經網絡模型： 感知器、 線性神經網絡、 BP網絡、 徑向基函數網絡、 競爭學習網絡 反饋神經網絡等人工神經網絡理論基礎感知器模型是美國學者羅森勃拉特（Rosenblatt）為研究大腦的存儲、學習和認知過程而提出的一類具有自學習能力的神經網絡模型，它把神經網絡的研究從純理論探討引向了從工程上的實現(xiàn) Rosenblatt提出的感知器模型是一個只有單層計算單元的前向神經網絡，稱為單層感知器感知器特別適合于簡單的模式分類問題，也可用于基于模式分類的學習控制和多模態(tài)控制中 感知器神經網絡人工神經網絡理論基礎采用閾值函數作為神經元的傳遞函數傳遞函數是感知器神經元的典型特征感知器神經網絡的學習規(guī)則學習規(guī)則函數1earnp是在感知器神經網絡學習過程中計算網絡權值和閾值修正量最基本的規(guī)則函數p為輸入矢量，學習誤差e為目標矢量t和網絡實際輸出矢量a之間的差值人工神經網絡理論基礎感知器神經網絡的訓練感知器神經網絡的訓練 感知器的訓練主要是反復對感知器神經網絡進行仿真和學習，最終得到最優(yōu)的網絡閥值和權值 1） 確定我們所解決的問題的輸入向量P、目標向量t，并確定 各向量的維數，以及網絡結構大小、神經元數目。

2）初始化：權值向量w和閥值向量b分別賦予1,+1之間的 隨機值，并且給出訓練的最大次數3）根據輸入向量P、最新權值向量w和閥值向量b，計算網絡 輸出向量a4）檢查感知器輸出向量與目標向量是否一致，或者是否達到 了最大的訓練次數，如果是則結束訓練，否則轉入（5）5）根據感知器學習規(guī)則調查權向量，并返回3）人工神經網絡理論基礎感知器神經網絡應用舉例感知器神經網絡應用舉例 兩種蠓蟲Af和Apf已由生物學家W.L.Grogan與w. w. Wirth(1981)根據它們觸角長度和翼長中以區(qū)分見下表中9Af蠓和6只Apf蠓的數據根據給出的觸角長度和翼長可識別出一只標本是Af還是Apf1給定一只Af或者Apf族的蒙，你如何正確地區(qū)分它屬于哪一族？2將你的方法用于觸角長和翼中分別為（1.24,1.80）、（1.28,1.84）、(1.40,2.04)的三個標本 Af觸重長1.241.361.381.3781.381.401.481.541.56翼 長1.721.741.641.821.901.701.701.822.08Apf觸角長1.141.181.201.261.281.30翼 長1.781.961.862.002.001.96人工神經網絡理論基礎輸入向量為：p=1.24 1.36 1.38 1.378 1.38 1.40 1.48 1.54 1.56 1.14 1.18 1.20 1.26 1.28 1.30;1.72 1.74 1.64 1.82 1.90 1.70 1.70 1.82 2.08 1.78 1.96 1.86 2.00 2.00 1.96 目標向量為：t=1 1 1 1 1 1 1 1 1 0 0 0 0 0 0圖形顯示，目標值1對應的用“+”、目標值0對應的用“o”來表示：plotpv(p，t) 人工神經網絡理論基礎為解決該問題，利用函數newp構造輸入量在0，2.5之間的感知器神經網絡模型：net=newp(0 2.5；0 2.5，1)初始化網絡：net=init(net)利用函數adapt調整網絡的權值和閥值，直到誤差為0時訓練結束：net, y, e=adapt(net, p, t)訓練結束后可得如左圖的分類方式，可見感知器網絡將樣本正確地分成兩類0.911.11.21.31.41.51.61.71.81.41.51.61.71.81.922.12.22.3Vectors to be ClassifiedP(1)P(2)Neural Network Toolbox人工神經網絡理論基礎感知器網絡訓練結束后，可以利用函數sim進行仿真，解決實際的分類問題：p1=1.24;1.80 a1=sim(net,p1)p2=1.28;1.84 a2=sim(net,p2)p3=1.40;2.04 a3=sim(net,p3)網絡仿真結果為：a1=0 a2=0 a3=0 人工神經網絡理論基礎線性神經網絡線性神經網絡：線性神經網絡的主要用途主要用途是線性逼近一個函數表達式，具有聯(lián)想功能。

另外，它還適用于信號處理濾波、預測、模式識別和控制等方面 R維輸入的單層(包含S個神經元)線性神經網絡模型線性神經網絡權值和闡值的學習規(guī)則學習規(guī)則采用的是基于最小二乘原理的Widrow-Hoff學習算法人工神經網絡理論基礎BP神經網絡神經網絡：主要用于函數逼近、模式識別、分類以及數據壓縮等方面 具有單隱層的BP神經網絡模型輸入維數為2，隱層含有4個神經元人工神經網絡理論基礎徑向基函數網絡徑向基函數網絡：模型中采用高斯函數radbas作為徑向基神經元的傳遞函數傳遞函數；學習算法學習算法常用的有兩種：一種是無導師學習，另一種便是有導師學習 人工神經網絡理論基礎競爭學習網絡競爭學習網絡：Kohoneo學習規(guī)則學習規(guī)則模塊c表示競爭傳遞傳遞函數函數，其輸出矢量由競爭層各神經元的輸出組成，除在競爭中獲勝的神經元外，其余神經元的輸出都為零競爭傳遞函數輸入矢量n中的最大元素所對應的神經元是競爭中的獲勝者，其輸出固定為1人工神經網絡理論基礎E1man反饋網絡反饋網絡：主要用于信號檢測和預測等方面,網絡在訓練時采用基于誤差反向傳播算法的學習函數學習函數，如trainlm、trainbfg、trainrp、traingd等模塊D表示時延環(huán)節(jié)人工神經網絡理論基礎HopfieId反饋網絡反饋網絡：主要用于聯(lián)想記憶、聚類和優(yōu)化計算等方面，神經元傳遞函數傳遞函數為對稱飽和線性函數satlins模塊 表示時延環(huán)節(jié)D人工神經網絡理論基礎。