神經(jīng)網(wǎng)絡(luò)是計(jì)算智能和機(jī)器學(xué)習(xí)的重要分支，在諸多領(lǐng)域都取得了很大的成功。在眾多神經(jīng)網(wǎng)絡(luò)著作中，影響最為廣泛的是Simon Haykin的《神經(jīng)網(wǎng)絡(luò)原理》（第3版更名為《神經(jīng)網(wǎng)絡(luò)與機(jī)器學(xué)習(xí)》）。在本書中，作者結(jié)合近年來(lái)神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)的最新進(jìn)展，從理論和實(shí)際應(yīng)用出發(fā)，全面、系統(tǒng)地介紹了神經(jīng)網(wǎng)絡(luò)的基本模型、方法和技術(shù)，并將神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)有機(jī)地結(jié)合在一起。
本書不但注重對(duì)數(shù)學(xué)分析方法和理論的探討，而且也非常關(guān)注神經(jīng)網(wǎng)絡(luò)在模式識(shí)別、信號(hào)處理以及控制系統(tǒng)等實(shí)際工程問(wèn)題的應(yīng)用。本書的可讀性非常強(qiáng)，作者舉重若輕地對(duì)神經(jīng)網(wǎng)絡(luò)的基本模型和主要學(xué)習(xí)理論進(jìn)行了深入探討和分析，通過(guò)大量的試驗(yàn)報(bào)告、例題和習(xí)題來(lái)幫助讀者更好地學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)。
本版在前一版的基礎(chǔ)上進(jìn)行了廣泛修訂，提供了神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)這兩個(gè)越來(lái)越重要的學(xué)科的最新分析。
本書特色：
1. 基于隨機(jī)梯度下降的在線學(xué)習(xí)算法；小規(guī)模和大規(guī)模學(xué)習(xí)問(wèn)題。
2. 核方法，包括支持向量機(jī)和表達(dá)定理。
3. 信息論學(xué)習(xí)模型，包括連接、獨(dú)立分量分析（ICA）、一致獨(dú)立分量分析和信息瓶頸。
4. 隨機(jī)動(dòng)態(tài)規(guī)劃，包括逼近和神經(jīng)動(dòng)態(tài)規(guī)劃。
5. 逐次狀態(tài)估計(jì)算法，包括卡爾曼和粒子濾波器。
6. 利用逐次狀態(tài)估計(jì)算法訓(xùn)練遞歸神經(jīng)網(wǎng)絡(luò)。
7. 富有洞察力的面向計(jì)算機(jī)的試驗(yàn)。 作者簡(jiǎn)介
Simon Haykin 于1953年獲得英國(guó)伯明翰大學(xué)博士學(xué)位，目前為加拿大McMaster大學(xué)電子與計(jì)算機(jī)工程系教授、通信研究實(shí)驗(yàn)室主任。他是國(guó)際電子電氣工程界的著名學(xué)者，曾獲得IEEE McNaughton金獎(jiǎng)。他是加拿大皇家學(xué)會(huì)院士、IEEE會(huì)士，在神經(jīng)網(wǎng)絡(luò)、通信、自適應(yīng)濾波器等領(lǐng)域成果頗豐，著有多部標(biāo)準(zhǔn)教材。
本書是關(guān)于神經(jīng)網(wǎng)絡(luò)的全面的、徹底的、可讀性很強(qiáng)的、最新的論述。全書共15章，主要內(nèi)容包括Rosenblatt感知器、通過(guò)回歸建立模型、最小均方算法、多層感知器、核方法和徑向基函數(shù)網(wǎng)絡(luò)、支持向量機(jī)、正則化理論、主分量分析、自組織映射、信息論學(xué)習(xí)模型、動(dòng)態(tài)規(guī)劃、神經(jīng)動(dòng)力學(xué)、動(dòng)態(tài)系統(tǒng)狀態(tài)估計(jì)的貝葉斯濾波等。
本書適合作為高等院校計(jì)算機(jī)相關(guān)專業(yè)研究生及本科生的教材，也可供相關(guān)領(lǐng)域的工程技術(shù)人員參考。
目錄：
出版者的話
譯者序
前言
縮寫和符號(hào)
術(shù)語(yǔ)
第0章 導(dǎo)言1
0.1 什么是神經(jīng)網(wǎng)絡(luò)1
0.2 人類大腦4
0.3 神經(jīng)元模型7
0.4 被看作有向圖的神經(jīng)網(wǎng)絡(luò)10
0.5 反饋11
0.6 網(wǎng)絡(luò)結(jié)構(gòu)13
0.7 知識(shí)表示14
0.8 學(xué)習(xí)過(guò)程20
0.9 學(xué)習(xí)任務(wù)22
0.10 結(jié)束語(yǔ)27
注釋和參考文獻(xiàn)27
第1章 Rosenblatt感知器28
1.1 引言28
1.2 感知器28
1.3 感知器收斂定理29
1.4 高斯環(huán)境下感知器與貝葉斯分類器的關(guān)系33
1.5 計(jì)算機(jī)實(shí)驗(yàn)：模式分類36
1.6 批量感知器算法38
1.7 小結(jié)和討論39
注釋和參考文獻(xiàn)39
習(xí)題40
第2章 通過(guò)回歸建立模型28
2.1 引言41
2.2 線性回歸模型：初步考慮41
2.3 參數(shù)向量的最大后驗(yàn)估計(jì)42
2.4 正則最小二乘估計(jì)和MAP估計(jì)之間的關(guān)系46
2.5 計(jì)算機(jī)實(shí)驗(yàn)：模式分類47
2.6 最小描述長(zhǎng)度原則48
2.7 固定樣本大小考慮50
2.8 工具變量方法53
2.9 小結(jié)和討論54
注釋和參考文獻(xiàn)54
習(xí)題55
第3章 最小均方算法56
3.1 引言56
3.2 LMS算法的濾波結(jié)構(gòu)56
3.3 無(wú)約束最優(yōu)化：回顧58
3.4 維納濾波器61
3.5 最小均方算法63
3.6 用馬爾可夫模型來(lái)描畫LMS算法和維納濾波器的偏差64
3.7 朗之萬(wàn)方程：布朗運(yùn)動(dòng)的特點(diǎn)65
3.8 Kushner直接平均法66
3.9 小學(xué)習(xí)率參數(shù)下統(tǒng)計(jì)LMS學(xué)習(xí)理論67
3.10 計(jì)算機(jī)實(shí)驗(yàn)Ⅰ：線性預(yù)測(cè)68
3.11 計(jì)算機(jī)實(shí)驗(yàn)Ⅱ：模式分類69
3.12 LMS算法的優(yōu)點(diǎn)和局限71
3.13 學(xué)習(xí)率退火方案72
3.14 小結(jié)和討論73
注釋和參考文獻(xiàn)74
習(xí)題74
第4章 多層感知器77
4.1 引言77
4.2 一些預(yù)備知識(shí)78
4.3 批量學(xué)習(xí)和在線學(xué)習(xí)79
4.4 反向傳播算法81
4.5 異或問(wèn)題89
4.6 改善反向傳播算法性能的試探法90
4.7 計(jì)算機(jī)實(shí)驗(yàn)：模式分類94
4.8 反向傳播和微分95
4.9 Hessian矩陣及其在在線學(xué)習(xí)中的規(guī)則96
4.10 學(xué)習(xí)率的最優(yōu)退火和自適應(yīng)控制98
4.11 泛化102
4.12 函數(shù)逼近104
4.13 交叉驗(yàn)證107
4.14 復(fù)雜度正則化和網(wǎng)絡(luò)修剪109
4.15 反向傳播學(xué)習(xí)的優(yōu)點(diǎn)和局限113
4.16 作為最優(yōu)化問(wèn)題看待的監(jiān)督學(xué)習(xí)117
4.17 卷積網(wǎng)絡(luò)126
4.18 非線性濾波127
4.19 小規(guī)模和大規(guī)模學(xué)習(xí)問(wèn)題131
4.20 小結(jié)和討論136
注釋和參考文獻(xiàn)137
習(xí)題138
第5章 核方法和徑向基函數(shù)網(wǎng)絡(luò)144
5.1 引言144
5.2 模式可分性的Cover定理144
5.3 插值問(wèn)題148
5.4 徑向基函數(shù)網(wǎng)絡(luò)150
5.5 K-均值聚類152
5.6 權(quán)向量的遞歸最小二乘估計(jì)153
5.7 RBF網(wǎng)絡(luò)的混合學(xué)習(xí)過(guò)程156
5.8 計(jì)算機(jī)實(shí)驗(yàn)：模式分類157
5.9 高斯隱藏單元的解釋158
5.10 核回歸及其與RBF網(wǎng)絡(luò)的關(guān)系160
5.11 小結(jié)和討論162
注釋和參考文獻(xiàn)164
習(xí)題165
第6章 支持向量機(jī)168
6.1 引言168
6.2 線性可分模式的最優(yōu)超平面168
6.3 不可分模式的最優(yōu)超平面173
6.4 使用核方法的支持向量機(jī)176
6.5 支持向量機(jī)的設(shè)計(jì)178
6.6 XOR問(wèn)題179
6.7 計(jì)算機(jī)實(shí)驗(yàn):模式分類181
6.8 回歸：魯棒性考慮184
6.9 線性回歸問(wèn)題的最優(yōu)化解184
6.10 表示定理和相關(guān)問(wèn)題187
6.11 小結(jié)和討論191
注釋和參考文獻(xiàn)192
習(xí)題193
第7章 正則化理論197
7.1 引言197
7.2 良態(tài)問(wèn)題的Hadamard條件198
7.3 Tikhonov正則化理論198
7.4 正則化網(wǎng)絡(luò)205
7.5 廣義徑向基函數(shù)網(wǎng)絡(luò)206
7.6 再論正則化最小二乘估計(jì)209
7.7 對(duì)正則化的附加要點(diǎn)211
7.8 正則化參數(shù)估計(jì)212
7.9 半監(jiān)督學(xué)習(xí)215
7.10 流形正則化：初步的考慮216
7.11 可微流形217
7.12 廣義正則化理論220
7.13 光譜圖理論221
7.14 廣義表示定理222
7.15 拉普拉斯正則化最小二乘算法223
7.16 用半監(jiān)督學(xué)習(xí)對(duì)模式分類的實(shí)驗(yàn)225
7.17 小結(jié)和討論227
注釋和參考文獻(xiàn)228
習(xí)題229
第8章 主分量分析232
8.1 引言232
8.2 自組織原則232
8.3 自組織的特征分析235
8.4 主分量分析：擾動(dòng)理論235
8.5 基于Hebb的最大特征濾波器241
8.6 基于Hebb的主分量分析247
8.7 計(jì)算機(jī)實(shí)驗(yàn)：圖像編碼251
8.8 核主分量分析252
8.9 自然圖像編碼中的基本問(wèn)題256
8.10 核Hebb算法257
8.11 小結(jié)和討論260
注釋和參考文獻(xiàn)262
習(xí)題264
第9章 自組織映射268
9.1 引言268
9.2 兩個(gè)基本的特征映射模型269
9.3 自組織映射270
9.4 特征映射的性質(zhì)275
9.5 計(jì)算機(jī)實(shí)驗(yàn)Ⅰ：利用SOM解網(wǎng)格動(dòng)力學(xué)問(wèn)題280
9.6 上下文映射281
9.7 分層向量量化283
9.8 核自組織映射285
9.9 計(jì)算機(jī)實(shí)驗(yàn)Ⅱ：利用核SOM解點(diǎn)陣動(dòng)力學(xué)問(wèn)題290
9.10 核SOM和相對(duì)熵之間的關(guān)系291
9.11 小結(jié)和討論293
注釋和參考文獻(xiàn)294
習(xí)題295
第10章 信息論學(xué)習(xí)模型299
10.1 引言299
10.2 熵300
10.3 最大熵原則302
10.4 互信息304
10.5 相對(duì)熵306
10.6 系詞308
10.7 互信息作為最優(yōu)化的目標(biāo)函數(shù)310
10.8 最大互信息原則311
10.9 最大互信息和冗余減少314
10.10 空間相干特征316
10.11 空間非相干特征318
10.12 獨(dú)立分量分析320
10.13 自然圖像的稀疏編碼以及與ICA編碼的比較324
10.14 獨(dú)立分量分析的自然梯度學(xué)習(xí)326
10.15 獨(dú)立分量分析的最大似然估計(jì)332
10.16 盲源分離的最大熵學(xué)習(xí)334
10.17 獨(dú)立分量分析的負(fù)熵最大化337
10.18 相關(guān)獨(dú)立分量分析342
10.19 速率失真理論和信息瓶頸347
10.20 數(shù)據(jù)的最優(yōu)流形表達(dá)350
10.21 計(jì)算機(jī)實(shí)驗(yàn)：模式分類354
10.22 小結(jié)和討論354
注釋和參考文獻(xiàn)356
習(xí)題361
第11章 植根于統(tǒng)計(jì)力學(xué)的隨機(jī)方法366
11.1 引言366
11.2 統(tǒng)計(jì)力學(xué)367
11.3 馬爾可夫鏈368
11.4 Metropolis算法374
11.5 模擬退火375
11.6 Gibbs抽樣377
11.7 Boltzmann機(jī)378
11.8 logistic信度網(wǎng)絡(luò)382
11.9 深度信度網(wǎng)絡(luò)383
11.10 確定性退火385
11.11 和EM算法的類比389
11.12 小結(jié)和討論390
注釋和參考文獻(xiàn)390
習(xí)題392
第12章 動(dòng)態(tài)規(guī)劃396
12.1 引言396
12.2 馬爾可夫決策過(guò)程397
12.3 Bellman最優(yōu)準(zhǔn)則399
12.4 策略迭代401
12.5 值迭代402
12.6 逼近動(dòng)態(tài)規(guī)劃：直接法406
12.7 時(shí)序差分學(xué)習(xí)406
12.8 Q學(xué)習(xí)410
12.9 逼近動(dòng)態(tài)規(guī)劃：非直接法412
12.10 最小二乘策略評(píng)估414
12.11 逼近策略迭代417
12.12 小結(jié)和討論419
注釋和參考文獻(xiàn)421
習(xí)題422
第13章 神經(jīng)動(dòng)力學(xué)425
13.1 引言425
13.2 動(dòng)態(tài)系統(tǒng)426
13.3 平衡狀態(tài)的穩(wěn)定性428
13.4 吸引子432
13.5 神經(jīng)動(dòng)態(tài)模型433
13.6 作為遞歸網(wǎng)絡(luò)范例的吸引子操作435
13.7 Hopfield模型435
13.8 Cohen-Grossberg定理443
13.9 盒中腦狀態(tài)模型445
13.10 奇異吸引子和混沌448
13.11 混沌過(guò)程的動(dòng)態(tài)重構(gòu)452
13.12 小結(jié)和討論455
注釋和參考文獻(xiàn)457
習(xí)題458
第14章 動(dòng)態(tài)系統(tǒng)狀態(tài)估計(jì)的貝葉斯濾波461
14.1 引言461
14.2 狀態(tài)空間模型462
14.3 卡爾曼濾波器464
14.4 發(fā)散現(xiàn)象及平方根濾波469
14.5 擴(kuò)展的卡爾曼濾波器474
14.6 貝葉斯濾波器477
14.7 數(shù)值積分卡爾曼濾波器:基于卡爾曼濾波器480
14.8 粒子濾波器484
14.9 計(jì)算機(jī)實(shí)驗(yàn)：擴(kuò)展的卡爾曼濾波器和粒子濾波器對(duì)比評(píng)價(jià)490
14.10 大腦功能建模中的
卡爾曼濾波493
14.11 小結(jié)和討論494
注釋和參考文獻(xiàn)496
習(xí)題497
第15章 動(dòng)態(tài)驅(qū)動(dòng)遞歸網(wǎng)絡(luò)501
15.1 引言501
15.2 遞歸網(wǎng)絡(luò)體系結(jié)構(gòu)502
15.3 通用逼近定理505
15.4 可控性和可觀測(cè)性507
15.5 遞歸網(wǎng)絡(luò)的計(jì)算能力510
15.6 學(xué)習(xí)算法511
15.7 通過(guò)時(shí)間的反向傳播512
15.8 實(shí)時(shí)遞歸學(xué)習(xí)515
15.9 遞歸網(wǎng)絡(luò)的消失梯度519
15.10 利用非線性逐次狀態(tài)估計(jì)的遞歸網(wǎng)絡(luò)監(jiān)督學(xué)習(xí)框架521
15.11 計(jì)算機(jī)實(shí)驗(yàn)：Mackay-Glass吸引子的動(dòng)態(tài)重構(gòu)526
15.12 自適應(yīng)考慮527
15.13 實(shí)例學(xué)習(xí)：應(yīng)用于神經(jīng)控制的模型參考529
15.14 小結(jié)和討論530
注釋和參考文獻(xiàn)533
習(xí)題534
參考文獻(xiàn)538
|
