如何自學(xué)機(jī)器學(xué)習(xí)？需要哪些數(shù)理基礎(chǔ)？怎樣從入門到進(jìn)階，成就大神之路？對(duì)于這些問題，作為畢業(yè)后投身機(jī)器學(xué)習(xí)研究的數(shù)學(xué)博士、微軟亞洲研究院機(jī)器學(xué)習(xí)組主管研究員陳薇無疑是最有發(fā)言權(quán)的。在這篇書單推薦中，她從機(jī)器學(xué)習(xí)綜述、算法優(yōu)化、理論延展、數(shù)學(xué)基礎(chǔ)四大方面入手，為大家提供一份機(jī)器學(xué)習(xí)的“完全指南”。
在這個(gè)言必談“AI”的時(shí)代，機(jī)器學(xué)習(xí)是重要的算法內(nèi)核，而數(shù)學(xué)是理解和改進(jìn)機(jī)器學(xué)習(xí)算法的必經(jīng)之路。因此，我將在這篇文章中梳理機(jī)器學(xué)習(xí)的關(guān)鍵模塊和與之聯(lián)系的數(shù)學(xué)理論分支，列出一份機(jī)器學(xué)習(xí)的數(shù)學(xué)書單。
機(jī)器學(xué)習(xí)綜述篇
機(jī)器學(xué)習(xí)算法的一般流程，是按照學(xué)習(xí)問題的性質(zhì)設(shè)計(jì)模型，利用優(yōu)化算法來最小化模型的正則化經(jīng)驗(yàn)風(fēng)險(xiǎn)，從而學(xué)習(xí)出最優(yōu)模型，然后應(yīng)用到新的測試數(shù)據(jù)上。根據(jù)學(xué)習(xí)問題、模型、優(yōu)化算法、正則化方法的不同，學(xué)習(xí)算法分為許多種類。瀏覽機(jī)器學(xué)習(xí)算法綜述類書籍的目錄，就不難發(fā)現(xiàn)機(jī)器學(xué)習(xí)的算法體系。以下3本機(jī)器學(xué)習(xí)綜述類書籍，能幫助你建立對(duì)機(jī)器學(xué)習(xí)的整體認(rèn)知：
1）Pattern recognition and machine learning
作者：Christoper M. Bishop
適合人群：初級(jí)到中級(jí)學(xué)者
推薦指數(shù)：★★★★★
主要內(nèi)容：本書全面介紹了模式識(shí)別和機(jī)器學(xué)習(xí)，包括近年來的最新發(fā)展。如果你對(duì)機(jī)器學(xué)習(xí)、統(tǒng)計(jì)學(xué)、信號(hào)處理、計(jì)算機(jī)視覺、數(shù)據(jù)挖掘等方向感興趣，都可以學(xué)習(xí)這本書。在打開這本書前，你不需要有模式識(shí)別或機(jī)器學(xué)習(xí)的知識(shí)，但至少要熟悉多元微積分和基本線性代數(shù)，有一些概率論知識(shí)會(huì)更好，書中也會(huì)有對(duì)基本概率理論的介紹。
推薦理由：這本書淺顯易懂，生動(dòng)形象，較為全面地涵蓋了線性回歸、神經(jīng)網(wǎng)絡(luò)、核方法等經(jīng)典的監(jiān)督機(jī)器學(xué)習(xí)算法，以及非監(jiān)督的概率圖模型和EM算法，非常適合初步接觸機(jī)器學(xué)習(xí)算法的讀者們。
2）Neural networks and learning machines
作者：Simon Haykin
適合人群：初級(jí)到中級(jí)學(xué)者
推薦指數(shù)：★★★★★
主要內(nèi)容：本書共15章，是關(guān)于神經(jīng)網(wǎng)絡(luò)的非常全面的、最新的論述，內(nèi)容包括Rosenblatt感知器、回歸模型、多層感知器、核方法和徑向基函數(shù)網(wǎng)絡(luò)、支持向量機(jī)、正則化理論、信息論學(xué)習(xí)模型等。
推薦理由：這本書從神經(jīng)網(wǎng)絡(luò)講起，循序漸進(jìn)，從感知機(jī)、多層感知機(jī)、徑向基函數(shù)感知機(jī)，過渡到核方法和SVM，然后討論學(xué)習(xí)算法與信息論和統(tǒng)計(jì)的關(guān)聯(lián)關(guān)系，最后介紹動(dòng)態(tài)系統(tǒng)的學(xué)習(xí)及其與遞歸神經(jīng)網(wǎng)絡(luò)的關(guān)系。
3）Deep Learning
作者：Ian Goodfellow, Yuoshua Bengio, Aaron Couville
適合人群：初級(jí)到中級(jí)學(xué)者
推薦指數(shù)：★★★★★
主要內(nèi)容：本書是深度學(xué)習(xí)領(lǐng)域奠基性的經(jīng)典教材，包含三部分：一，介紹基本的數(shù)學(xué)工具和機(jī)器學(xué)習(xí)的概念，作為深度學(xué)習(xí)的預(yù)備知識(shí)；二，系統(tǒng)深入地講解現(xiàn)今已成熟的深度學(xué)習(xí)方法和技術(shù)；三，討論具有前瞻性的方向和想法，它們是深度學(xué)習(xí)未來的研究重點(diǎn)。本書適合各個(gè)相關(guān)專業(yè)的學(xué)生，以及不具有機(jī)器學(xué)習(xí)或統(tǒng)計(jì)背景的軟件工程師，來快速補(bǔ)充深度學(xué)習(xí)知識(shí)并將其投入實(shí)際應(yīng)用。
推薦理由：這本書側(cè)重深度學(xué)習(xí)在2006年再次興起、獲得更大成功之后的新進(jìn)展，尤其介紹了深度學(xué)習(xí)在自然語言處理、語音識(shí)別、計(jì)算機(jī)視覺、在線推薦等中的應(yīng)用，而且包含了表達(dá)學(xué)習(xí)這一研究視角。
機(jī)器學(xué)習(xí)算法優(yōu)化篇
機(jī)器學(xué)習(xí)算法的最終性能會(huì)受到三個(gè)因素的影響：模型空間的表達(dá)力、優(yōu)化算法的收斂速率、泛化能力。在表達(dá)力方面，除了神經(jīng)網(wǎng)絡(luò)的普遍逼近定理之外，定量的研究非常有限。推薦以下3本介紹優(yōu)化算法的書籍：
1）Convex optimization
作者：Steve Boyd
適合人群：初級(jí)到中級(jí)學(xué)者
推薦指數(shù)：★★★★★
主要內(nèi)容：本書分為理論、應(yīng)用、算法三大部分。理論部分介紹基礎(chǔ)概念、知識(shí)和方法；應(yīng)用部分介紹凸優(yōu)化在解決逼近與擬合、統(tǒng)計(jì)估計(jì)和幾何關(guān)系分析這三類實(shí)際問題中的應(yīng)用；算法部分介紹求解無約束凸優(yōu)化模型、等式約束凸優(yōu)化模型以及包含不等式約束的凸優(yōu)化模型的經(jīng)典數(shù)值方法，以及如何利用凸優(yōu)化理論分析這些方法的收斂性質(zhì)。
推薦理由：內(nèi)容全面，側(cè)重算法，更適合初學(xué)者，能夠幫助讀者對(duì)凸優(yōu)化理論和方法建立完整的認(rèn)識(shí)。
2）Convex analysis and optimization
作者：Dimitri P. Bertsekas et,al.
適合人群：中級(jí)到高級(jí)學(xué)者
推薦指數(shù)：★★★★★
主要內(nèi)容：本書對(duì)凸分析及其優(yōu)化進(jìn)行了全面的闡述，除此之外，還通過引入一些新的分析視角來重構(gòu)該主題理論。
推薦理由：本書側(cè)重凸算法的性質(zhì)，更適合對(duì)凸分析感興趣的學(xué)者。
3）The nature of Statistical learning theory
作者：Vladimir Vapnik
適合人群：中級(jí)到高級(jí)學(xué)者
推薦指數(shù)：★★★★★
主要內(nèi)容：本書討論了統(tǒng)計(jì)理論背后的基本思想，包括學(xué)習(xí)和概括。作者將學(xué)習(xí)視為基于經(jīng)驗(yàn)數(shù)據(jù)的函數(shù)估計(jì)的一般問題，重點(diǎn)討論了學(xué)習(xí)理論及其與統(tǒng)計(jì)學(xué)的關(guān)系，進(jìn)一步發(fā)展了學(xué)習(xí)理論和SVM算法。
推薦理由：在泛化方面，除了可以參考綜述類書籍的正則化技術(shù)章節(jié)之外，Vapnik的這本書將泛化性能描述成統(tǒng)計(jì)推斷問題，提出了著名的VC容度來解答泛化問題，并由此設(shè)計(jì)了結(jié)構(gòu)風(fēng)險(xiǎn)最小原則，引出SVM算法。
近幾年，深度學(xué)習(xí)的理論受到學(xué)術(shù)界的廣泛關(guān)注，希望不遠(yuǎn)的將來我們能對(duì)深度學(xué)習(xí)的逼近、優(yōu)化、泛化有更深入全面的了解，涌現(xiàn)出一批深度學(xué)習(xí)理論的書籍。
機(jī)器學(xué)習(xí)理論延展篇
前文中的機(jī)器學(xué)習(xí)理論均以統(tǒng)計(jì)學(xué)描述學(xué)習(xí)算法性能。除此之外，信息論、博弈論、計(jì)算復(fù)雜度的相關(guān)理論也與機(jī)器學(xué)習(xí)聯(lián)系密切，因此在這里推薦一些相關(guān)書籍作為機(jī)器學(xué)習(xí)的理論延展。
信息論
作者：Thomas M. Cover, Joy A. Thomas
適合人群：初級(jí)到中級(jí)學(xué)者
推薦指數(shù)：★★★★★
主要內(nèi)容：這本書是信息論領(lǐng)域中的一本簡明易懂的教材，對(duì)熵、信源、信道容量、率失真、數(shù)據(jù)壓縮與編碼理論、復(fù)雜度理論、網(wǎng)絡(luò)信息論和假設(shè)檢驗(yàn)等進(jìn)行了介紹，能在理論和應(yīng)用方面為讀者打下堅(jiān)實(shí)的基礎(chǔ)。
推薦理由：信息論對(duì)理解模型有獨(dú)特的視角，可以給出非監(jiān)督概率生成模型的統(tǒng)一體系，也有人嘗試用來理解深度學(xué)習(xí)的信息瓶頸。這本書中概念清楚，內(nèi)容完整。
博弈論
A course in game theory
作者：Martin J. Osborne, Ariel Rubinstein
適合人群：初級(jí)到中級(jí)學(xué)者
推薦指數(shù)：★★★★★
主要內(nèi)容：本書介紹了博弈論的基本概念和理論基礎(chǔ)，由四部分組成：戰(zhàn)略博弈、完全信息擴(kuò)展博弈、不完全信息擴(kuò)展博弈以及聯(lián)盟博弈。
推薦理由：隨著交互環(huán)境中強(qiáng)化學(xué)習(xí)技術(shù)的興起，博弈論為我們描述或者建立agent的行為提供了有效的概念。這本書中將理論與例子結(jié)合，直觀易懂。
計(jì)算復(fù)雜度
Computational complexity：A modern approach
作者：Sanjeev Arora
適合人群：中級(jí)到高級(jí)學(xué)者
推薦指數(shù)：★★★★★
主要內(nèi)容: 這本書涵蓋了計(jì)算復(fù)雜度理論的經(jīng)典成果和最近的成就，可作為任何感興趣的讀者的自學(xué)參考。
推薦理由：計(jì)算復(fù)雜度刻畫了算法的效率，尤其是針對(duì)離散的組合優(yōu)化。如果對(duì)與機(jī)器學(xué)習(xí)有重要關(guān)系的加密、量子計(jì)算感興趣，可以通過Sanjeev Arora的這本書對(duì)計(jì)算復(fù)雜度有更深入的了解。
數(shù)學(xué)基礎(chǔ)篇
另外，還有極其重要的一點(diǎn)——入坑機(jī)器學(xué)習(xí)的你，別忘了打好數(shù)學(xué)功底！作為理解和改進(jìn)機(jī)器學(xué)習(xí)算法的必經(jīng)之路，數(shù)學(xué)是一切的基礎(chǔ)。從概率論、代數(shù)到實(shí)變函數(shù)，扎扎實(shí)實(shí)走好每一步，才能讓后面的進(jìn)階學(xué)習(xí)更加順利。
Probability
作者：A.N.Shiryaev
適合人群：初級(jí)到高級(jí)學(xué)者
推薦指數(shù)：★★★★★
推薦理由：概率論是統(tǒng)計(jì)學(xué)和機(jī)器學(xué)習(xí)的基本描述語言，值得好好學(xué)習(xí)。推薦Probability，這本書不僅內(nèi)容全面，推導(dǎo)清晰，而且有直觀的例子。讀者可以跳過書中部分較深入的章節(jié)。
高等代數(shù)
出版社：高等教育出版社
適合人群：初級(jí)到中級(jí)學(xué)者
推薦指數(shù)：★★★★★
推薦理由：代數(shù)是處理矩陣問題的主要技術(shù)，同時(shí)可以幫助深入理解（線性）空間。推薦高等教育出版社的《高等代數(shù)》，概念清晰，重要定理及證明完整，并配有大量習(xí)題。
此外，實(shí)變函數(shù)能夠幫助我們深入理解收斂、微分、積分，并結(jié)合測度論過渡到隨機(jī)積分和隨機(jī)微分方程，而隨機(jī)微分方程是描述隨機(jī)動(dòng)態(tài)系統(tǒng)的主要技術(shù)。泛函分析中算子的概念和四大定理對(duì)機(jī)器學(xué)習(xí)很有用處，比如理解Q-learning的Bellman 算子，用壓縮映射定理刻畫強(qiáng)化學(xué)習(xí)問題的不動(dòng)點(diǎn)，等等。因此，以下四本相關(guān)書籍也值得大家仔細(xì)閱讀。
實(shí)變函數(shù)論
作者：周民強(qiáng)
測度與概率
作者：嚴(yán)士健，劉秀芳
泛函分析講義
作者：張恭慶，郭懋正
隨機(jī)微分方程引論
作者：龔光魯
最后，祝大家學(xué)習(xí)愉快！
|
