本書從實戰(zhàn)角度系統(tǒng)講解Python爬蟲的核心知識點，并通過大量的真實項目讓讀者熟練掌握Python爬蟲技術。本書用20多個實戰(zhàn)案例，完美演繹了使用各種技術編寫Python爬蟲的方式，讀者可以任意組合這些技術，完成很好復雜的爬蟲應用。全書共20章，分為5篇。篇基礎知識（、2章），主要包括Python運行環(huán)境的搭建、HTTP基礎、網頁基礎（HTML、CSS、java script等）、爬蟲的基本原理、Session與Cookie。第2篇網絡庫（第3～6章），主要包括網絡庫urllib、urllib3、requests和Twisted的核心使用方法，如發(fā)送HTTP請求、處理超時、設置HTTP請求頭、搭建和使用代理、解析鏈接、Robots協(xié)議等。第3篇解析庫（第7～10章），主要包括3個常用解析庫（lxml、BeautifulSoup和pyquery）的使用方法，同時介紹多種用于分析HTML代碼的技術，如正則表達式、XPath、CSS選擇器、方法選擇器等。第4篇數(shù)據存儲（1、12章），主要包括Python中數(shù)據存儲的解決方案，如文件存儲和數(shù)據庫存儲，其中數(shù)據庫存儲包括多種數(shù)據庫，如本地數(shù)據庫SQLite、網絡數(shù)據庫MySQL以及文檔數(shù)據庫MongoDB。第5篇爬蟲不錯應用（3～20章），主要包括Python爬蟲的一些不錯技術，如抓取異步數(shù)據、Selenium、Splash、抓取移動App數(shù)據、Appium、多線程爬蟲、爬蟲框架Scrapy，很后給出一個綜合的實戰(zhàn)案例，綜合了Python爬蟲、數(shù)據存儲、PyQt5、多線程、數(shù)據可視化、Web等多種技術實現(xiàn)一個可視化爬蟲。本書可以作為廣大計算機軟件技術開發(fā)者、互聯(lián)網技術研究人員學習“爬蟲技術”的參考用書。也可以作為高等院校計算機科學與技術、軟件工程、人工智能等專業(yè)的教學參考用書。
|
