j27少兒編程網-Scratch_Python_教程_免費兒童編程學習平臺

推薦（免費）：python視頻教程j27少兒編程網-Scratch_Python_教程_免費兒童編程學習平臺

文章目錄j27少兒編程網-Scratch_Python_教程_免費兒童編程學習平臺

系列文章目錄前言一、網頁解析二、代碼填寫1.獲取Html及寫入方法2.其余代碼總結

前言j27少兒編程網-Scratch_Python_教程_免費兒童編程學習平臺

j27少兒編程網-Scratch_Python_教程_免費兒童編程學習平臺

利用python寫一個簡單的筆趣閣爬蟲，根據輸入的小說網址爬取整個小說并保存到txt文件。爬蟲用到了BeautifulSoup庫的select方法
結果如圖所示：

本文只用于學習爬蟲j27少兒編程網-Scratch_Python_教程_免費兒童編程學習平臺

j27少兒編程網-Scratch_Python_教程_免費兒童編程學習平臺

一、網頁解析j27少兒編程網-Scratch_Python_教程_免費兒童編程學習平臺

這里以斗羅大陸小說為例 網址：
http://www.biquge001.com/Book/2/2486/

可以發現每章的網頁地址和章節名都放在了 <"p id=list dl dd a>中的a標簽中，所以利用BeautfulSoup中的select方法可以得到網址和章節名j27少兒編程網-Scratch_Python_教程_免費兒童編程學習平臺

Tag = BeautifulSoup(getHtmlText(url), "html.parser") #這里的getHtmlText是自己寫的獲取html的方法urls = Tag.select("p #list dl dd a")

然后遍歷列表j27少兒編程網-Scratch_Python_教程_免費兒童編程學習平臺

for url in urls: href = "http://www.biquge001.com/" + url['href'] # 字符串的拼接 拼接成正確的網址 pageName = url.text # 每章的章名

然后每章小說的內容都存放在<p id=“content” 里 同理得
j27少兒編程網-Scratch_Python_教程_免費兒童編程學習平臺

substance = Tag.select("p #content") # 文章的內容

**后同理在首頁獲取小說的名稱
<"p id = info h1>j27少兒編程網-Scratch_Python_教程_免費兒童編程學習平臺

j27少兒編程網-Scratch_Python_教程_免費兒童編程學習平臺

bookName = Tag.select("p #info h1")

j27少兒編程網-Scratch_Python_教程_免費兒童編程學習平臺

二、代碼填寫j27少兒編程網-Scratch_Python_教程_免費兒童編程學習平臺

1.獲取Html及寫入方法j27少兒編程網-Scratch_Python_教程_免費兒童編程學習平臺

def getHtmlText(url): r = requests.get(url, headers=headers) r.encoding = r.apparent_encoding # 編碼轉換 r.raise_for_status() return r.textdef writeIntoTxt(filename, content): with open(filename, "w", encoding="utf-8") as f: f.write(content) f.close() print(filename + "已完成")

2.其余代碼j27少兒編程網-Scratch_Python_教程_免費兒童編程學習平臺

代碼如下（示例）：j27少兒編程網-Scratch_Python_教程_免費兒童編程學習平臺

url = "http://www.biquge001.com/Book/2/2486/"substanceStr = ""bookName1 = ""html = getHtmlText(url)# 判斷是否存在這個文件Tag = BeautifulSoup(getHtmlText(url), "html.parser")urls = Tag.select("p #list dl dd a")bookName = Tag.select("p #info h1")for i in bookName: bookName1 = i.textif not os.path.exists(bookName1): os.mkdir(bookName1) print(bookName1 + "創建完成")else: print("文件已創建")for url in urls: href = "http://www.biquge001.com/" + url['href'] # 字符串的拼接 拼接成正確的網址 pageName = url.text # 每章的章名 path = bookName1 + "\" # 路徑 fileName = path + url.text + ".txt" # 文件名 = 路徑 + 章節名 + ".txt" Tag = BeautifulSoup(getHtmlText(href), "html.parser") # 解析每張的網頁 substance = Tag.select("p #content") # 文章的內容 for i in substance: substanceStr = i.text writeIntoTxt(fileName, substanceStr) time.sleep(1)

j27少兒編程網-Scratch_Python_教程_免費兒童編程學習平臺

總結j27少兒編程網-Scratch_Python_教程_免費兒童編程學習平臺

簡單利用了BeautfulSoup的select方法對筆趣閣的網頁進行了爬取 j27少兒編程網-Scratch_Python_教程_免費兒童編程學習平臺

更多相關學習敬請關注python教程欄目！

以上就是介紹python60行代碼寫一個簡單的筆趣閣爬蟲的詳細內容，更多請關注少兒編程網其它相關文章！j27少兒編程網-Scratch_Python_教程_免費兒童編程學習平臺