前段時間自學了python，作為新手就想著自己寫個東西能練習一下，了解到python編寫爬蟲腳本非常方便，且最近又學習了MongoDB相關的知識，萬事具備只欠東風。
程序的需求是這樣的，爬蟲爬的頁面是京東的電子書網站頁面，每天會更新一些免費的電子書，爬蟲會把每天更新的免費的書名以第一時間通過郵件發給我，通知我去下載。
一、編寫思路：
1.爬蟲腳本獲取當日免費書籍信息
2.把獲取到的書籍信息與數據庫中的已有信息作比較，如果書籍存在不做任何操作，書籍不存在，執行插入數據庫的操作，把數據的信息存入MongoDB
3.執行數據庫插入操作時，把更新的數據以郵件的形式發送出來
4.用APScheduler調度框架完成python腳本調度
二、腳本的主要知識點：
1.python簡單爬蟲
本次用到的模塊有urllib2用來抓取頁面，導入模塊如下：
import urllib2 from sgmllib import SGMLParser
urlopen()方法獲取網頁HTML源碼，都存儲在content中，listhref()類主要的功能是解析HTML代碼，處理HTML類型的半結構化文檔。
content = urllib2.urlopen('http://sale.jd.com/act/yufbrhZtjx6JTV.html').read()
listhref = ListHref()
listhref.feed(content)listhref()類代碼可以在下面全部代碼中查詢到，這里只說幾個關鍵點：
listhref()類繼承了SGMLParser 類并重寫了其中的內部方法。SGMLParser 將HTML分解成有用的片段，比如開始標記和結束標記。一旦成功地分解出某個數據為一個有用的片段，它會根據所發現的數據，調用一個自身內部的方法。為了使用這個分析器，您需要子類化 SGMLParser類，并且重寫父類的這些方法。
SGMLParser 將 HTML 分析成不同類數據及標記，然后對每一類調用單獨的方法:
開始標記 (Start_tag)
是一個開始一個塊的 HTML 標記，像 <html>，<head>，<body> , <pre> 等，或是一個獨一的標記，象 <br> 或 <img> 等。本例當它找到一個開始標記<a>，SGMLParser將查找名為 start_a或do_a的方法。如果找到了，SGMLParser會使用這個標記的屬性列表來調用這個方法；否則，它用這個標記的名字和屬性列表來調用unknown_starttag方法。
結束標記 (End_tag)
是結束一個塊的HTML標記，像 </html>，</head>，</body> 或 </pre> 等。本例中當找到一個結束標記時，SGMLParser 將查找名為end_a的方法。如果找到，SGMLParser調用這個方法，否則它使用標記的名字來調用unknown_endtag。
文本數據(Text data)
獲取文本塊，當不滿足其它各類別的任何標記時，調用handle_data獲取文本。
以下的幾類在本文中沒有用到
字符引用 (Character reference)
用字符的十進制或等同的十六進制來表示的轉義字符，當找到該字符，SGMLParser用字符調用 handle_charref 。
實體引用 (Entity reference)
HTML實體，像&ref，當找到該實體，SGMLParser實體的名字調用handle_entityref。
注釋 (Comment)
HTML注釋, 包括在 <!-- ... -->之間。當找到，SGMLParser用注釋內容調用handle_comment。
處理指令 (Processing instruction)
HTML處理指令，包括在 <? ... > 之間。當找到，SGMLParser用指令內容調 handle_pi。
聲明 (Declaration)
HTML聲明，如DOCTYPE，包括在 <! ... >之間。當找到，SGMLParser用聲明內容調用handle_decl。
具體的說明參考API：http://www.gxlcms.com/
2.python操作MongoDB數據庫
首先要安裝python對mongoDB的驅動PyMongo,下載地址：http://www.gxlcms.com/
導入模塊
import pymongo
連接數據庫服務器127.0.0.1和切換到所用數據庫mydatabase
mongoCon=pymongo.Connection(host="127.0.0.1",port=27017) db= mongoCon.mydatabase
查找數據庫相關書籍信息，book為查找的collection
bookInfo = db.book.find_one({"href":bookItem.href})為數據庫插入書籍信息，python支持中文，但是對于中文的編碼和解碼還是比較復雜，相關解碼和編碼請參考http://www.gxlcms.com/
b={
"bookname":bookItem.bookname.decode('gbk').encode('utf8'),
"href":bookItem.href,
"date":bookItem.date
}
db.book.insert(b,safe=True)關于PyMongo請參考API文檔http://www.gxlcms.com/
3.python發送郵件
導入郵件模塊
# Import smtplib for the actual sending function import smtplib from email.mime.text import MIMEText
"localhost"為郵件服務器地址
msg = MIMEText(context) #文本郵件的內容
msg['Subject'] = sub #主題
msg['From'] = "my@vmail.cn" #發信人
msg['To'] = COMMASPACE.join(mailto_list) #收信人列表
def send_mail(mailto_list, sub, context): COMMASPACE = ',' mail_host = "localhost" me = "my@vmail.cn" # Create a text/plain message msg = MIMEText(context) msg['Subject'] = sub msg['From'] = "my@vmail.cn" msg['To'] = COMMASPACE.join(mailto_list) send_smtp = smtplib.SMTP(mail_host) send_smtp.sendmail(me, mailto_list, msg.as_string()) send_smtp.close()
應用文檔：http://www.gxlcms.com/
4.Python調度框架ApScheduler
下載地址http://www.gxlcms.com/
官方文檔：http://www.gxlcms.com/
API：http://www.gxlcms.com/
安裝方法：下載之后解壓縮，然后執行python setup.py install，導入模塊
from apscheduler.scheduler import Scheduler
ApScheduler配置比較簡單，本例中只用到了add_interval_job方法，在每間隔一段時間后執行任務腳本，本例中的間隔是30分鐘。可參考實例文章http://www.gxlcms.com/
# Start the scheduler sched = Scheduler() sched.daemonic = False sched.add_interval_job(job,minutes=30) sched.start()
關于daemonic參數：
apscheduler會創建一個線程，這個線程默認是daemon=True，也就是默認的是線程守護的。
在上面的代碼里面，要是不加上sched.daemonic=False的話，這個腳本就不會按時間運行。
因為腳本要是沒有sched.daemonic=False，它會創建一個守護線程。這個過程中，會創建scheduler的實例。但是由于腳本運行速度很快，主線程mainthread會馬上結束，而此時定時任務的線程還沒來得及執行，就跟隨主線程結束而結束了。（守護線程和主線程之間的關系決定的）。要讓腳本運行正常，必須設置該腳本為非守護線程。sched.daemonic=False
附：全部腳本代碼
All Code
#-*- coding: UTF-8 -*-
import urllib2
from sgmllib import SGMLParser
import pymongo
import time
# Import smtplib for the actual sending function
import smtplib
from email.mime.text import MIMEText
from apscheduler.scheduler import Scheduler
#get freebook hrefs
class ListHref(SGMLParser):
def __init__(self):
SGMLParser.__init__(self)
self.is_a = ""
self.name = []
self.freehref=""
self.hrefs=[]
def start_a(self, attrs):
self.is_a = 1
href = [v for k, v in attrs if k == "href"]
self.freehref=href[0]
def end_a(self):
self.is_a = ""
def handle_data(self, text):
if self.is_a == 1 and text.decode('utf8').encode('gbk')=="限時免費":
self.hrefs.append(self.freehref)
#get freebook Info
class FreeBook(SGMLParser):
def __init__(self):
SGMLParser.__init__(self)
self.is_title=""
self.name = ""
def start_title(self, attrs):
self.is_title = 1
def end_title(self):
self.is_title = ""
def handle_data(self, text):
if self.is_title == 1:
self.name=text
#Mongo Store Module
class freeBookMod:
def __init__(self, date, bookname ,href):
self.date=date
self.bookname=bookname
self.href=href
def get_book(bookList):
content = urllib2.urlopen('http://sale.jd.com/act/yufbrhZtjx6JTV.html').read()
listhref = ListHref()
listhref.feed(content)
for href in listhref.hrefs:
content = urllib2.urlopen(str(href)).read()
listbook=FreeBook()
listbook.feed(content)
name = listbook.name
n= name.index('》')
#print (name[0:n+2])
freebook=freeBookMod(time.strftime('%Y-%m-%d',time.localtime(time.time())),name[0:n+2],href)
bookList.append(freebook)
return bookList
def record_book(bookList,context,isSendMail):
# DataBase Operation
mongoCon=pymongo.Connection(host="127.0.0.1",port=27017)
db= mongoCon.mydatabase
for bookItem in bookList:
bookInfo = db.book.find_one({"href":bookItem.href})
if not bookInfo:
b={
"bookname":bookItem.bookname.decode('gbk').encode('utf8'),
"href":bookItem.href,
"date":bookItem.date
}
db.book.insert(b,safe=True)
isSendMail=True
context=context+bookItem.bookname.decode('gbk').encode('utf8')+','
return context,isSendMail
#Send Message
def send_mail(mailto_list, sub, context):
COMMASPACE = ','
mail_host = "localhost"
me = "my@vmail.cn"
# Create a text/plain message
msg = MIMEText(context)
msg['Subject'] = sub
msg['From'] = "my@vmail.cn"
msg['To'] = COMMASPACE.join(mailto_list)
send_smtp = smtplib.SMTP(mail_host)
send_smtp.sendmail(me, mailto_list, msg.as_string())
send_smtp.close()
#Main job for scheduler
def job():
bookList=[]
isSendMail=False;
context="Today free books are"
mailto_list=["mailto@mail.cn"]
bookList=get_book(bookList)
context,isSendMail=record_book(bookList,context,isSendMail)
if isSendMail==True:
send_mail(mailto_list,"Free Book is Update",context)
if __name__=="__main__":
# Start the scheduler
sched = Scheduler()
sched.daemonic = False
sched.add_interval_job(job,minutes=30)
sched.start()聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。TEL:177 7030 7066 E-MAIL:11247931@qq.com
Copyright ? 2019-2025 51dongshi.com 版權所有
違法及侵權請聯系：TEL:177 7030 7066 E-MAIL:11247931@qq.com 本站由北京市萬商天勤律師事務所王興未律師提供法律服務
