淺談python中爬蟲框架（talonspider）的介紹

來源：懂視網(wǎng) 責編：小采時間：2020-11-27 14:23:52

淺談python中爬蟲框架（talonspider）的介紹

淺談python中爬蟲框架（talonspider）的介紹:本文給大家介紹的是使用python開發(fā)的爬蟲框架talonspider的簡單介紹以及使用方法，有需要的小伙伴可以參考下1.為什么寫這個？一些簡單的頁面，無需用比較大的框架來進行爬取，自己純手寫又比較麻煩因此針對這個需求寫了talonspider:1.針對單頁面的it

推薦度：

點擊下載本文 文檔為doc格式

導讀淺談python中爬蟲框架（talonspider）的介紹:本文給大家介紹的是使用python開發(fā)的爬蟲框架talonspider的簡單介紹以及使用方法，有需要的小伙伴可以參考下1.為什么寫這個？一些簡單的頁面，無需用比較大的框架來進行爬取，自己純手寫又比較麻煩因此針對這個需求寫了talonspider:1.針對單頁面的it

本文給大家介紹的是使用python開發(fā)的爬蟲框架talonspider的簡單介紹以及使用方法，有需要的小伙伴可以參考下

1.為什么寫這個？

一些簡單的頁面，無需用比較大的框架來進行爬取，自己純手寫又比較麻煩

因此針對這個需求寫了talonspider:

?1.針對單頁面的item提取 - 具體介紹點這里
?2.spider模塊 - 具體介紹點這里

2.介紹&&使用

2.1.item

這個模塊是可以獨立使用的，對于一些請求比較簡單的網(wǎng)站（比如只需要get請求），單單只用這個模塊就可以快速地編寫出你想要的爬蟲，比如(以下使用python3，python2見examples目錄)：

2.1.1.單頁面單目標

比如要獲取這個網(wǎng)址http://book.qidian.com/info/1004608738 的書籍信息，封面等信息，可直接這樣寫：

import time
from talonspider import Item, TextField, AttrField
from pprint import pprint

class TestSpider(Item):
 title = TextField(css_select='.book-info>h1>em')
 author = TextField(css_select='a.writer')
 cover = AttrField(css_select='a#bookImg>img', attr='src')

 def tal_title(self, title):
 return title

 def tal_cover(self, cover):
 return 'http:' + cover

if name == 'main':
 item_data = TestSpider.get_item(url='http://book.qidian.com/info/1004608738')
 pprint(item_data)

具體見qidian_details_by_item.py

2.1.1.單頁面多目標

比如獲取豆瓣250電影首頁展示的25部電影，這一個頁面有25個目標，可直接這樣寫：

from talonspider import Item, TextField, AttrField
from pprint import pprint

# 定義繼承自item的爬蟲類
class DoubanSpider(Item):
 target_item = TextField(css_select='p.item')
 title = TextField(css_select='span.title')
 cover = AttrField(css_select='p.pic>a>img', attr='src')
 abstract = TextField(css_select='span.inq')

 def tal_title(self, title):
 if isinstance(title, str):
 return title
 else:
 return ''.join([i.text.strip().replace('xa0', '') for i in title])

if name == 'main':
 items_data = DoubanSpider.get_items(url='movie.douban.com/top250')
 result = []
 for item in items_data:
 result.append({
 'title': item.title,
 'cover': item.cover,
 'abstract': item.abstract,
 })
 pprint(result)

具體見douban_page_by_item.py

2.2.spider

當需要爬取有層次的頁面時，比如爬取豆瓣250全部電影，這時候spider部分就派上了用場：

# !/usr/bin/env python
from talonspider import Spider, Item, TextField, AttrField, Request
from talonspider.utils import get_random_user_agent


# 定義繼承自item的爬蟲類
class DoubanItem(Item):
 target_item = TextField(css_select='p.item')
 title = TextField(css_select='span.title')
 cover = AttrField(css_select='p.pic>a>img', attr='src')
 abstract = TextField(css_select='span.inq')

 def tal_title(self, title):
 if isinstance(title, str):
 return title
 else:
 return ''.join([i.text.strip().replace('xa0', '') for i in title])


class DoubanSpider(Spider):
 # 定義起始url，必須
 start_urls = ['https://movie.douban.com/top250']
 # requests配置
 request_config = {
 'RETRIES': 3,
 'DELAY': 0,
 'TIMEOUT': 20
 }
 # 解析函數(shù) 必須有
 def parse(self, html):
 # 將html轉(zhuǎn)化為etree
 etree = self.e_html(html)
 # 提取目標值生成新的url
 pages = [i.get('href') for i in etree.cssselect('.paginator>a')]
 pages.insert(0, '?start=0&filter=')
 headers = {
 "User-Agent": get_random_user_agent()
 }
 for page in pages:
 url = self.start_urls[0] + page
 yield Request(url, request_config=self.request_config, headers=headers, callback=self.parse_item)

 def parse_item(self, html):
 items_data = DoubanItem.get_items(html=html)
 # result = []
 for item in items_data:
 # result.append({
 # 'title': item.title,
 # 'cover': item.cover,
 # 'abstract': item.abstract,
 # })
 # 保存
 with open('douban250.txt', 'a+') as f:
 f.writelines(item.title + '
')


if name == 'main':
 DoubanSpider.start()

控制臺：

/Users/howie/anaconda3/envs/work3/bin/python /Users/howie/Documents/programming/python/git/talonspider/examples/douban_page_by_spider.py
2017-06-07 23:17:30,346 - talonspider - INFO: talonspider started
2017-06-07 23:17:30,693 - talonspider_requests - INFO: GET a url: https://movie.douban.com/top250
2017-06-07 23:17:31,074 - talonspider_requests - INFO: GET a url: https://movie.douban.com/top250?start=25&filter=
2017-06-07 23:17:31,416 - talonspider_requests - INFO: GET a url: https://movie.douban.com/top250?start=50&filter=
2017-06-07 23:17:31,853 - talonspider_requests - INFO: GET a url: https://movie.douban.com/top250?start=75&filter=
2017-06-07 23:17:32,523 - talonspider_requests - INFO: GET a url: https://movie.douban.com/top250?start=100&filter=
2017-06-07 23:17:33,032 - talonspider_requests - INFO: GET a url: https://movie.douban.com/top250?start=125&filter=
2017-06-07 23:17:33,537 - talonspider_requests - INFO: GET a url: https://movie.douban.com/top250?start=150&filter=
2017-06-07 23:17:33,990 - talonspider_requests - INFO: GET a url: https://movie.douban.com/top250?start=175&filter=
2017-06-07 23:17:34,406 - talonspider_requests - INFO: GET a url: https://movie.douban.com/top250?start=200&filter=
2017-06-07 23:17:34,787 - talonspider_requests - INFO: GET a url: https://movie.douban.com/top250?start=225&filter=
2017-06-07 23:17:34,809 - talonspider - INFO: Time usage：0:00:04.462108

Process finished with exit code 0

此時當前目錄會生成douban250.txt，具體見douban_page_by_spider.py。

3.說明

學習之作，待完善的地方還有很多，歡迎提意見，項目地址talonspider。

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。TEL:177 7030 7066 E-MAIL:11247931@qq.com