Python3爬蟲視頻抓取—愛奇藝VIP視頻下載

在前面的兩個(gè)實(shí)例中，我們分別為大家演示使用Python3爬蟲抓取文字和圖片的方法，那么在本篇教程中，將繼續(xù)教大家如何用Python3爬蟲抓取視頻。

（1）實(shí)戰(zhàn)背景

愛奇藝的VIP視頻只有會(huì)員能看，普通用戶只能看前6分鐘。那么我們?cè)趺疵赓M(fèi)看VIP視頻呢？一個(gè)簡單的方法，就是通過旋風(fēng)視頻VIP解析網(wǎng)站。

這個(gè)網(wǎng)站為我們提供了免費(fèi)的視頻解析，它的通用解析方式是：

http://api.xfsub.com/index.php?url=[播放地址或視頻id]

比如，對(duì)于繡春刀這個(gè)電影，我們只需要在瀏覽器地址欄輸入：

http://api.xfsub.com/index.php?url=http://www.iqiyi.com/v_19rr7qhfg0.html#vfrm=19-9-0-1

這樣，我們就可以在線觀看這些VIP視頻了：

但是這個(gè)網(wǎng)站只提供了在線解析視頻的功能，沒有提供下載接口，如果想把視頻下載下來，我們就可以利用網(wǎng)絡(luò)爬蟲進(jìn)行抓包，將視頻下載下來。

（2）實(shí)戰(zhàn)升級(jí)

分析方法相同，我們使用Fiddler進(jìn)行抓包：

我們可以看到，有用的請(qǐng)求并不多，我們逐條分析。我們先看第一個(gè)請(qǐng)求返回的信息。

可以看到第一個(gè)請(qǐng)求是GET請(qǐng)求，沒有什么有用的信息，繼續(xù)看下一條。

我們看到，第二條GET請(qǐng)求地址變了，并且在返回的信息中，我們看到，這個(gè)網(wǎng)頁執(zhí)行了一個(gè)POST請(qǐng)求。POST請(qǐng)求是啥呢？它跟GET請(qǐng)求正好相反，GET是從服務(wù)器獲得數(shù)據(jù)，而POST請(qǐng)求是向服務(wù)器發(fā)送數(shù)據(jù)，服務(wù)器再根據(jù)POST請(qǐng)求的參數(shù)，返回相應(yīng)的內(nèi)容。這個(gè)POST請(qǐng)求有四個(gè)參數(shù)，分別為time、key、url、type。記住這個(gè)有用的信息，我們?cè)谧グY(jié)果中，找一下這個(gè)請(qǐng)求，看看這個(gè)POST請(qǐng)求做了什么。

很顯然，這個(gè)就是我們要找的POST請(qǐng)求，我們可以看到POST請(qǐng)求的參數(shù)以及返回的json格式的數(shù)據(jù)。其中url存放的參數(shù)如下：

xfsub_api\/url.php?key=02896e4af69fb18f70129b6046d7c718&time=1505724557&url=http%3A%2F%2Fwww.iqiyi.com%2Fv_19rr7qhfg0.html&type=&xml=1

這個(gè)信息有轉(zhuǎn)義了，但是沒有關(guān)系，我們手動(dòng)提取一下，變成如下形式：

xfsub_api/url.php?key=02896e4af69fb18f70129b6046d7c718&time=1505724557&url=http://www.iqiyi.com/v_19rr7qhfg0.html&type=&xml=1

我們已經(jīng)知道了這個(gè)解析視頻的服務(wù)器的域名，再把域名加上：

http://api.xfsub.com/xfsub_api\url.php?key=02896e4af69fb18f70129b6046d7c718&time=1505724557&url=http://www.iqiyi.com/v_19rr7qhfg0.html&type=&xml=1

這里面存放的是什么東西？不會(huì)視頻解析后的地址吧？我們有瀏覽器打開這個(gè)地址看一下：

我們?cè)俅蜷_這個(gè)視頻地址：

瞧，我們就這樣得到了這個(gè)視頻在服務(wù)器上的緩存地址。根據(jù)這個(gè)地址，我們就可以輕松下載視頻了。

PS：需要注意一點(diǎn)，這些URL地址，都是有一定時(shí)效性的，很快就會(huì)失效，因?yàn)槔锩姘瑫r(shí)間信息。所以，各位在分析的時(shí)候，要根據(jù)自己的URL結(jié)果打開網(wǎng)站才能看到視頻。

接下來，我們的任務(wù)就是編程實(shí)現(xiàn)我們所分析的步驟，根據(jù)不同的視頻播放地址獲得視頻存放的地址。

現(xiàn)在梳理一下編程思路：

• 用正則表達(dá)式匹配到key、time、url等信息。
• 根據(jù)匹配的到信息發(fā)POST請(qǐng)求，獲得一個(gè)存放視頻信息的url。
• 根據(jù)這個(gè)url獲得視頻存放的地址。
• 根據(jù)最終的視頻地址，下載視頻。

（3）編寫代碼

編寫代碼的時(shí)候注意一個(gè)問題，就是我們需要使用requests.session()保持我們的會(huì)話請(qǐng)求。簡單理解就是，在初次訪問服務(wù)器的時(shí)候，服務(wù)器會(huì)給你分配一個(gè)身份證明。我們需要拿著這個(gè)身份證去繼續(xù)訪問，如果沒有這個(gè)身份證明，服務(wù)器就不會(huì)再讓你訪問。這也就是這個(gè)服務(wù)器的反爬蟲手段，會(huì)驗(yàn)證用戶的身份。

#-*- coding:UTF-8 -*-
import requests,re, json
from bs4 import BeautifulSoup

class video_downloader():
    def __init__(self, url):
        self.server = 'http://api.xfsub.com'
        self.api = 'http://api.xfsub.com/xfsub_api/?url='
        self.get_url_api = 'http://api.xfsub.com/xfsub_api/url.php'
        self.url = url.split('#')[0]
        self.target = self.api + self.url
        self.s = requests.session()

    """
    函數(shù)說明:獲取key、time、url等參數(shù)
    Parameters:
        無
    Returns:
        無
    Modify:
        2017-09-18
    """
    def get_key(self):
        req = self.s.get(url=self.target)
        req.encoding = 'utf-8'
        self.info = json.loads(re.findall('"url.php",\ (.+),', req.text)[0])    #使用正則表達(dá)式匹配結(jié)果，將匹配的結(jié)果存入info變量中

    """
    函數(shù)說明:獲取視頻地址
    Parameters:
        無
    Returns:
        video_url - 視頻存放地址
    Modify:
        2017-09-18
    """
    def get_url(self):
        data = {'time':self.info['time'],
            'key':self.info['key'],
            'url':self.info['url'],
            'type':''}
        req = self.s.post(url=self.get_url_api,data=data)
        url = self.server + json.loads(req.text)['url']
        req = self.s.get(url)
        bf = BeautifulSoup(req.text,'xml')                                        #因?yàn)槲募莤ml格式的，所以要進(jìn)行xml解析。
        video_url = bf.find('file').string                                        #匹配到視頻地址
        return video_url

if __name__ == '__main__':
     url = 'http://www.iqiyi.com/v_19rr7qhfg0.html#vfrm=19-9-0-1'
     vd = video_downloader(url)
     vd.get_key()
     print(vd.get_url())

思路已經(jīng)給出，希望喜歡爬蟲的人可以在運(yùn)行下代碼之后，自己重頭編寫程序，因?yàn)橹挥薪?jīng)過自己分析和測試之后，才能真正明白這些代碼的意義。上述代碼運(yùn)行結(jié)果如下：

我們已經(jīng)順利獲得了mp4這個(gè)視頻文件地址。根據(jù)視頻地址，使用urllib.request.urlretrieve()即可將視頻下載下來。編寫代碼如下：

#-*- coding:UTF-8 -*-
import requests,re, json, sys
from bs4 import BeautifulSoup
from urllib import request

class video_downloader():
    def __init__(self, url):
        self.server = 'http://api.xfsub.com'
        self.api = 'http://api.xfsub.com/xfsub_api/?url='
        self.get_url_api = 'http://api.xfsub.com/xfsub_api/url.php'
        self.url = url.split('#')[0]
        self.target = self.api + self.url
        self.s = requests.session()

    """
    函數(shù)說明:獲取key、time、url等參數(shù)
    Parameters:
        無
    Returns:
        無
    Modify:
        2017-09-18
    """
    def get_key(self):
        req = self.s.get(url=self.target)
        req.encoding = 'utf-8'
        self.info = json.loads(re.findall('"url.php",\ (.+),', req.text)[0])    #使用正則表達(dá)式匹配結(jié)果，將匹配的結(jié)果存入info變量中

    """
    函數(shù)說明:獲取視頻地址
    Parameters:
        無
    Returns:
        video_url - 視頻存放地址
    Modify:
        2017-09-18
    """
    def get_url(self):
        data = {'time':self.info['time'],
            'key':self.info['key'],
            'url':self.info['url'],
            'type':''}
        req = self.s.post(url=self.get_url_api,data=data)
        url = self.server + json.loads(req.text)['url']
        req = self.s.get(url)
        bf = BeautifulSoup(req.text,'xml')                                        #因?yàn)槲募莤ml格式的，所以要進(jìn)行xml解析。
        video_url = bf.find('file').string                                        #匹配到視頻地址
        return video_url

    """
    函數(shù)說明:回調(diào)函數(shù)，打印下載進(jìn)度
    Parameters:
        a b c - 返回信息
    Returns:
        無
    Modify:
        2017-09-18
    """
    def Schedule(self, a, b, c):
        per = 100.0*a*b/c
        if per > 100 :
            per = 1
        sys.stdout.write("  " + "%.2f%% 已經(jīng)下載的大小:%ld 文件大小:%ld" % (per,a*b,c) + '\r')
        sys.stdout.flush()

    """
    函數(shù)說明:視頻下載
    Parameters:
        url - 視頻地址
        filename - 視頻名字
    Returns:
        無
    Modify:
        2017-09-18
    """
    def video_download(self, url, filename):
        request.urlretrieve(url=url,filename=filename,reporthook=self.Schedule)


if __name__ == '__main__':
    url = 'http://www.iqiyi.com/v_19rr7qhfg0.html#vfrm=19-9-0-1'
    vd = video_downloader(url)
    filename = '加勒比海盜5'
    print('%s下載中:' % filename)
    vd.get_key()
    video_url = vd.get_url()
    print('  獲取地址成功:%s' % video_url)
    vd.video_download(video_url, filename+'.mp4')
    print('\n下載完成！')

urlretrieve()有三個(gè)參數(shù)，第一個(gè)url參數(shù)是視頻存放的地址，第二個(gè)參數(shù)filename是保存的文件名，最后一個(gè)是回調(diào)函數(shù)，它方便我們查看下載進(jìn)度。代碼量不大，很簡單，主要在于分析過程。代碼運(yùn)行結(jié)果如下：

 由于爬蟲時(shí)效性低，同樣的思路過了一個(gè)月，甚至一周可能無法使用，但是爬取思路都是如此，完全可以自行分析。

原文作者：Jack-Cui

原文地址：https://blog.csdn.net/c406495762/article/details/78123502