App下載

scrapy 調(diào)用 parse(),parse() 調(diào)用 func() 使用 yield

猿友 2020-12-30 15:50:47 瀏覽數(shù) (5091)
反饋

在scrapy中調(diào)用parse()方法,parse()方法中調(diào)用其他函數(shù)func(),func需要返回Item,使用方法如下:

#在parse()中調(diào)用其他yield函數(shù),需要寫成寫成循環(huán)并yield其中的內(nèi)容

def parse():

    # 正確調(diào)用

    for item in parse_comment(a, b):

        yield item

    # 錯(cuò)誤調(diào)用,無(wú)法得到數(shù)據(jù)

    parse_comment(a, b)

def parse_comment(a,b):

    for a in b:

        yield c

yield

yield 的作用就是把一個(gè)函數(shù)變成一個(gè)生成器(generator),帶有yield的函數(shù)不再是一個(gè)普通函數(shù).Python解釋器會(huì)將其視為一個(gè)generator,單獨(dú)調(diào)用(如fab(5))不會(huì)執(zhí)行fab函數(shù),而是返回一個(gè) iterable 對(duì)象!

在for循環(huán)執(zhí)行時(shí),每次循環(huán)都會(huì)執(zhí)行fab函數(shù)內(nèi)部的代碼,執(zhí)行到y(tǒng)ield b時(shí),fab函數(shù)就返回一個(gè)迭代值,下次迭代時(shí),代碼從 yield b 的下一條語(yǔ)句繼續(xù)執(zhí)行,而函數(shù)的本地變量看起來(lái)和上次中斷執(zhí)行前是完全一樣的,于是函數(shù)繼續(xù)執(zhí)行,直到再次遇到 yield。

結(jié)論:yield要使用在循環(huán)中,這樣生成器才有使用的意義。

def fab(max):

   n, a, b = 0, 0, 1

   while n < max:

      # print b

      yield b

      # print b

      a, b = b, a + b

      n = n + 1

print(fab(5))  # 輸出:<generator object fab at 0x00000000069D8A68>

for n in fab(5):

    print n    # 依次1,1,2,3,5

#對(duì)于含有yield的函數(shù),外部要以迭代的方式調(diào)用,當(dāng)函數(shù)執(zhí)行結(jié)束時(shí),generator 自動(dòng)拋出 StopIteration 異常,表示迭代完成。

# 在 for 循環(huán)里,無(wú)需處理 StopIteration 異常,循環(huán)會(huì)正常結(jié)束。

def ff(max):

   a,b = 0,1

   yield max  # yield不在循環(huán)中,這里已經(jīng)到函數(shù)最后所以直接返回,相當(dāng)于return

for n in ff(5):

   print n    # 輸出:5

推薦好課:Python 靜態(tài)爬蟲(chóng)、Python Scrapy網(wǎng)絡(luò)爬蟲(chóng)


2 人點(diǎn)贊