scrapy 調(diào)用 parse()，parse() 調(diào)用 func() 使用 yield

猿友 2020-12-30 15:50:47 瀏覽數(shù) (4576)

反饋

在scrapy中調(diào)用parse()方法，parse()方法中調(diào)用其他函數(shù)func()，func需要返回Item，使用方法如下：

#在parse()中調(diào)用其他yield函數(shù)，需要寫成寫成循環(huán)并yield其中的內(nèi)容

def parse():

# 正確調(diào)用

for item in parse_comment(a, b):

yield item

# 錯(cuò)誤調(diào)用,無法得到數(shù)據(jù)

parse_comment(a, b)

def parse_comment(a,b):

for a in b:

yield c

yield

yield 的作用就是把一個(gè)函數(shù)變成一個(gè)生成器(generator)，帶有yield的函數(shù)不再是一個(gè)普通函數(shù).Python解釋器會(huì)將其視為一個(gè)generator，單獨(dú)調(diào)用（如fab(5)）不會(huì)執(zhí)行fab函數(shù)，而是返回一個(gè) iterable 對(duì)象！

在for循環(huán)執(zhí)行時(shí)，每次循環(huán)都會(huì)執(zhí)行fab函數(shù)內(nèi)部的代碼，執(zhí)行到y(tǒng)ield b時(shí)，fab函數(shù)就返回一個(gè)迭代值，下次迭代時(shí)，代碼從 yield b 的下一條語(yǔ)句繼續(xù)執(zhí)行，而函數(shù)的本地變量看起來和上次中斷執(zhí)行前是完全一樣的，于是函數(shù)繼續(xù)執(zhí)行，直到再次遇到 yield。

結(jié)論：yield要使用在循環(huán)中，這樣生成器才有使用的意義。

def fab(max):

n, a, b = 0, 0, 1

while n < max:

# print b

yield b

# print b

a, b = b, a + b

n = n + 1

print(fab(5)) # 輸出：<generator object fab at 0x00000000069D8A68>

for n in fab(5):

print n # 依次1,1,2,3,5

#對(duì)于含有yield的函數(shù)，外部要以迭代的方式調(diào)用，當(dāng)函數(shù)執(zhí)行結(jié)束時(shí)，generator 自動(dòng)拋出 StopIteration 異常，表示迭代完成。

# 在 for 循環(huán)里，無需處理 StopIteration 異常，循環(huán)會(huì)正常結(jié)束。

def ff(max):

a,b = 0,1

yield max # yield不在循環(huán)中，這里已經(jīng)到函數(shù)最后所以直接返回，相當(dāng)于return

for n in ff(5):

print n # 輸出：5

Python 庫(kù)

2 人點(diǎn)贊

scrapy 調(diào)用 parse()，parse() 調(diào)用 func() 使用 yield

yield

scrapy 調(diào)用 parse()，parse() 調(diào)用 func() 使用 yield