scrapy 2.3 工具

您可以通過(guò)運(yùn)行無(wú)參數(shù)的scrapy工具開(kāi)始，它將打印一些用法幫助和可用的命令：

Scrapy X.Y - no active project

Usage:
  scrapy <command> [options] [args]

Available commands:
  crawl         Run a spider
  fetch         Fetch a URL using the Scrapy downloader
[...]

如果您在一個(gè)零碎的項(xiàng)目中，第一行將打印當(dāng)前活動(dòng)的項(xiàng)目。在本例中，它是從項(xiàng)目外部運(yùn)行的。如果從項(xiàng)目?jī)?nèi)部運(yùn)行，它將打印如下內(nèi)容：

Scrapy X.Y - project: myproject

Usage:
  scrapy <command> [options] [args]

[...]

創(chuàng)建項(xiàng)目

你通常會(huì)做的第一件事就是 ?scrapy? 工具是創(chuàng)建零碎項(xiàng)目：

scrapy startproject myproject [project_dir]

它將在 ?project_dir? 目錄。如果 ?project_dir? 沒(méi)有指定， ?project_dir? 將與 ?myproject? .

接下來(lái)，進(jìn)入新的項(xiàng)目目錄：

cd project_dir

你已經(jīng)準(zhǔn)備好使用 ?scrapy? 從那里管理和控制項(xiàng)目的命令。

控制性項(xiàng)目

你使用 ?scrapy? 從項(xiàng)目?jī)?nèi)部使用工具來(lái)控制和管理它們。

例如，要?jiǎng)?chuàng)建新的蜘蛛：

scrapy genspider mydomain mydomain.com

一些下流的命令（比如 ?crawl? ）必須從零碎的項(xiàng)目?jī)?nèi)部運(yùn)行。見(jiàn) commands reference 下面是關(guān)于必須從項(xiàng)目?jī)?nèi)部運(yùn)行哪些命令的詳細(xì)信息，而不是。

還要記住，當(dāng)從內(nèi)部項(xiàng)目運(yùn)行某些命令時(shí)，它們的行為可能略有不同。例如，fetch命令將使用蜘蛛重寫(xiě)的行為（例如 ?user_agent? 屬性來(lái)重寫(xiě)用戶(hù)代理）如果要獲取的URL與某個(gè)特定的蜘蛛相關(guān)聯(lián)。這是故意的，因?yàn)?nbsp;?fetch? 命令用于檢查蜘蛛如何下載頁(yè)面。