新版本0.10。

Scrapy通过刮板命令行工具进行控制，在这里被称为“Scrapy工具”，以将其与子命令区分开，我们称之为“命令”或“Scrapy命令”。

Scrapy工具提供多个命令，用于多个目的，每个命令都接受一组不同的参数和选项。

（scrapy deploy命令已在1.0中被删除，有利于独立的scryd-deploy，请参阅部署项目。）

配置设置

Scrapy将在标准位置的ini样式scrapy.cfg文件中查找配置参数：

  1. /etc/scrapy.cfg或c： scrapy scrapy.cfg（系统范围内）
  2. 〜/ .config / scrapy.cfg（$ XDG_CONFIG_HOME）和〜/ .scrapy.cfg（$ HOME）用于全局（用户范围）设置，以及
  3. scrapy.cfg在一个scrapy项目的根（见下一节）。

这些文件的设置按列出的首选顺序进行合并：用户定义的值比系统级默认值优先，而在定义时，项目范围的设置将覆盖所有其他设置。

Scrapy也可以理解，并且可以通过一些环境变量进行配置。目前这些是：

  • SCRAPY_SETTINGS_MODULE（请参阅指定设置）

  • SCRAPY_PROJECT

  • SCRAPY_PYTHON_SHELL（请参阅Scrapy shell）

Scrapy项目的默认结构

在深入使用命令行工具及其子命令之前，首先了解Scrapy项目的目录结构。

虽然可以修改，但所有Scrapy项目默认情况下具有相同的文件结构，与此类似：

scrapy.cfg
myproject/
    __init__.py
    items.py
    pipelines.py
    settings.py
    spiders/
        __init__.py
        spider1.py
        spider2.py
        ...

scrapy.cfg文件所在的目录称为项目根目录。该文件包含定义项目设置的python模块的名称。这是一个例子：

[settings]
default = myproject.settings

使用刮刀工具

您可以从没有参数运行Scrapy工具开始，它将打印一些使用帮助和可用的命令：

Scrapy X.Y - no active project

Usage:
  scrapy <command> [options] [args]

Available commands:
  crawl         Run a spider
  fetch         Fetch a URL using the Scrapy downloader
[...]

如果您在Scrapy项目中，第一行将打印当前活动的项目。在这个例子中，它是从项目外部运行的。如果从项目内部运行，它将会打印出如下内容：

Scrapy X.Y - project: myproject

Usage:
  scrapy <command> [options] [args]

[...]

创建项目

您通常使用scrapy工具的第一件事是创建您的Scrapy项目：

scrapy startproject myproject [project_dir]

这将在project_dir目录下创建一个Scrapy项目。如果没有指定project_dir，project_dir将与myproject相同。

接下来，你进入新的项目目录：

cd project_dir

您可以使用scrapy命令来管理和控制您的项目。

控制项目

您可以使用项目内的Scrapy工具来控制和管理它们。

例如，要创建一个新的蜘蛛：

scrapy genspider mydomain mydomain.com

一些Scrapy命令（如爬行）必须从Scrapy项目中运行。有关哪些命令必须从项目内部运行的更多信息，请参阅下面的命令，哪些不是。

还要记住，一些命令在从项目内部运行时可能会有稍微不同的行为。例如，如果要获取的URL与某个特定的蜘蛛相关联，则fetch命令将使用蜘蛛重载行为（例如user_agent属性来覆盖用户代理）。这是有意的，因为fetch命令旨在用于检查蜘蛛正在下载页面。

可用的工具命令

本节包含可用内置命令的列表，其中包含说明和一些使用示例。记住，您可以随时通过运行以下命令获取有关每个命令的更多信息：

scrapy <command> -h

您可以看到所有可用的命令：

scrapy -h

有两种命令，那些仅在Scrapy项目（特定于项目的命令）中工作的命令以及在没有主动Scrapy项目（Global命令）的情况下工作的命令，尽管它们在项目中运行时可能会略有不同（因为他们会使用项目覆盖的设置）。

全局命令：

  • startproject
  • genspider
  • settings
  • runspider
  • shell
  • fetch
  • view
  • version

仅项目命令：

  • crawl
  • check
  • list
  • edit
  • parse
  • bench

startproject命令

语法：scrapy startproject <project_name> [project_dir]

需要项目：否

在project_dir目录下创建一个名为project_name的新的Scrapy项目。如果没有指定project_dir，project_dir将与myproject相同。

用法示例：

$ scrapy startproject myproject

genspider

语法：scrapy genspider [-t template] <name> <domain>

需要项目：否

在当前文件夹或当前项目的spiders文件夹中创建新的蜘蛛，如果从项目中调用。 <name>参数设置为spider的名称，而<domain>用于生成allowed_domains和start_urls spider的属性。

用法示例：

$ scrapy genspider -l
Available templates:
  basic
  crawl
  csvfeed
  xmlfeed

$ scrapy genspider example example.com
Created spider 'example' using template 'basic'

$ scrapy genspider -t crawl scrapyorg scrapy.org
Created spider 'scrapyorg' using template 'crawl'

这只是一个基于预定义模板创建蜘蛛的便捷快捷命令，但肯定不是创建蜘蛛的唯一方法。您可以自己创建蜘蛛源代码文件，而不是使用此命令。

爬行

语法：scrapy crawl <spider>

需要项目：是的

开始爬行使用蜘蛛。

用法示例：

$ scrapy crawl myspider
[ ... myspider starts crawling ... ]

查

语法：scrapy check [-l] <spider>

需要项目：是的

执行合同检查。

用法示例：

$ scrapy check -l
first_spider
  * parse
  * parse_item
second_spider
  * parse
  * parse_item

$ scrapy check
[FAILED] first_spider:parse_item
>>> 'RetailPricex' field is missing

[FAILED] first_spider:parse
>>> Returned 92 requests, expected 0..4

名单

语法：scrapy列表

需要项目：是的

列出当前项目中的所有可用蜘蛛。每行输出一只蜘蛛。

用法示例：

$ scrapy列表

spider1

spider2

编辑

语法：scrapy编辑<spider>

需要项目：是的

使用EDITOR环境变量中定义的编辑器编辑给定的蜘蛛，或者（如果未设置）编辑设置。

该命令仅作为最常见情况的便捷快捷方式提供，开发人员当然可以自由选择任何工具或IDE来编写和调试蜘蛛。

用法示例：

$ scrapy编辑蜘蛛1

取

语法：scrapy fetch <url>

需要项目：否

使用Scrapy下载器下载给定的URL，并将内容写入标准输出。

这个命令的有趣之处在于它会获取蜘蛛将如何下载页面。例如，如果蜘蛛具有覆盖用户代理的USER_AGENT属性，它将使用该属性。

所以这个命令可以用来“看”你的蜘蛛如何获取某个页面。

如果在项目之外使用，则不会应用特定的每蜘蛛行为，并且只会使用默认的Scrapy下载器设置。

支持的选项：

--spider = SPIDER：绕过蜘蛛自动检测并强制使用特定的蜘蛛

  • 头：打印响应的HTTP标头而不是响应的正文

--no-redirect：不要按照HTTP 3xx重定向（默认是跟随它们）

用法示例：

$ scrapy fetch --nolog http://www.example.com/some/page.html

[... html内容...]

$ scrapy fetch --nolog - headers http://www.example.com/

{'Accept-Ranges'：['bytes']，

'年龄'：['1263']，

'连接'：['close']，

'Content-Length'：['596']，

'Content-Type'：['text / html;字符集= UTF-8' ]，

'日期'：['Wed，18 Aug 2010 23:59:46 GMT']，

'Etag'：['“573c1-254-48c9c87349680”']

'Last-Modified'：['Fri，30 Jul 2010 15:30:18 GMT']，

'Server'：['Apache / 2.2.3（CentOS）']}

视图

语法：scrapy view <url>

需要项目：否

在浏览器中打开给定的URL，因为您的Scrapy蜘蛛会“看到”它。有时蜘蛛会看到与普通用户不同的页面，所以这可以用来检查蜘蛛“看到”什么，并确认它是你期望的。

支持的选项：

--spider = SPIDER：绕过蜘蛛自动检测并强制使用特定的蜘蛛

--no-redirect：不要按照HTTP 3xx重定向（默认是跟随它们）

用法示例：

$ scrapy view http://www.example.com/some/page.html

[...浏览器启动...]

贝壳

语法：scrapy shell [url]

需要项目：否

启动给定URL（如果给定）的Scrapy shell，如果没有给出URL，则为空。还支持UNIX风格的本地文件路径，与./或../前缀或绝对文件路径相对。有关更多信息，请参阅Scrapy shell。

支持的选项：

--spider = SPIDER：绕过蜘蛛自动检测并强制使用特定的蜘蛛

-c代码：评估shell中的代码，打印结果并退出

--no-redirect：不遵循HTTP 3xx重定向（默认是跟随它们）;这只会影响您在命令行中作为参数传递的URL;一旦你在shell中，fetch（url）将默认遵循HTTP重定向。

用法示例：

解析

语法：scrapy parse <url> [options]

需要项目：是的

获取给定的URL并使用处理它的蜘蛛解析它，使用--callback选项传递的方法，或者如果没有给出解析。

支持的选项：

--spider = SPIDER：绕过蜘蛛自动检测并强制使用特定的蜘蛛

--a NAME = VALUE：设置蜘蛛参数（可能会重复）

--callback或-c：spider方法用作回调来解析响应

  • 管道：通过管道处理项目

--rules或-r：使用CrawlSpider规则来发现用于解析响应的回调（即spider方法）

--noitems：不显示被刮的物品

  • 不适用：不显示提取的链接

--nocolour：避免使用pygments来对输出进行着色

--depth或-d：深度级别，请求递归递归（默认值：1）

--verbose或-v：显示每个深度级别的信息

用法示例：

$ scrapy parse http://www.example.com/ -c parse_item

[... scrapy log lines crawling example.com spider ...]

>>>状态深度1 <<<

＃Scraped Items ----------------------------------------------- -------------

[{'name'：u'Example item'，

'category'：u'Furniture'，

'length'：u'12 cm'}]

＃ 要求 - - - - - - - - - - - - - - - - - - - - - - - - -----------------

[]

设置

语法：scrapy setting [options]

需要项目：否

获取Scrapy设置的值。

如果在项目中使用它将显示项目设置值，否则将显示该设置的默认Scrapy值。

使用示例

$ scrapy设置--get BOT_NAME

scrapybot

$ scrapy设置--getDownload_DELAY

0

runspider

语法：scrapy runspider <spider_file.py>

需要项目：否

运行一个独立于Python文件的蜘蛛，无需创建一个项目。

使用示例

$ scrapy runspider myspider.py

[...蜘蛛开始爬行...]

版

语法：scrapy版本[-v]

需要项目：否

打印Scrapy版本。如果与-v一起使用，它还会打印Python，Twisted和Platform信息，这对bug报告很有用。

长凳

新版本0.17。

语法：刮板

需要项目：否

运行一个快速的基准测试。标杆。

自定义项目命令

您还可以使用COMMANDS_MODULE设置添加自定义项目命令。有关如何实现命令的示例，请参阅scrapy /命令中的Scrapy命令。

COMMANDS_MODULE

默认值：''（空字符串）

用于查找自定义Scrapy命令的模块。这用于为您的Scrapy项目添加自定义命令。

例：

COMMANDS_MODULE ='mybot.commands'

通过setup.py入口点注册命令

注意

这是一个实验功能，谨慎使用。

您还可以通过在库setup.py文件的入口点添加scrapy.commands部分，从外部库添加Scrapy命令。

以下示例添加my_command命令：

from setuptools import setup, find_packages

setup(name='scrapy-mymodule',
  entry_points={
    'scrapy.commands': [
      'my_command=my_scrapy_module.commands:MyCommand',
    ],
  },
 )

results matching ""

    No results matching ""