新版本0.17。

Scrapy带有一个简单的基准测试套件,产生一个本地的HTTP服务器,并以最大的速度爬行。 这个基准测试的目标是了解Scrapy在硬件中的表现,以便有一个共同的比较基准。 它使用一个简单的蜘蛛,不做任何事情,只是跟随链接。

运行它使用:

刮板凳

你应该看到这样的输出:

这告诉您,Scrapy可以在您运行它的硬件中每分钟抓取约3000页。 请注意,这是一个非常简单的蜘蛛,旨在追踪链接,您编写的任何自定义蜘蛛可能会做更多的东西,导致爬网速度较慢。 多少速度取决于蜘蛛的作用程度以及它的写作程度。

将来,更多的案例将添加到基准套件中,以涵盖其他常见情况。

results matching ""

    No results matching ""