pyspider

most powerful spider system in python!

demo code: gist:9424801

Installation

• python2.6/2.7
• pip install -r requirements.txt
• ./run.py , visit http://localhost:5000/

Docker

# mysql
docker run -it -d --name mysql dockerfile/mysql
# rabbitmq
docker run -it -d --name rabbitmq dockerfile/rabbitmq

# scheduler
docker run -it -d --name scheduler --link mysql:mysql --link rabbitmq:rabbitmq binux/pyspider scheduler
# fetcher, run multiple instance if needed.
docker run -it -d -m 64m --link mysql:mysql --link rabbitmq:rabbitmq binux/pyspider fetcher
# processor, run multiple instance if needed.
docker run -it -d -m 128m --link mysql:mysql --link rabbitmq:rabbitmq binux/pyspider processor
# webui
docker run -it -d -p 5000:5000 --link mysql:mysql --link rabbitmq:rabbitmq --link scheduler:scheduler binux/pyspider webui

Documents

• Wiki
• Quickstart
• 脚本编写指南
• 架构设计

Contribute

• 部署使用，提交 bug、特性 Issue
• 参与 特性讨论 或 完善文档
• 我正在进行 Bugfix and Basic Features 的第二个里程碑开发。欢迎发 pull request (代码、注释和提交日志请用英文）

License

Licensed under the Apache License, Version 2.0