Skip to content

Latest commit

 

History

1 Commit

Folders and files

NameName
Last commit message
Last commit date
 
 
 
 
 
 
 
 

Repository files navigation

基于上一个简单爬虫框架实现的分布式爬虫框架
原理为主从模式,一个主节点,用来url管理、数据存储;多个从节点,用来下载和解析数据
其中主从节点放在不同的服务器上通过网络进程间的通信来实现数据的传递

参考抄袭《Python爬虫项目实战》

About

基于上个简单爬虫框架实现的一个简单的分布式爬虫框架

Resources

Stars

0 stars

Watchers

1 watching

Forks

Releases

Packages

Contributors

Languages