请设计一个网络爬虫。

并发下载，网址去重，IP被禁等等