CCGP-Spider

按照分类不同爬取中国政府采购网的各类数据，先爬取各个类型的标题、链接等基本信息；再基于不同标题的链接爬取全文。

step1中的spiderTitle为爬取标题数据的文件； step2_spytxt.py为基于标题爬取正文的文件。 !需要注意的是，用户可以开启多个cmd/终端分别运行多个爬虫文件分工爬取数据，从而加快运行速度，而无需租用ip池来多线程爬取。并且这种方法不会触发ccgp的反爬机制。