0
Scrapy爬虫实战(二) 爬取新闻网站
本文记录Scrapy爬虫在Linux系统下的实战 大纲scrapy startproject projectname1.创建项目：scrapy startproject demo2.项目结构和文件作用：用户编写的主要就是spiders+items+pipeline模块 编写爬虫前的设置(settings.py)1.设置爬虫不遵守robots.txt，robots协议就是网站规定的爬虫爬取规则12#