Spider爬取斗鱼颜值主播信息

臭大佬 2020-01-02 22:05:26 392
Python 
简介 Spider爬取斗鱼颜值主播信息

简介

既然学了爬虫了,那就应该做些有意义的事情,比如爬取国外某榴网站,获取视频或者种子的地址,哈哈哈,今天,先写个简单的,爬取斗鱼主播信息。

创建Scrapy项目

scrapy startproject douyu

创建爬虫文件

进入spider目录下,注意不能用douyu作为名称啦,不然会报错

scrapy genspider douyutu "capi.douyucdn.cn"