Python网络爬虫--案例--中国大学排名
python爬虫案例:中国大学排名定向爬虫
功能描述:
输入:大学排名URL链接
输出:大学牌型信息的屏幕输出(排名, 大学名称, 总分)
使用的库:requests,bs4
定向爬虫:仅对输入URL进行爬取,不扩展爬取
【先判断网页中的数据是否动态生成,能否在源代码中获取数据信息】
【查看Robots协议】
设计步骤:
从网络上获取大学排名网页内容
提取网页内容中的信息到合适的数据结...
Continue reading...