我们在学习机器学习相关内容时,一般是不需要我们自己去爬取数据的,因为很多的算法学习很友好的帮助我们打包好了相关数据,但是这并不代表我们不需要进行学习和了解相关知识。在这里我们了解三种数据的爬取:鲜花/明星图像的爬取、中国艺人图像的爬取、股票数据的爬取。分别对着三种爬虫进行学习和使用。
体会个人感觉爬虫的难点就是URL的获取,URL的获取与自身的经验有关,这点我也很难把握,一般URL获取是通过访问该网站通过抓包进行分析获取的。一般也不一定需要抓包工具,通过浏览器的开发者工具(F12/Fn+F12)即可进行获取。
鲜花/明星图像爬取URL获取百度搜索鲜花关键词,并打开开发者工具,点击NrtWork
找到数据包进行分析,分析重要参数
pn表示第几张图片加载
rn表示加载多少图片
查看返回值进行分析,可以看到图片体制在ThumbURL中
下载过程