在学习、“脱发”之余,便是去微博看看有没有发生什么有趣的事情,或是了解一下正在发生着哪些“大事”,亦或是某些让我久久不能平复的事…Whatever~因为重点并不是这个重点是,当我去搜微博热搜的时候,是这样的:界面需要一直手动刷新,而且我简单搜了一下,似乎是没有相关的实时统计图的,于是我尝试着自己写一个。(ps.要是有哪位大佬知道有现成的欢迎留言哦,定将感激涕零~)
一、整体思路一个简单的想法在我婶婶的脑海里浮现了出来:首先搜集数据,然后通过一个web页面来进行统计展示。对于搜集数据当然是写个爬虫就好了,首先脑里闪过的是用python,但是人总是喜欢尝试下新东西,于是我选择试试用PHP来写爬虫。所以,大体框架便出来了:
二、数据爬取1.获取HTMLPHP爬取微博热搜页面,得到HTML源码:
functiongetUrlContent(url){//通过url获取html内容ch=curl_init();curl_setopt(ch,CURLOPT_URL,url);curl_setopt(ch,CURLOPT_USERAGENT,"Mozilla/4.0(