设为首页 - 加入收藏 宝鸡站长网 (http://www.0917zz.com)- 国内知名站长资讯网站,提供最新最全的站长资讯,创业经验,网站建设等!
热搜: 思维 前瞻 纽约
当前位置: 首页 > 运营中心 > 网站设计 > 教程 > 正文

Python爬虫44万条数据揭秘:如何成为网易音乐评论区的网红段子手

发布时间:2019-10-21 07:01 所属栏目:[教程] 来源:嗨学python
导读:【大咖·来了 第7期】10月24日晚8点观看《智能导购对话机器人实践》 获取数据 其实逻辑并不复杂: 爬取歌单列表里的所有歌单url。 进入每篇歌单爬取所有歌曲url,去重。 进入每首歌曲首页爬取热评,汇总。 歌单列表是这样的: 翻页并观察它的url变化,注意
【大咖·来了 第7期】10月24日晚8点观看《智能导购对话机器人实践》

获取数据

其实逻辑并不复杂:

  • 爬取歌单列表里的所有歌单url。
  • 进入每篇歌单爬取所有歌曲url,去重。
  • 进入每首歌曲首页爬取热评,汇总。

歌单列表是这样的:

Python爬虫44万条数据揭秘:如何成为网易音乐评论区的网红段子手

翻页并观察它的url变化,注意下方动图,每次翻页末尾变化35。

Python爬虫44万条数据揭秘:如何成为网易音乐评论区的网红段子手

采用requests+pyquery来爬取

  1. def get_list(): 
  2.  list1 = [] 
  3.  for i in range(0,1295,35): 
  4.  url = 'https://music.163.com/discover/playlist/?order=hot&cat=%E5%8D%8E%E8%AF%AD&limit=35&offset='+str(i) 
  5.  print('已成功采集%i页歌单\n' %(i/35+1)) 
  6.  data = [] 
  7.  html = restaurant(url) 
  8.  doc = pq(html) 
  9.  for i in range(1,36): # 一页35个歌单 
  10.  a = doc('#m-pl-container > li:nth-child(' + str(i) +') > div > a').attr('href') 
  11.  a1 = 'https://music.163.com/api' + a.replace('?','/detail?') 
  12.  data.append(a1) 
  13.  list1.extend(data) 
  14.  time.sleep(5+random.random()) 
  15.  return list1 

这样我们就可以获得38页每页35篇歌单,共1300+篇歌单。

下面我们需要进入每篇歌单爬取所有歌曲url,并且要注意最后“去重”,不同歌单可能包含同一首歌曲。

点开一篇歌单,注意红色圈出的id。

Python爬虫44万条数据揭秘:如何成为网易音乐评论区的网红段子手

观察一下,我们要在每篇歌单下方获取的信息也就是红框圈出的这些,利用刚刚爬取到的歌单id和网易云音乐的api可以构造出:

Python爬虫44万条数据揭秘:如何成为网易音乐评论区的网红段子手

不方便看的话我们解析一下json。

Python爬虫44万条数据揭秘:如何成为网易音乐评论区的网红段子手
  1. def get_playlist(url): 
  2.  data = [] 
  3.  doc = get_json(url) 
  4.  obj=json.loads(doc) 
  5.  jobs=obj['result']['tracks'] 
  6.  for job in jobs: 
  7.  dic = {} 
  8.  dic['name']=jsonpath.jsonpath(job,'$..name')[0] #歌曲名称 
  9.  dic['id']=jsonpath.jsonpath(job,'$..id')[0] #歌曲ID 
  10.  data.append(dic) 
  11.  return data  

这样我们就获取了所有歌单下的歌曲,记得去重。

  1. #去重 
  2. data = data.drop_duplicates(subset=None, keep='first', inplace=True)  

剩下就是获取每首歌曲的热评了,与前面获取歌曲类似,也是根据api构造,很容易就找到了。

Python爬虫44万条数据揭秘:如何成为网易音乐评论区的网红段子手
  1. def get_comments(url,k): 
  2.  data = [] 
  3.  doc = get_json(url) 
  4.  obj=json.loads(doc) 
  5.  jobs=obj['hotComments'] 
  6.  for job in jobs: 
  7.  dic = {} 
  8.  dic['content']=jsonpath.jsonpath(job,'$..content')[0]  
  9.  dic['time']= stampToTime(jsonpath.jsonpath(job,'$..time')[0]) 
  10.  dic['userId']=jsonpath.jsonpath(job['user'],'$..userId')[0] #用户ID 
  11.  dic['nickname']=jsonpath.jsonpath(job['user'],'$..nickname')[0]#用户名 
  12.  dic['likedCount']=jsonpath.jsonpath(job,'$..likedCount')[0]  
  13.  dic['name']= k 
  14.  data.append(dic) 
  15.  return data  

汇总后就获得了44万条音乐热评数据。

Python爬虫44万条数据揭秘:如何成为网易音乐评论区的网红段子手

数据分析

【免责声明】本站内容转载自互联网,其相关言论仅代表作者个人观点绝非权威,不代表本站立场。如您发现内容存在版权问题,请提交相关链接至邮箱:bqsm@foxmail.com,我们将及时予以处理。

网友评论
推荐文章