【Python】爬取英雄联盟素材

wangy

1. # -*- coding: utf-8 -*-
   
2. # @Time    : 2020/1/28 21:12
   , f- [/ q3 M& o3 P$ G5 U
3. # @Author  : SunriseCai
   / G! o# b$ U" g; Q7 o# e
4. # @File    : YXLMSpider.py
   5 N! _+ C; D) H6 V' v) S/ P
5. # @Software: PyCharm
   
6. import os
   
7. import json
   
8. import time
   
9. import requests
   
10. 
    & D1 G) e' y: i; e9 v
11. """英雄联盟皮肤爬虫程序"""
    & t4 R5 }: a+ L, \
12. 
    
13. 
    * @2 X! O6 \' ^- C$ N3 L& d5 N
14. class YingXLMSpider(object):
    $ r  ^8 n4 w! K; |. h) S2 k) l  [
15.     def __init__(self):
    & C$ F4 B' [& D( T* a
16.         self.onePageUrl = 'https://game.gtimg.cn/images/lol/act/img/js/heroList/hero_list.js'
    4 B5 K7 z: \, }# P! W. r
17.         self.skinUrl = 'https://game.gtimg.cn/images/lol/act/img/js/hero/{}.js'
    
18.         self.headers = {
    6 k8 M; e, Q+ G# i+ {8 h  @
19.             'User-Agent': 'Mozilla/5.0'
    
20.         }
    + P5 O" z( u( g; d% ?- g. j
21. 
    
22.     def get_heroList(self):
    % ]8 u  N. z( ]9 a
23.         """
    ; d, d9 K" \8 |, e, z: H/ C3 C
24.         :return: 获取英雄的heroId，和英雄名称
    
25.         """
    
26.         res = requests.get(url=self.onePageUrl, headers=self.headers)
    
27.         if res.status_code == 200:
    
28.             data = json.loads(res.text)
    
29.             for item in data['hero']:
    
30.                 Id = item['heroId']
    
31.                 title = item['title']
    
32.                 self.get_skin_url(Id, title)
    
33.         else:
    5 z' V4 y0 P" U
34.             print('your code is fail')
    
35. 
    
36.     def get_skin_url(self, Id, folder):
    
37.         """
    ( ?: o% P- o3 t7 B
38.         :param Id: 英雄ID，用于拼接url
    9 N6 q" k; L* G6 Z2 ]' q1 D. ^
39.         :param folder: 以英雄名称命名的文件夹
    3 b1 Y: C8 u  `0 g& ~) _+ M
40.         :return:
      K5 ~2 Y  {; @- D
41.         """
    
42.         url = self.skinUrl.format(Id)
    0 Q+ }" S( k  x9 q# k& |' L  i$ c* X
43.         res = requests.get(url, headers=self.headers)
    0 W3 u5 s- H. j
44.         if res.status_code == 200:
    $ ?* X8 ~& w, m' D
45.             data = json.loads(res.text)
    / U( f* |# @1 a9 }$ N
46.             for item in data['skins']:
    : e+ `5 w- [2 U. A
47.                 url = item['mainImg']
    
48.                 name = item['name'].replace('/', '')
    
49.                 self.download_picture(url, name, folder)
    
50. 
    4 {& b) u2 E/ z2 ]1 t7 I  f" l5 n
51.         else:
    
52.             print('your code is fail')
    
53. 
    
54.     def download_picture(self, url, name, folder):
    ( d2 B( P- V9 c/ l7 ~/ U
55.         """
    3 \7 F: e9 f1 T0 c9 C% \3 g4 ^) Q" T1 G
56.         :param url:  皮肤地址
    6 @% b  R, S; _- ]
57.         :param name: 皮肤名称
    " r# p5 w7 p% l+ ~6 V  g- ]# |: o4 b
58.         :param folder: 文件夹
    9 ~% }: Z; B# Y2 V5 [
59.         :return:
    1 p! D  A/ q1 Y' x9 M& T& Q
60.         """
    
61.         # 判断如果文件夹不存在则创建
    ) o8 O; g/ p( `; y% L
62.         if not os.path.exists(folder):
    
63.             os.makedirs(folder)
    
64.         # 判断url不为空和   图片不存在本地则下载（主要用于断点重连）
    
65.         if not url == '' and not os.path.exists('%s/%s.jpg' % (folder, name)):
    0 `( q# F& R. R! k- R, }
66.             time.sleep(1)
    
67.             res = requests.get(url, headers=self.headers)
    
68.             with open('%s/%s.jpg' % (folder, name), 'wb') as f:
    7 Q  p+ _! q$ y# W
69.                 f.write(res.content)
    
70.                 print('%s.jpg' % name, '下载成功')
    6 I9 o8 X8 R6 c; y( n2 c
71.                 f.close()
    7 b2 k0 @; B% L, \+ o
72. 
    7 I7 ^3 @& P* K
73.     def main(self):
    
74.         self.get_heroList()
    
75. 
    1 z! I) K) q7 _& g6 T! \; P
76. 
    
77. if __name__ == '__main__':
    % l" c$ |/ I4 t. D" F( E
78.     spider = YingXLMSpider()
    - _0 {- F- f9 [4 @: b% Y
79.     spider.main()
    
80. 
    

复制代码