src收集爬虫

sdfhj

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

为收集src，写了些爬虫，从网上爬写真图片。python写的，保存为.py文件使用。不知道为啥，代码里的“+”号没了。。请大家注意用的时候加一下
堆糖爬虫（爬柳岩）：

1. from urllib import request, parse
   
2. import json
   
3. import jsonpath
   
4. import requests
   
5. import os
   
6. import re
   
7. 
   
8. def mkdir(path):
   
9.     # 判断是否存在文件夹如果不存在则创建为文件夹
   
10.     # 如果路径不存在会创建这个路径
    
11.     folder = os.path.exists(path)
    
12.     if not folder:
    
13.         os.makedirs(path)
    
14. 
    
15. def DuiTang(word, num, local_path):
    
16.     url_head = 'https://www.duitang.com/napi/blog/list/by_search/?kw='
    
17.     form = parse.quote(word)
    
18.     headers = {'User-Agent':'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'}
    
19.     for page in range(1,int(num)):
    
20.         response = request.Request(url = url_head+form+'&type=feed&include_fields=top_comments,is_root,source_link,item,buyable,root_id,status,like_count,like_id,sender,album,reply_count,favorite_blog_id&_type=&start='+str(page*24)+'&_='+str(1540109911555+page), headers=headers)
    
21. 
    
22.         response = request.urlopen(response)
    
23.         html = response.read()
    
24.         unicodestr = json.loads(html)
    
25.         url_list = jsonpath.jsonpath(unicodestr, "$..path")
    
26.         for li in url_list:
    
27.             print('\n')
    
28.             print(li)
    
29.             name = li.split('/')[-1]
    
30.             try:
    
31.                 filename = local_path + '/' + name
    
32.                 if not os.path.isfile(filename):
    
33.                     document = requests.get(url=li, headers=headers)
    
34.                     with open(filename, 'wb') as f:
    
35.                         f.write(document.content)
    
36.                         print('已下载完成')
    
37.                 else:
    
38.                     print('已存在')
    
39.             except Exception:
    
40.                     print('下载失败并忽略')
    
41.                     pass
    
42. 
    
43. 
    
44. 
    
45. if __name__ == '__main__':
    
46.     word = '柳岩'
    
47.     num = 200
    
48.     local_path = "D:\\Another\\temp\\ANOTHER_RUBBISH\\VIDEOS\\DFL_Src\\duitang\" + word
    
49.     mkdir(local_path)
    
50.     DuiTang(word, num, local_path)

复制代码

回车桌面爬虫（爬范冰冰）：

1. import requests
   
2. import re
   
3. import os
   
4. from lxml import etree
   
5. from faker import Faker
   
6. faker = Faker(locale='zh_CN')
   
7. 
   
8. 
   
9. def mkdir(path):
   
10.     folder = os.path.exists(path)
    
11.     if not folder:
    
12.         os.makedirs(path)
    
13. 
    
14. def get(url):
    
15.     header = {'User-Agent': faker.user_agent()}
    
16.     i = 0
    
17.     while i < 1:
    
18.         try:
    
19.             result = requests.get(url, headers=header, timeout=10)
    
20.             return result
    
21.         except requests.exceptions.RequestException:
    
22.             # print("Time out " + str(i+1))
    
23.             i += 1
    
24. 
    
25. word = '范冰冰'
    
26. 
    
27. local_path = "D:\\Another\\temp\\ANOTHER_RUBBISH\\VIDEOS\\DFL_Src\\huiche\" + word
    
28. mkdir(local_path)
    
29. url = 'https://www.enterdesk.com/search/1-0-6-0-0-0/' + word
    
30. 
    
31. while True:
    
32.     print(url)
    
33.     response = get(url)
    
34.     get_urls = etree.HTML(response.text).xpath('//dl[@class="egeli_pic_dl"]/dd/a/@href')
    
35.     if len(get_urls) == 0:
    
36.         break
    
37.     if get_urls is None:
    
38.         break
    
39.     for get_url in get_urls:
    
40.         print(get_url)
    
41.         response = get(get_url)
    
42.         imgs = etree.HTML(response.text).xpath('/html/body/div[10]/div[1]/div[4]/div/div[1]/div/a/@src')
    
43.         img_single = etree.HTML(response.text).xpath('/html/body/div[10]/div[1]/div[2]/img/@src')
    
44.         if len(img_single) == 1:
    
45.             imgs.append(img_single[0])
    
46.         for img in imgs:
    
47.             print(img)
    
48.             name = img.split('/')[-1]
    
49.             try:
    
50.                 filename = local_path + '/' + name
    
51.                 if not os.path.isfile(filename):
    
52.                     document = get(img)
    
53.                     with open(filename, 'wb') as f:
    
54.                         f.write(document.content)
    
55.                         print('已下载完成')
    
56.                 else:
    
57.                     print('已存在')
    
58.             except Exception:
    
59.                     print('下载失败并忽略')
    
60.                     pass
    
61.     page_num = re.search('search/(.*)-0-6-0-0-0/', url).group(1)
    
62.     new_page_num = int(page_num) + 1
    
63.     url = url.replace('search/' + str(page_num) + '-0-6-0-0-0/', 'search/' + str(new_page_num) + '-0-6-0-0-0/')
    
64. 
    
65.    
    

复制代码

1111111

感谢分享

20210901

这个怎么用哦？

poiu88

这个怎么用

2772403575

用了一下，不过估计爬出来不是原图？对画质没有太高要求的应该用起来还不错。还有就是在帖子这儿复制的代码直接跑有几处路径、文件名等的语法错误，字符串相加（合并）少了个+号，不知道是我python的版本或者编译器不一样的缘故，反正加上就能用啦，换人爬直接改代码里的名字就行。

plotchen

感谢分享

omesa

谢谢楼主，是保存为bat用吗

54724607

感谢分享~~

w7315511

爬出来是原图嘛！