爬取豆瓣電影勵志
打開網(wǎng)頁
找到：加載更多
F12,選擇網(wǎng)絡(luò)官帘，XHIR發(fā)現(xiàn)為空
點擊加載更多，發(fā)現(xiàn)多了個東西酪刀，右擊在新標(biāo)簽頁面打開
可以看到
多點擊幾個加載更多發(fā)現(xiàn)他們的url結(jié)尾變化20,40,60：
https://movie.douban.com/j/new_search_subjects?sort=T&range=0,10&tags=%E5%8A%B1%E5%BF%97&start=20
https://movie.douban.com/j/new_search_subjects?sort=T&range=0,10&tags=%E5%8A%B1%E5%BF%97&start=40
https://movie.douban.com/j/new_search_subjects?sort=T&range=0,10&tags=%E5%8A%B1%E5%BF%97&start=60
所以可以利用起這一點來
代碼
#coding-utf8
import requests
for i in range(3):
url = 'https://movie.douban.com/j/new_search_subjects?sort=T&range=0,10&tags=&start={}'.format(i*20)
file = requests.get(url).json() #返回的是json文件
for j in range(20):
dict = file['data'][j] #字典
urlname = dict['url']
title = dict['title']
rate = dict['rate']
cast = dict['casts']
print(i*20+j+1,'\n','電影名稱：',title,'評分：',rate,'主演：',' '.join(cast),'url：',urlname ,'\n')
效果
