python爬虫实战项目之爬取豆瓣最受欢迎的250部电影

发布时间:2019-12-06
摘要: 前言Python现在非常火,语法简单而且功能强大,很多同学都想学Python!所以小的给各位看官们准备了高价值Python学习视频教程及相关电子版书籍,欢迎前来领取!主要思路请求豆瓣的链接获取网页源代码然后使用 BeatifulSoup 拿到我们要的

python爬虫实战项目之爬取豆瓣最受欢迎的250部电影

前言

Python现在非常火,语法简单而且功能强大,很多同学都想学Python!所以小的给各位看官们准备了高价值Python学习视频教程及相关电子版书籍,欢迎前来领取!

主要思路

请求豆瓣的链接获取网页源代码

然后使用 BeatifulSoup 拿到我们要的内容

最后就把数据存储到 excel 文件中

项目源码分享

import requests

from bs4 import BeautifulSoup

import xlwt

def request_douban(url):

try:

response = requests.get(url)

if response.status_code == 200:

return response.text

except requests.RequestException:

return None

book = xlwt.Workbook(encoding='utf-8', style_compression=0)

sheet = book.add_sheet('豆瓣电影Top250', cell_overwrite_ok=True)

sheet.write(0, 0, '名称')

sheet.write(0, 1, '图片')

sheet.write(0, 2, '排名')

sheet.write(0, 3, '评分')

sheet.write(0, 4, '作者')

sheet.write(0, 5, '简介')

n = 1

def save_to_excel(soup):

list = soup.find(class_='grid_view').find_all('li')

for item in list:

item_name = item.find(class_='title').string

item_img = item.find('a').find('img').get('src')

item_index = item.find(class_='').string

item_score = item.find(class_='rating_num').string

item_author = item.find('p').text

if (item.find(class_='inq') != None):

item_intr = item.find(class_='inq').string

# print('爬取电影:' + item_index + ' | ' + item_name +' | ' + item_img +' | ' + item_score +' | ' + item_author +' | ' + item_intr )

print('爬取电影:' + item_index + ' | ' + item_name + ' | ' + item_score + ' | ' + item_intr)

global n

sheet.write(n, 0, item_name)

sheet.write(n, 1, item_img)

sheet.write(n, 2, item_index)

sheet.write(n, 3, item_score)

sheet.write(n, 4, item_author)

sheet.write(n, 5, item_intr)

n = n + 1

def main(page):

url = 'https://movie.douban.com/top250?start=' + str(page * 25) + '&filter='

html = request_douban(url)

soup = BeautifulSoup(html, 'lxml')

save_to_excel(soup)

if __name__ == '__main__':

for i in range(0, 10):

main(i)

book.save(u'豆瓣最受欢迎的250部电影.xlsx')

代码运行截图

生成了一个 excel 文件

最后,如果你还是迷茫到底学习Java还是Python,没关系!今天分享的干货一定能解决以上所有的问题。

小编精心为大家整理了400集python视频教程+300集java视频教程,让你不用再纠结,资料拿到手想学哪个学哪个!

获取方式:转发文章+私信小编“资料”即可免费领取!

相信一定对你有很大帮助,赶快来找我领取吧!