写一个爬取VIP视频的代码
```python
import requests
from bs4 import BeautifulSoup
# 用来抓取VIP视频的网址
url = 'https://www.vipjiexi.com/vip/' # 爬取的网址为VIP视频站的主页,由此可以得到所有VIP视频的连接地址。
# 设置请求头,伪装成浏览器去请求网站数据,否则有些网站会出现403 forbidden的情况。
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.135 Safari/537.36'} # 可以在浏览器中F12找到对应信息。
# 向目标url地址发送get请求,返回一个response对象
response = requests.get(url, headers=headers)
# 检测是否正常返回数据
if response:
# 返回文本数据,并使用utf-8进行解码 print(response_text)
soup = BeautifulSoup(response_text, 'html5lib') # 利用BeautifulSoup将html文本转化为BeautifulSoup对象 print(soup)
video_list = soup.find('div', class_='video-list') # 查找class="video-list"标签 print(video_list)
videos = video_list .findAll('a') for video in videos: url = video['href'] title = video['title'] print('%s: %s' % (title, url)) else: print('error!')
创作工场
免责声明:
以上内容除特别注明外均来源于网友提问,创作工场回答,未经许可,严谨转载。
点击这里>>使用🔥专业版,更聪明、更完整、更原创!