python有什么爬虫函数

1004
2021/3/3 15:23:30
栏目: 编程语言
开发者测试专用服务器限时活动,0元免费领,库存有限,领完即止! 点击查看>>

python有什么爬虫函数

python中的爬虫函数有以下几种

1.urlopen()函数

urlopen()函数的作用主要是获取远程数据。

语法:

urllib.urlopen(url[, data[, proxies]])

url:表示远程数据的路径,一般是网址;

data:表示以post方式提交到url的数据;

proxies:用于设置代理;

2.urlretrieve函数

urlretrieve函数的作用是直接将远程数据下载到本地。

语法:

urllib.urlretrieve(url[, filename[, reporthook[, data]]])

注:

url:外部或者本地url;

filename:指定了保存到本地的路径;

reporthook:回调函数,用来显示当前的下载进度;

data:指post到服务器的数据;

辰迅云「云服务器」,即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘,价格低至29元/月。点击查看>>

推荐阅读: python解压zip文件的方法是什么