在使用Python的requests库进行爬虫时，可以通过设置User-Agent来模拟不同的浏览器访问网站。User-Agent是HTTP请求头中的一个字段，用于表示客户端（浏览器）的类型、版本等信息。大多数网站会检查User-Agent以识别和阻止爬虫访问。
要在requests中设置User-Agent，可以在headers参数中添加一个字典，将User-Agent字符串作为键值对。以下是一个示例：
云服务器
物理服务器
虚拟主机
跨境电商服务器import requests
url = 'https://example.com'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
print(response.text)
在这个示例中，我们设置了一个常见的Chrome浏览器User-Agent。你可以根据需要替换为其他浏览器的User-Agent字符串。这样，网站可能会认为这是一个正常的浏览器访问，而不是爬虫。
请注意，有些网站可能会检查User-Agent以外的其他特征，如IP地址、访问速度等，来识别爬虫。在这种情况下，可能需要采取其他措施来规避这些限制，例如使用代理IP、设置访问间隔等。
辰迅云「云服务器」，即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘，价格低至29元/月。点击查看>>
推荐阅读： python中abs函数用法分析