使用 python 通过代理服务器访问网络

64 0 0

要使用不同的IP地址访问网站，你可以通过代理服务器来实现。Python的requests库支持通过代理访问网络资源，这是一种常见的做法。下面是一个基本示例，展示如何使用requests库通过不同的代理IP地址去访问一个网站。

首先，确保你已经安装了requests库。如果没有安装，可以通过pip安装：

pip install requests

然后，你可以使用以下代码通过代理访问一个网站：

import requests

# 定义代理IP地址和端口，示例中使用的是假设的代理，请替换为实际可用的代理
proxies = {
  "http": "http://your_proxy_ip:proxy_port",
  "https": "http://your_proxy_ip:proxy_port",
}

# 目标网站的URL
url = 'http://example.com'

try:
    # 使用代理访问网站
    response = requests.get(url, proxies=proxies)
    # 打印网页内容
    print(response.text)
except Exception as e:
    print(f"Error accessing {url} through proxy: {e}")

请注意，这里的"your_proxy_ip:proxy_port"需要替换成你的代理服务器的IP地址和端口号。如果你的代理服务器需要认证，你还需要在代理地址中包含用户名和密码，格式如下：

proxies = {
  "http": "http://username:password@your_proxy_ip:proxy_port",
  "https": "http://username:password@your_proxy_ip:proxy_port",
}

使用不同的IP地址访问网站通常是为了匿名化或绕过一些地理位置限制。但请确保你使用这种方法时遵守目标网站的使用条款和相关法律法规。代理服务器的选择和使用需要谨慎，建议使用可信赖的代理服务提供商。

指定 proxy 的代码：

http_proxy  = "http://194.62.145.248:8080"
https_proxy  = "https://194.62.145.248:8080"
ftp_proxy   = "10.10.1.10:3128"

proxyDict = {
              "http"  : http_proxy,
              "https" : https_proxy,
              "ftp"   : ftp_proxy
            }

优化网络请求设置

requests 库提供了多种设置来优化网络请求，包括超时设置、重试逻辑等。在面对网络不稳定或代理服务器响应慢的情况时，合理的超时设置和重试机制可以显著提高应用的健壮性。

设置请求超时：通过 timeout 参数可以指定请求的最大等待时间。
使用重试逻辑：可以使用 requests 库的 Session 对象和 HTTPAdapter 来实现自动重试策略。

from requests.adapters import HTTPAdapter
from requests.packages.urllib3.util.retry import Retry
import requests

session = requests.Session()
retries = Retry(total=5, backoff_factor=0.1, status_forcelist=[500, 502, 503, 504])
session.mount('http://', HTTPAdapter(max_retries=retries))
session.mount('https://', HTTPAdapter(max_retries=retries))

response = session.get('https://cloud.tencent.com/developer/article/2388638', proxies=proxies, timeout=5)
print(response.text)

# 随笔