Quando se utiliza um proxy, não se liga diretamente ao servidor de destino; em vez disso, dirige-se o pedido ao servidor proxy que o avalia e devolve uma resposta. Os proxies têm muitas vantagens, tais como ocultar os seus verdadeiros endereços IP, contornar filtros, censura, etc.
Um rotador de proxy pode ajudá-lo a contornar a maioria das medidas anti-raspagem. Também o pode utilizar para contornar quaisquer limites de taxa implementados no sítio Web alvo e extrair dados com êxito. Mas o que é um proxy rotativo? É um proxy que atribui um novo endereço IP a cada ligação a partir do conjunto de proxies. Isto significa que pode enviar 1000 pedidos a qualquer número de sítios Web lançando um script e obtendo 1000 endereços IP diferentes.
Este artigo ajuda-o a compreender como utilizar proxies para rodar endereços IP em python.
É necessário importar o módulo requests do Python utilizando o comando abaixo.
pedidos de importaçãoSe o módulo não estiver instalado no seu ambiente, pode instalá-lo utilizando o comando abaixo.
!pip install requestsdef send_request(session, proxy):
try:
response = session.get('http://httpbin.org/ip', proxies={'http': f"http://{proxy}"})
print(response.json())
except:
passAqui vem a secção principal do código. Tem de ler o seu ficheiro list_proxy.txt e guardá-lo na variável chamada proxies, como se mostra abaixo.
if __name__ == "__main__":
com open('lista_proxy.txt', 'r') as file:
proxies = file.readlines()É necessário utilizar o módulo requests para criar uma sessão em Python. Usámos um loop for para percorrer o proxy no código abaixo. Em seguida, passamos a sessão e o proxy para a função send_request.
com requests.Session() as session:
for proxy in proxies:
send_request(sessão, proxy)Pode executar o script e ver o resultado como mostrado abaixo. Obterá uma longa lista de proxies, mas lembre-se, eles não funcionarão.
python rotateproxy.pyTodo o seu código será como:
import requests
def send_request(session, proxy):
try:
response = session.get('http://httpbin.org/ip', proxies={'http': f"http://{proxy}"})
print(response.json())
except:
pass
if __name__ == "__main__":
with open('list_proxy.txt', 'r') as file:
proxies = file.readlines()
with requests.Session() as session:
for proxy in proxies:
send_request(session, proxy)Seguem-se algumas sugestões para rodar proxies em Python quando se utiliza um proxy rotativo.
A maior parte dos serviços proxy gratuitos disponíveis estão congestionados, o que leva a falhas inesperadas e atrasos frustrantes. Por conseguinte, quando planeia optar por proxies gratuitos, tem de verificar se correspondem às suas necessidades de recolha de dados sem causar atrasos significativos.
A maior parte dos proxies gratuitos são válidos por um período limitado, pelo que pode construir a sua própria lógica em Python que pode rodar o rotador da lista de proxies gratuitos com endereços IP funcionais. Desta forma, não terá quaisquer interrupções durante o web scraping.
Deve evitar utilizar endereços IP que sigam uma sequência específica ou um formato previsível, como pertencer ao mesmo grupo. Isto deve-se ao facto de a maioria das ferramentas anti-raspagem poder detetar facilmente os pedidos enviados a partir de tais endereços IP. Por exemplo, deve abster-se de utilizar a seguinte sequência de endereços IP rotativos, uma vez que esta levantará rapidamente a bandeira vermelha.
103.243.132.11
103.243.132.12
103.243.132.13
103.243.132.14
Os rotadores de IP proxy gratuitos são inseguros e lentos. Por isso, a sua utilização não será adequada se realizar projectos avançados e de grande escala de recolha de dados da Web. Utilizando bons proxies premium, pode obter um serviço de alta qualidade e extrair milhares de páginas Web sem sofrer bloqueios ou interrupções.
Para utilizar um serviço proxy de qualidade superior, terá de pagar alguns dólares e obter um fornecedor que satisfaça as suas necessidades de extração de dados e garanta a sua privacidade.
De seguida, apresentam-se três categorias principais de proxies na Internet.
Pode utilizar a rotação de IP para rodar vários endereços IP e evitar a deteção. No entanto, algumas medidas anti-raspagem podem identificar essas actividades e impedir a recolha de dados. Por conseguinte, para aumentar as suas hipóteses de sucesso, é necessário rodar os agentes do utilizador para além da rotação dos endereços IP.