How To Use A Proxy With Requests Module In Python

Guias, Como fazer, Proxies, Mar-03-20225 minutos de leitura

Every computer gets a unique Internet Protocol (IP) address that identifies the computer and its geographic location when connected to the Internet. Your computer sends out a request whenever it needs any information from the Internet. The request is sent to a target computer that checks the type of information being asked for. The target computer sends the information back if it is allowed to give it to our IP address. At times, the computer wants to get the information from the Internet without being identified. That information is usually blocked, but we can get it using a proxy that acts as an intermediary between the client and the server machine.

Each proxy server has its IP address, so when a user requests via a proxy to access a website, the website sends the data to the proxy server IP that forwards it to the user.

Proxies hide the identity of web scrapers and make their traffic look like regular user traffic.
Proxies provide additional security to websites and balance the internet traffic.
Proxies protect web users’ data or help access websites blocked by a country’s censorship mechanism.

Using A Proxy With Requests Module in Python

For using proxies with the Python requests, you need to follow the steps below.

Import requests

Import the requests package that is a simple HTTP library. You can easily send requests through this package without manually adding query strings to your URLs. You can import requests using the below command.

pedidos de importação

Create a Dictionary

You need to create a proxies dictionary defining the HTTP and HTTPS connections. You can give the dictionary variable any name like “proxies” that map a protocol to the proxy URL. Further, you have to make the URL variable set to the website you have to scrape from.

proxies = {
  "http":'http://203.190.46.62:8080',
  "https":'https://111.68.26.237:8080'
}
url = 'https://httpbin.org/ip'

Here the dictionary defines the URL of the proxy for two separate protocols i-e HTTP and HTTPS.

Create a Response Variable

You have to create a response variable that uses any of the requests methods. This method takes two arguments:

The URL that you created
The dictionary you defined

response = requests.get(url,proxies = proxies)
print(response.json())

The output is as:

You can also use the requests module in Python to rotate the IP addresses as shown below.

You have to import the requests module by using the below command.

pedidos de importação

Create sending_request function

You have to create a sending_request function and prefer using the http proxy as most free proxies don’t use the https protocol. We used try-except block because most of the free proxies don’t work.

def sending_request(session, proxy):
    try:
        response = session.get('http://httpbin.org/ip', proxies={'http': f"http://{proxy}"})
        print(response.json())
    except:
        pass

Read proxies_txt

You have to read the list_proxies.txt file containing the free proxies list and save it to the variable named proxies.

if __name__ == "__main__":
    with open('list_proxies.txt', 'r') as file:
        proxies = file.readlines()

Create Session

You have to create a session from the requests module and follow the below steps.

Loop through the proxy
Pass the proxy and the session to the sending_request function

with requests.Session() as session:
    for proxy in proxies:
        sending_request(session, proxy)

You will get the list of proxies as shown below.

These are some proxies, and the list goes on with more proxies, but all of them don’t work.

Need of Proxies

Todas as empresas precisam de conhecer as cinco razões empresariais vitais para a utilização de proxies mencionadas abaixo.

Execução de tarefas sensíveis de forma anónima

Os proxies são bem conhecidos pela sua capacidade de tornar anónimo o tráfego da Web. Mas a maioria das pessoas não compreende a sua importância no sector empresarial. Os servidores proxy permitem que os agentes de segurança e os repórteres se protejam a si próprios, às empresas, às fontes, aos clientes e aos parceiros.

Também é possível utilizar proxies para proteger o desenvolvimento e a investigação em curso e outras actividades da empresa. Suponha que a sua empresa utiliza um proxy e um potencial espião para seguir o tráfego da Web para determinar o que a sua empresa está a desenvolver. Nesse caso, não conseguirá localizar facilmente os seus empregados.

Melhorar a segurança empresarial e institucional

Sabe que as violações de dados são dispendiosas, tanto em termos de imagem pública como de perdas monetárias. Por isso, as empresas estão preocupadas com os piratas informáticos. Mas os proxies podem ajudá-lo, pois reduzem a possibilidade de violação de dados. Acrescentam uma camada adicional de segurança entre os seus servidores e o tráfego exterior. Os servidores proxy também actuam como um amortecedor, uma vez que enfrentam a Internet e retransmitem pedidos de computadores fora da rede.

Se os piratas informáticos tiverem acesso aos seus servidores proxy, continuarão a ter dificuldade em chegar ao servidor que executa o software Web onde os dados estão armazenados.

Controlo da utilização da Internet pelos empregados

Se os piratas informáticos tiverem acesso aos seus servidores proxy, continuarão a ter dificuldade em chegar ao servidor que executa o software Web onde os dados estão armazenados.

Poupar largura de banda e obter velocidades mais rápidas

Algumas pessoas assumem que os servidores proxy diminuem a velocidade da Internet devido à grande quantidade de trabalho que realizam em segundo plano. Mas isso nem sempre é verdade. Os servidores proxy podem ser utilizados para poupar largura de banda e aumentar a velocidade:

Armazenamento em cache de páginas Web e ficheiros acedidos por vários utilizadores
Compressão do tráfego
Retirar anúncios dos sítios Web

Que proxies utilizar?

Poderá pensar-se que existe um único tipo de procuração que oferece todas as vantagens às empresas, tais como:

Prevenir as violações de dados
Fixação de preços competitivos
Recolha de dados valiosos nas redes sociais
Criar uma estratégia de SEO eficaz

Na realidade, existem muitos tipos de proxies disponíveis, e o que utilizar depende dos seus requisitos ou caso de utilização.

De seguida, apresentam-se os tipos mais comuns de proxies.

Proxies de centros de dados

Os proxies de centros de dados são os proxies mais comuns utilizados pelas empresas em todo o mundo. Os centros de dados produzem e gerem estes proxies. Pode utilizar estes proxies se tiver de melhorar a segurança do seu sistema, uma vez que são baratos e fáceis de adquirir. No entanto, alguns sítios Web proíbem a sua utilização porque os associam a actividades do tipo bot.

Procurações residenciais

Os proxies residenciais estão associados a residências físicas e utilizam os endereços IP de pessoas reais fornecidos pelos fornecedores de serviços Internet (ISP). Quando os utiliza para se ligar a um sítio Web, parece um utilizador comum. Assim, é menos provável que seja detectado e banido. É possível recolher uma grande quantidade de dados da Web utilizando proxies residenciais e obter um maior anonimato e segurança.

Conclusão

So far, we discussed that a proxy acts as a relay between the client and the server machine. Whenever you request information, your computer sends this request to the proxy, which then sends the information to the target computer using a different IP address. Thus your IP address remains confidential. Further, you can use proxies with requests module in Python and perform various actions depending on your need. If you need a static IP with the speed of datacenter proxies and the high anonymity of residential proxies, then static proxies are the way to go as the IP address remains unchanged with each new request. On the contrary, the rotating proxies provide benefits in testing and scraping.

Por: ProxyScrape