Curl com um proxy e os seus 4 benefícios exclusivos

A utilização do cURL com um proxy é uma forma única de aceder a sítios bloqueados, mantendo o anonimato na comunicação de dados. O inquérito recente da TechJury diz que são gerados cerca de 1,14 triliões de MB de dados todos os dias. Como a Internet é uma fonte facilmente acessível de dados tão grandes, as pessoas geralmente preferem várias formas de acesso

Utilizar o cURL com um proxy é uma forma única de aceder a sítios bloqueados, mantendo o anonimato na comunicação de dados. Um inquérito recente da TechJury afirma que são gerados cerca de 1,14 biliões de MB de dados todos os dias. Como a Internet é uma fonte facilmente acessível de dados tão grandes, as pessoas geralmente preferem várias formas de aceder a dados da Internet. Uma delas é passar informações através de comandos cURL. Este artigo fornecerá uma visão geral do cURL e explicará por que é necessário usar o cURL com um proxy.

Índice

• O que é cURL?
• Como utilizar o cURL
• Por que usar o cURL com um proxy?
• Como usar o cURL com um proxy
• Perguntas mais frequentes
• Conclusão sobre a utilização do cURL com um proxy

O que é cURL?

cURL é uma abreviatura de URL do cliente e uma ferramenta de linha de comando para enviar e receber dados de um servidor. É distribuído para os sistemas operativos modernos, incluindo o Windows 10 e as distribuições Linux. É uma biblioteca conveniente que permite enviar e receber dados de e para sites e é uma ferramenta vital para as suas necessidades de raspagem da web. Antes de ver um exemplo simples, vamos descobrir o que precisa de saber para o instalar.

Guia de instalação - se estiver a utilizar um sistema operativo Windows anterior à versão 10, siga as orientações da página oficial de instalação. Se estiver a utilizar uma versão Linux, por exemplo, Ubuntu, abra o terminal e execute o comando abaixo:

sudo apt install curl.

Executando uma solicitação simples - Esperamos que você tenha instalado o cURL no seu sistema operacional e esteja pronto para testá-lo. Vamos começar com um exemplo simples:

No Windows, abra o terminal ou o prompt de comando e digite:

<em><strong>curl https://www.yahoo.com</strong></em>

Na consola, imprimiria o HTML da página.  

Como utilizar o cURL

O cURL transfere dados de e para páginas Web com a ajuda de protocolos da Internet. Embora inicialmente o cURL tenha sido desenvolvido para trabalhar com protocolos HTTP, atualmente suporta muitos protocolos de rede, como FTP, IMAP, IMAPS, SMTP, POP3, POP3S e outros.

Ele também suporta POST, GET, PUT e alguns dos outros métodos existentes ao enviar solicitações. Vejamos um exemplo de envio de alguns dados com o post data.

curl -d "name=yourname&value=somevalue" https://examplewebsite.com/post"

O trecho de código acima -denota que está a utilizar o método post para passar o seu nome e algum valor para a página de publicação do examplewebsite.com.  

Agora já sabe o que é o cURL, e vamos passar à sua utilização com proxies.

Por que usar o cURL com um proxy?

A configuração do cURL com um endereço proxy ajudará as pessoas a melhorar a comunicação de dados com todas essas características proxy.

Mantém o anonimato

A utilização do cURL com um proxy garante que os utilizadores podem ocultar a sua identidade do servidor. Se os utilizadores preferirem obter informações sem que os outros saibam a sua identidade real, podem configurar um endereço proxy com o seu pedido de comando cURL. Neste caso, o proxy encaminhará o pedido do utilizador em seu nome, ocultando a sua identidade real. Proxyscrape fornece proxies de todos os tipos de protocolo, como HTTPs, Socks4 e Socks5 , que podem manter o anonimato para todos os tipos de pedidos

Remove blocos de IP

Alguns endereços IP podem ter sido bloqueados em determinados sítios Web devido a problemas de autorização ou outras razões de segurança. Neste caso, a utilização de um endereço proxy pode facilmente ocultar o seu endereço IP efetivamente bloqueado e aparecer na rede como um novo endereço. ProxyscrapeOs proxies premium da 's podem ajudar os utilizadores a obter dados ilimitados 

Facilita o processo de raspagem

A raspagem é algo mais do que a simples recolha de informações. No scraping, os utilizadores terão de recolher dados de vários recursos, e isso também em grandes quantidades. Neste caso, um proxy apoiará os utilizadores com um processo rápido de recolha de dados que não é facilmente possível sem proxies. ProxyscrapeOs IPs residenciais do pool de IPs ajudarão os utilizadores a utilizar vários proxies e a garantir um processo de recolha de dados rápido.

Ultrapassa as restrições

Quando os utilizadores de um determinado local estão impedidos de extrair conteúdos de sítios de outros limites geográficos, os proxies ajudam-nos a contornar essas restrições. Proxyscrape fornece proxies de vários países para que os utilizadores possam escolher o que pretendem para contornar os bloqueios geográficos.

Como usar o cURL com um proxy

Pode utilizar proxies para se ligar a um sítio Web utilizando cURL. Por exemplo, os proxies são essenciais em circunstâncias em que se utiliza o cURL para extrair dados. Assim, permanece anónimo em relação ao sítio web de destino de onde está a extrair os dados. 

Para estabelecer ligação com proxies, é necessário o endereço do servidor proxy, o número da porta e o tipo de protocolo e, se for necessária autenticação, é necessário introduzir o nome de utilizador e a palavra-passe. Vejamos um exemplo simples: assumimos que o endereço do proxy é 127.0.0.1 e o número da porta é 8920. Os exemplos mencionados abaixo são fundamentos de proxies de ligação com cURL, que funcionariam para qualquer serviço de proxy.

A sintaxe para se conectar a um proxy seria:

curl --proxy endereço proxy: porta https://examplewebsite.com

substituiria por:

curl --proxy 127.0.0.1:8920 https://examplewebsite.com

O comando acima irá encaminhar a sua ligação através de um proxy para examplewebsite.com.

Vamos agora analisar um exemplo que requer autenticação em que o nome de utilizador é o nome de utilizador e a palavra-passe é a palavra-passe.

curl --proxy 127.0.0.1:8920 -U "username:password" https://examplewebsite.com

Usando cURL com vários protocolos de proxy

Pode utilizar o cURL com vários protocolos proxy, tais como HTTP, HTTPS, SOCKS5 e SOCKS4.

Agora pode descobrir quais os comandos a utilizar quando ligar o cURL com um protocolo proxy, utilizando :

curl --help

Sem dúvida que a lista seria enorme, pelo que nos centraremos no comando mais fundamental que se segue:

-x, --proxy [protocolo://]anfitrião[:porta]

Neste comando, x juntamente com -proxy denota os detalhes do proxy, podendo utilizar qualquer um deles, uma vez que ambos estão correctos. No entanto, tenha em atenção que x é sensível a maiúsculas e minúsculas. 

Além disso, para ter a certeza de que está a utilizar proxies, pode utilizar o seguinte comando:

curl http://httpbin.org/ip

Este comando normalmente retorna o endereço IP da origem. Assim, se estiver a utilizar um servidor proxy, este comando devolverá o endereço IP do servidor proxy em vez do seu.

Assim, juntando tudo isto, pode enviar o pedido da seguinte forma:

curl --proxy "http://username:[email protected]:8920" "http://httpbin.org/ip"

Além disso, o comando abaixo seria o mesmo que o anterior:

curl --x "http://username:[email protected]:8920" "http://httpbin.org/ip"

Um facto importante a ter em conta aqui é que deve utilizar aspas tanto para o URL do proxy como para o URL de destino como prática recomendada. Isto deve-se à presença de caracteres especiais no URL.

Além disso, se receber algum erro de certificado SSL, é necessário adicionar a letra minúscula -k ao final do comando, conforme mostrado abaixo:

curl --proxy "http://username:[email protected]:8920" "http://httpbin.org/ip" -k. 

Isto permitirá a passagem de ligações inseguras quando se utiliza a ligação SSL.

Ao usar proxies, o protocolo padrão é HTTP, a menos que seja explicitamente especificado de outra forma. Por conseguinte, ambos os comandos abaixo estão correctos:

curl --proxy "http://username:[email protected]:8920" "http://httpbin.org/ip".
 curl --proxy "username:[email protected]:89 20 " "http://httpbin.org/ip".

Como configurar o cURL para usar sempre um proxy

Se desejar ter um proxy para o cURL, pode criar um ficheiro curl-config da seguinte forma.

Se estiveres no macOS ou no Linux, em primeiro lugar, tens de abrir o terminal e ir para o teu diretório pessoal. Se houver um .curlrc, é preciso abri-lo e criar um novo arquivo vazio. Pode usar os comandos abaixo para navegar para o ficheiro:

cd~ 
 nano .curlrc.

Por isso, é necessário acrescentar esta linha no ficheiro:

procuração="http://username:[email protected]:8920"

Salve o arquivo e agora você pode usar o cURL com proxies. Basta executar o cURL normalmente, e ele lerá o proxy do ficheiro acima:

enrolar "http://httpbin.org/ip"

No Windows, este ficheiro será _curlc, e é colocado no diretório %APPDATA%. Para encontrar o caminho exato para %APPDATA%, é necessário escrever o seguinte comando na linha de comandos:

eco %APPDATA%

Assim, o comando acima devolverá o caminho, e terá de navegar até ele. Depois, é preciso criar o ficheiro _curlrc e definir o proxy da mesma forma que no macOS ou no Linux.

Confira este artigo para entender outros comandos cURL para adicionar um proxy com ele. 

Perguntas mais frequentes

Perguntas frequentes:

Conclusão sobre a utilização do cURL com um proxy

Se é um utilizador que está a tentar recolher dados através de comandos cURL sem revelar a sua identidade, configurar um cURL com um proxy será a melhor opção. Este artigo ter-lhe-á dado uma ideia abrangente da utilização do cURL com proxies. Para utilizar os melhores proxies activos a um custo razoável, pode contactar Proxyscrape.