cURL é uma abreviatura de URL do cliente e uma ferramenta de linha de comando para enviar e receber dados de um servidor. É distribuído para os sistemas operativos modernos, incluindo o Windows 10 e as distribuições Linux. É uma biblioteca conveniente que permite enviar e receber dados de e para sites e é uma ferramenta vital para as suas necessidades de raspagem da web. Antes de ver um exemplo simples, vamos descobrir o que precisa de saber para o instalar.
sudo apt install curl.
No Windows, abra o terminal ou o prompt de comando e digite:
<em><strong>curl https://www.yahoo.com</strong></em>Na consola, imprimiria o HTML da página.
O cURL transfere dados de e para páginas Web com a ajuda de protocolos da Internet. Embora inicialmente o cURL tenha sido desenvolvido para trabalhar com protocolos HTTP, atualmente suporta muitos protocolos de rede, como FTP, IMAP, IMAPS, SMTP, POP3, POP3S e outros.
Ele também suporta POST, GET, PUT e alguns dos outros métodos existentes ao enviar solicitações. Vejamos um exemplo de envio de alguns dados com o post data.
curl -d "name=yourname&value=somevalue" https://examplewebsite.com/post"O trecho de código acima -denota que está a utilizar o método post para passar o seu nome e algum valor para a página de publicação do examplewebsite.com.
Agora já sabe o que é o cURL, e vamos passar à sua utilização com proxies.
A configuração do cURL com um endereço proxy ajudará as pessoas a melhorar a comunicação de dados com todas essas características proxy.
A utilização do cURL com um proxy garante que os utilizadores podem ocultar a sua identidade do servidor. Se os utilizadores preferirem obter informações sem que os outros saibam a sua identidade real, podem configurar um endereço proxy com o seu pedido de comando cURL. Neste caso, o proxy encaminhará o pedido do utilizador em seu nome, ocultando a sua identidade real. Proxyscrape fornece proxies de todos os tipos de protocolo, como HTTPs, Socks4 e Socks5 , que podem manter o anonimato para todos os tipos de pedidos
Quando os utilizadores de um determinado local estão impedidos de extrair conteúdos de sítios de outros limites geográficos, os proxies ajudam-nos a contornar essas restrições. Proxyscrape fornece proxies de vários países para que os utilizadores possam escolher o que pretendem para contornar os bloqueios geográficos.
Pode utilizar proxies para se ligar a um sítio Web utilizando cURL. Por exemplo, os proxies são essenciais em circunstâncias em que se utiliza o cURL para extrair dados. Assim, permanece anónimo em relação ao sítio web de destino de onde está a fazer o scraping.
Para estabelecer ligação com proxies, é necessário o endereço do servidor proxy, o número da porta e o tipo de protocolo e, se for necessária autenticação, é necessário introduzir o nome de utilizador e a palavra-passe. Vejamos um exemplo simples: assumimos que o endereço do proxy é 127.0.0.1 e o número da porta é 8920. Os exemplos mencionados abaixo são fundamentos de proxies de ligação com cURL, que funcionariam para qualquer serviço de proxy.
A sintaxe para se conectar a um proxy seria:
curl --proxy endereço proxy: porta https://examplewebsite.comsubstituiria por:
curl --proxy 127.0.0.1:8920 https://examplewebsite.comO comando acima irá encaminhar a sua ligação através de um proxy para examplewebsite.com.
Vamos agora analisar um exemplo que requer autenticação em que o nome de utilizador é o nome de utilizador e a palavra-passe é a palavra-passe.
curl --proxy 127.0.0.1:8920 -U "username:password" https://examplewebsite.comAgora pode descobrir quais os comandos a utilizar quando ligar o cURL com um protocolo proxy, utilizando :
curl --helpSem dúvida que a lista seria enorme, pelo que nos centraremos no comando mais fundamental que se segue:
-x, --proxy [protocolo://]anfitrião[:porta]Neste comando, x juntamente com -proxy denota os detalhes do proxy, podendo utilizar qualquer um deles, uma vez que ambos estão correctos. No entanto, tenha em atenção que x é sensível a maiúsculas e minúsculas.
Além disso, para ter a certeza de que está a utilizar proxies, pode utilizar o seguinte comando:
curl http://httpbin.org/ipEste comando normalmente retorna o endereço IP da origem. Assim, se estiver a utilizar um servidor proxy, este comando devolverá o endereço IP do servidor proxy em vez do seu.
Assim, juntando tudo isto, pode enviar o pedido da seguinte forma:
curl --proxy "http://username:[email protected]:8920" "http://httpbin.org/ip"Além disso, o comando abaixo seria o mesmo que o anterior:
curl --x "http://username:[email protected]:8920" "http://httpbin.org/ip"Um facto importante a ter em conta aqui é que deve utilizar aspas tanto para o URL do proxy como para o URL de destino como prática recomendada. Isto deve-se à presença de caracteres especiais no URL.
Além disso, se receber algum erro de certificado SSL, é necessário adicionar a letra minúscula -k ao final do comando, conforme mostrado abaixo:
curl --proxy "http://username:[email protected]:8920" "http://httpbin.org/ip" -k. Isto permitirá a passagem de ligações inseguras quando se utiliza a ligação SSL.
Ao usar proxies, o protocolo padrão é HTTP, a menos que seja explicitamente especificado de outra forma. Por conseguinte, ambos os comandos abaixo estão correctos:
curl --proxy "http://username:[email protected]:8920" "http://httpbin.org/ip".
curl --proxy "username:[email protected]:89 20 " "http://httpbin.org/ip".Se desejar ter um proxy para o cURL, pode criar um ficheiro curl-config da seguinte forma.
Se estiveres no macOS ou no Linux, em primeiro lugar, tens de abrir o terminal e ir para o teu diretório pessoal. Se houver um .curlrc, é preciso abri-lo e criar um novo arquivo vazio. Pode usar os comandos abaixo para navegar para o ficheiro:
cd~
nano .curlrc.Por isso, é necessário acrescentar esta linha no ficheiro:
procuração="http://username:[email protected]:8920"Salve o arquivo e agora você pode usar o cURL com proxies. Basta executar o cURL normalmente, e ele lerá o proxy do ficheiro acima:
enrolar "http://httpbin.org/ip"eco %APPDATA%Assim, o comando acima devolverá o caminho, e terá de navegar até ele. Depois, é preciso criar o ficheiro _curlrc e definir o proxy da mesma forma que no macOS ou no Linux.