Quando extrai dados de sítios Web de grande escala, é muito provável que não tenha tido de enfrentar um CAPTCHA para provar que é um ser humano. Como web scraper, já deve saber porque é que os profissionais de cibersegurança foram obrigados a inventá-los. Eles resultaram do facto de os seus bots automatizarem infinitos pedidos de acesso a sítios Web. Assim, até os utilizadores genuínos tiveram de se confrontar com CAPTCHAs que aparecem sob diferentes formas. No entanto, é possível contornar os CAPTCHAs, quer seja um web scraper ou não, o que seria o objetivo deste artigo. Mas primeiro, vamos ver o que são CAPTCHAs.
CAPTCHA significa Completely Automated Public Turing Test to tell Computers and Humans Apart (Teste de Turing Público Completamente Automatizado para Diferenciar Computadores e Humanos). É um acrónimo bastante longo, não é? Agora pode estar a perguntar-se o que significa a última parte deste acrónimo, Teste de Turing - bem, é um teste simples para determinar se um humano ou um bot está a interagir com uma página Web ou um servidor Web.
Afinal, um CAPTCHA diferencia os humanos dos bots, ajudando os analistas de segurança cibernética a proteger os servidores Web de ataques de força bruta, DDoS e, nalgumas situações, de scraping da Web.
Vamos descobrir como os CAPTCHAs diferenciam os humanos dos bots.
Pode encontrar os CAPTCHAs nos formulários de um sítio Web, incluindo formulários de contacto, de registo, de comentários, de inscrição ou de check-out.
Os CAPTCHAs tradicionais incluem uma imagem com letras esticadas ou desfocadas, números ou ambos numa caixa com uma cor de fundo ou um fundo transparente. Depois, o utilizador tem de identificar os caracteres e escrevê-los no campo de texto que se segue. Este processo de identificação de caracteres é mais fácil para os humanos, mas um pouco complicado para um bot.
Por outro lado, alguns bots avançados conseguem intercetar letras distorcidas com a ajuda da aprendizagem automática ao longo dos anos. Como resultado, algumas empresas, como a Google, substituíram os CAPTCHAs convencionais por CAPTCHAs sofisticados. Um desses exemplos é o ReCAPTCHA, que descobrirá na secção seguinte.
O ReCAPTCHA é um serviço gratuito que o Google oferece. Pede aos utilizadores que assinalem caixas em vez de escreverem texto, resolverem puzzles ou equações matemáticas.
Um ReCAPTCHA típico é mais avançado do que as formas convencionais de CAPTCHAs. Utiliza imagens e textos do mundo real, como semáforos nas ruas, textos de jornais antigos e livros impressos. Como resultado, os utilizadores não têm de confiar em CAPTCHAs da velha guarda com texto desfocado e distorcido.
Existem três tipos significativos de testes ReCAPTCHA para verificar se o utilizador é um ser humano ou não:
Estes são os ReCAPTCHAs que pedem aos utilizadores que assinalem uma caixa de verificação, "Não sou um robô", como na imagem acima. Embora possa parecer a olho nu que até um robot conseguiria realizar este teste, são tidos em conta vários factores:
Se o ReCAPTCHA não conseguir verificar se o utilizador é humano, ser-lhe-á apresentado outro desafio.
Estes ReCAPTCHAs fornecem aos utilizadores nove ou dezasseis imagens quadradas, como se pode ver na imagem acima. Cada quadrado representa uma parte de uma imagem maior ou imagens diferentes. O utilizador deve selecionar quadrados que representem objectos específicos, animais, árvores, veículos ou semáforos.
Se a seleção do utilizador corresponder às selecções de outros utilizadores que realizaram o mesmo teste, o utilizador é verificado. Caso contrário, o ReCAPTCHA apresentará um teste mais difícil.
Sabia que o ReCAPTCHA pode verificar se é humano ou não sem utilizar caixas de verificação ou quaisquer interacções do utilizador?
Certamente que o faz, considerando o histórico de interação do utilizador com os sítios Web e o comportamento geral do utilizador enquanto está online. Na maioria dos cenários, com base nestes factores, o sistema seria capaz de determinar se o utilizador é um bot.
Se não o fizer, voltará a utilizar qualquer um dos dois métodos anteriormente mencionados.
Os CAPTCHAs podem ser accionados se um sítio Web detetar actividades invulgares que se assemelhem a um comportamento de bot. Esse comportamento invulgar inclui pedidos ilimitados em fracções de segundo e cliques em ligações a uma taxa muito superior à dos humanos.
Assim, alguns sítios Web teriam automaticamente CAPTCHAs para proteger os seus sistemas.
No que diz respeito aos ReCAPTCHAs, não é exatamente claro o que os desencadeia. No entanto, as causas gerais são os movimentos do rato, o histórico de navegação e o rastreio de cookies.
Agora tem uma visão geral clara do que são CAPTCHAs e Rechaptchas, como funcionam e o que os acciona. Agora é altura de ver como os CAPTCHAs afectam a recolha de dados da Web.
Os CAPTCHAs podem dificultar a raspagem da Web, uma vez que os bots automatizados efectuam a maior parte das operações de raspagem. No entanto, não fique desanimado. Como mencionado no início deste artigo, existem maneiras de superar os CAPTCHAs ao raspar a web. Antes de chegarmos a elas, vamos concentrar nossa atenção no que você precisa saber antes de fazer o scraping.
Quando se liga a um sítio Web, envia informações sobre o seu dispositivo para o sítio Web de ligação. Este pode utilizar estas informações para personalizar o conteúdo de acordo com as especificações do seu dispositivo e para efetuar o rastreio métrico. Assim, quando descobrem que os pedidos são do mesmo dispositivo, qualquer pedido que envie posteriormente será bloqueado.
Outro facto que deve ter em atenção é que o sítio Web alvo não colocou o seu endereço IP na lista negra. É provável que o seu endereço IP seja colocado na lista negra se enviar demasiados pedidos com o seu scraper/crawler.
A rotação dos cabeçalhos HTTP e dos proxies (mais sobre isto na próxima secção) com um pool garantirá que vários dispositivos acedam ao site a partir de locais diferentes. Assim, deve poder continuar a fazer scraping sem interrupções devido aos CAPTCHAs. Dito isto, deve garantir que não está a prejudicar o desempenho do Web site de forma alguma.
Para além dos factores-chave acima referidos, é necessário conhecer os CAPTCHAs abaixo indicados quando se faz web scraping com um bot:
A simples alteração do agente do utilizador não será suficiente, pois é necessário ter uma lista de cadeias de caracteres de agente do utilizador e depois rodá-las. Esta rotação fará com que o sítio Web alvo o veja como um dispositivo diferente quando, na realidade, é um dispositivo que está a enviar todos os pedidos.
Como prática recomendada para esta etapa, seria ótimo manter uma base de dados de agentes de utilizadores reais. Além disso, elimine os cookies quando já não precisar deles.
Um método mais simples e pouco técnico para resolver um CAPTCHA seria utilizar um serviço de resolução de CAPTCHA. Estes utilizam Inteligência Artificial (IA), Aprendizagem Automática (MI) e um conjunto de outras tecnologias para resolver um CAPTCHA.
Quando se deixa o scraper aceder diretamente a um URL a cada fração de segundo, o sítio web recetor fica desconfiado. Como resultado, o sítio web alvo accionaria um CAPTCHA.
Para evitar esse cenário, pode definir o cabeçalho do referenciador para que pareça ter sido referenciado a partir de outra página. Isso reduziria a probabilidade de ser detectado como um bot. Em alternativa, pode fazer com que o bot visite outras páginas antes de visitar a ligação pretendida.
Os honeypots são elementos ocultos numa página Web que os especialistas em segurança utilizam para apanhar bots ou intrusos. Apesar de o navegador renderizar o seu HTML, as suas propriedades CSS estão definidas como ocultas. No entanto, ao contrário dos humanos, o código do pote de mel seria visível para os bots quando estes recolhem os dados. Como resultado, caíram na armadilha montada pelo honeypot.
Por isso, tem de se certificar de que verifica se as propriedades CSS de todos os elementos de uma página Web não estão ocultas ou invisíveis antes de começar a fazer scraping. Só quando tiver a certeza de que nenhum dos elementos está oculto é que define o seu bot para a recolha de dados.
Este artigo ter-lhe-ia dado uma ideia abrangente de como evitar CAPTCHAs ao fazer scraping na Web. Evitar um CAPTCHA pode ser um processo complicado. No entanto, com o uso de técnicas específicas discutidas neste artigo, você pode desenvolver o bot de forma a evitar CAPTCHAs.
Esperamos que tire partido de todas as técnicas apresentadas neste artigo.