O que são Bad Bots, como detectá-los e bloqueá-los?

Vem-lhe à cabeça alguma coisa boa quando ouve a palavra bots ou sabe como detetar e bloquear bots maus? Suponho que só ouviu falar de bots maus e muito menos de como os detetar e bloquear. No entanto, nem todos os bots são maus, e há alguns bons. Este artigo

Vem-lhe à cabeça alguma coisa boa quando ouve a palavra bots ou sabe como detetar e bloquear bots maus? Suponho que só ouviu falar de bots maus, quanto mais de como os detetar e bloquear.

No entanto, nem todos os bots são maus e há alguns bons. Este artigo é sobre os maus bots, como distinguir os bons dos maus bots e os danos que podem causar ao seu sítio Web. Por último, mas não menos importante, irá descobrir como pode evitar as consequências dos maus bots.

Primeiro, vamos ver o que são os bots em termos não especializados.

O que são os bots da Internet?

De acordo com um relatório recente de uma empresa de cibersegurança, a Barracuda, dois terços do tráfego da Internet (64%) são constituídos por bots. Destes dois terços de bots, 40% do tráfego da Internet é constituído por bots maus. Estas estatísticas referem-se a setembro de 2021.

Além disso, este relatório salienta que, se não aplicarmos medidas de segurança rigorosas, estes bots ultrapassarão as defesas e roubarão dados, provocando um fraco desempenho dos sítios e violações de dados.

Vejamos algumas das tarefas quotidianas que um bot executa.

Exemplos típicos de bots

Um exemplo quotidiano de uma operação de bot são os motores de busca, como o Google, que empregam bots para rastrear milhares de páginas Web e extrair conteúdos Web para os indexar. Assim, quando se pesquisa uma frase no Google, este sabe onde está disponível a informação pretendida.

Do mesmo modo, os bots transaccionais completam transacções em nome de humanos e os bots de bilhética compram bilhetes para eventos populares.

Além disso, desde o desenvolvimento da IA (Inteligência Artificial) e da Aprendizagem Automática, os serviços de inteligência comercial têm utilizado bots para recolher páginas de produtos e testemunhos de perfis de redes sociais para descobrir o desempenho de um produto. 

Uma razão importante para a preferência dos robots em relação aos humanos em algumas das tarefas acima referidas é o facto de poderem executar instruções centenas ou milhares de vezes mais depressa do que os humanos.

Agora vamos descobrir a diferença entre bots bons e bots de banda.

Quais são os diferentes tipos de bots?

É possível classificar os bots em bons e maus bots, como já referi anteriormente. Como em tudo o resto, vamos ver primeiro os bots bons.

Bons bots

Acabámos de ver um exemplo de um bom bot, um bot de um motor de busca. De igual modo, existem outros bons bots, tais como:

• Bots de motores de voz: Tal como os bots dos motores de busca, estes bots percorrem a Web para encontrar respostas às perguntas que os utilizadores fazem através de pesquisas por voz. O Alexa's Crawler e o Applebot (Siri) são alguns dos bots de pesquisa por voz mais conhecidos.

• Bots de redes sociais: Estes bots rastreiam os sítios Web partilhados no Facebook e noutros sítios Web de redes sociais para melhorar as sugestões, combater o spam e melhorar o ambiente em linha. Alguns dos exemplos típicos incluem o Facebook Crawler e o Pinterest Crawler. 

• Bots de direitos de autor: Estes bots pesquisam conteúdos digitais para descobrir infracções aos direitos de autor. Um bom exemplo é a ID de conteúdo do Youtube atribuída aos proprietários de direitos de autor da rede. Outro exemplo seria a utilização destes bots nas redes sociais, onde a criação de conteúdos originais é a principal prioridade.

• Bots de marketing: O software de SEO e de marketing de conteúdos utiliza principalmente estes bots para rastrear os sítios Web em busca de backlinks, determinar o volume de tráfego e pesquisar palavras-chave orgânicas e pagas. Alguns dos exemplos incluem o bot SEMrush e o AhrefsBot.

• Bots de dados: Estes são os bots que fornecem informações instantâneas sobre notícias, meteorologia e taxas de câmbio. Alguns dos exemplos mais proeminentes são o Amazon Echo e o Google Home. 

• Bots de negociação: Estes bots ajudam-no a encontrar as melhores ofertas ou promoções de produtos que tenciona comprar em linha. Os consumidores e os retalhistas utilizam da melhor forma os bots de negociação para encontrarem as melhores ofertas de preços e ultrapassarem os concorrentes.

Quais são algumas das características dos bons bots?

Como pode ver, uma das características distintas destes bons bots é o facto de realizarem uma tarefa valiosa para uma empresa ou para os visitantes do sítio Web. Os programadores que os criaram não o fazem com intenções maliciosas.

Além disso, não prejudicam a experiência do utilizador de um sítio Web que rastreiam. Um bom bot também respeita as regras do ficheiro robot.txt de um sítio Web que especifica as páginas a rastrear e a não rastrear.

No entanto, pelo lado negativo, quando os bots visitam um sítio Web, podem consumir o tempo de carregamento do servidor e a largura de banda. Assim, mesmo os bots genuínos podem, involuntariamente, causar danos. Além disso, um bot agressivo de um motor de busca pode também deitar abaixo um sítio. 

Dito isto, é possível ultrapassar estas consequências negativas com configurações de servidor adequadas.

Agora vamos ver o que são bots maus.

Bab Bots

Tal como os bons bots causam algum benefício aos utilizadores, os criadores de software desenvolvem maus bots para causar danos. Alguns dos bots maus existentes no mercado são:

Bots que aumentam as visualizações de páginas

Os programadores desenvolvem estes bots para enviar tráfego falso para os sítios Web, a fim de aumentar o número de páginas vistas e enganar os proprietários das páginas, fazendo-os crer que o número total de páginas aumentou. No entanto, na realidade, não existem utilizadores reais e são os bots que estão a aumentar as visualizações de páginas ou os gostos. 

Alguns dos serviços Web utilizam estes bots para vender tráfego. Afirmam que vão enviar utilizadores reais para o seu sítio Web, mas, na realidade, acabam por enviar tráfego de bots.

Alguns bots vêem vídeos e também aumentam o número de visualizações dos mesmos.

Bots de spam

Os bots de spam visitam frequentemente uma página Web para realizar tarefas de spam. Um dos exemplos significativos de uma atividade de spam é o facto de interagirem automaticamente com formulários online, deixarem comentários e submetê-los clicando automaticamente no botão de submissão. 

Alguns concorrentes da sua empresa, por exemplo, deixam comentários de produtos falsos para gerar críticas negativas sobre um produto. Outro exemplo da utilização frequente de bots de spam é nas campanhas políticas.

Já deve ter reparado que os comentários com spam contêm URLs e até caracteres especiais.

Raspadores da Web

Os Web scrapers são bots da Internet que facilitam o roubo do seu conteúdo. Estes bots de raspagem visitam normalmente as páginas Web e extraem dados sem o consentimento dos administradores do sítio Web.

Embora a raspagem em linha não seja ilegal perante a lei, desde que o conteúdo esteja disponível abertamente, não necessite de qualquer autenticação e não esteja sujeito a leis de direitos de autor, os autores normalmente não gostam dela. Os Web scrapers podem encerrar o sítio Web se enviarem demasiadas consultas.

Bot de checkout

A maior parte das pessoas utiliza bots de checkout quando compram ténis de edição limitada para os copiar. Uma vez que um utilizador só pode comprar um único par devido à natureza competitiva da edição limitada, recorre a robôs de checkout para acelerar o processo de checkout online.

Este processo de aquisição de sapatilhas por parte dos bots ocorre a uma velocidade superior à que apenas os humanos poderiam sonhar. Consequentemente, aqueles que compram genuinamente não terão qualquer hipótese de receber ténis, uma vez que não conseguem aproximar-se da velocidade dos bots. Pode achar esta leitura interessante: O que são os bots de ténis e como são utilizados?

Botnets

Os botnets são redes de computadores que um hacker sequestrou para efetuar vários ciberataques.

Os piratas informáticos desenvolvem Botnets para aumentar a sua capacidade de efetuar ataques mais extraordinários, como ataques DDOS coordenados, aumentando, automatizando e acelerando o processo. Os botnets utilizam então os seus dispositivos para defraudar e perturbar os dispositivos de outras pessoas sem o seu conhecimento ou aprovação.

Estes dispositivos infectados são então chamados dispositivos Zoombie. Para mais informações sobre botnets, pode consultar este artigo.

Bots de aquisição de contas

Esses bots geralmente roubam credenciais de login empregando dois dos métodos automatizados mais comuns, conhecidos como Credential Stuffing e Credential Cracking. O primeiro método utiliza tentativas de login em massa para verificar a validade de um par de nome de utilizador e palavra-passe que roubaram.

Em contraste, o último método inclui a tentativa do bot de obter valores diferentes para o par nome de utilizador e palavra-passe. Depois, os bots acabam por ser bem sucedidos e invadem um sistema informático que pode ter consequências de grande alcance.

Bots de carding e card cracking

Como deve ter adivinhado, a fraude com cartões de crédito pode ocorrer em qualquer sítio Web que utilize um processador de pagamentos. Os piratas informáticos utilizam bots maliciosos para verificar os números de cartões de crédito que roubaram ao efetuar pequenos pagamentos, conhecidos como Carding. 

Utilizariam também a quebra de cartões para identificar informações em falta, como datas de validade e números CVV.

Estas ameaças ocorrem frequentemente nos sectores do retalho, do entretenimento e das viagens.   

Como detetar bots maus

A deteção e gestão de bots exige muita investigação e conhecimentos especializados, uma vez que os hackers concebem os bots para serem invisíveis. É necessário investigar a fundo para descobrir se o seu sítio tem algum tráfego de bots. Por outro lado, é necessário reduzir ao mínimo os falsos positivos (os humanos são confundidos com bots) e os falsos negativos (quando se identifica erradamente humanos com bots maus).

De qualquer forma, aqui estão algumas indicações de que os bots podem ter-se infiltrado no seu sistema:

Aumento irregular do seu tráfego

Qualquer proprietário de um sítio tem acesso aos dados de métricas do sítio. Por exemplo, os dados do Google Analytics. Assim, ao ver essas métricas, se perceber que há um aumento drástico no tráfego de locais incomuns, isso indica que os bots estão a interagir com o seu site.

Nessas circunstâncias, pode notar um aumento maior na taxa de rejeição. Os locais onde obtém este tráfego podem ter origem em sítios de onde normalmente não recebe visitantes.

Inspeccionando o cabeçalho do pedido

Na maioria das situações, alguns dos bots menos sofisticados não enviam todos os cabeçalhos que um navegador normalmente envia. De facto, esquecem-se de enviar o cabeçalho user-agent.

Os bots sofisticados que normalmente enviam cabeçalhos não enviam mais do que a cadeia de caracteres user-agent. Assim, se receber pedidos com poucos ou nenhuns títulos, isso indica que os bots estão potencialmente a avaliar o seu sítio Web. Em contrapartida, os browsers enviam um número razoável de informações de cabeçalho.

O desempenho do servidor está a tornar-se consideravelmente lento

Como aprendeu acima, quando os bots acedem ao seu sítio Web, consomem a maior parte dos recursos do seu sítio Web, incluindo a largura de banda. Por isso, se receber montes de pedidos de bots num curto espaço de tempo, isso significa que o seu sítio Web ficará consideravelmente mais lento.

No entanto, alguns dos bots astutos agem de forma a passarem despercebidos e realizam as suas actividades de forma semelhante a um humano. Enviam muito poucos pedidos, tal como um humano faria no processo.

Por isso, nem sempre se pode confiar no abrandamento do desempenho como uma métrica para medir o tráfego de bots.

Durações de sessão altas ou baixas

Normalmente, a duração da sessão ou a quantidade de tempo que um utilizador passa num sítio Web é constante. No entanto, um aumento súbito no decurso das sessões implicaria que os bots estão a navegar no seu sítio Web a uma taxa inferior. Por outro lado, os bots podem estar a clicar nas páginas do sítio mais rapidamente do que um utilizador humano, o que resulta numa diminuição espontânea do tempo de sessão.

Conversões de lixo e lançamentos de conteúdos

Poderá encontrar formulários enviados por endereços de correio eletrónico pouco usuais, números de telefone e nomes falsos.

Outra forma de detetar facilmente os bots é o conteúdo que podem estar a publicar. Ao contrário dos humanos, os bots não têm tempo para criar conteúdo de qualidade. Por isso, quando começa a receber comentários vagos e idiotas ou publicações com URLs incorporados, tem de reconhecer que não são de pessoas reais, mas sim de bots.

Como bloquear os maus Bots

Como passo inicial para combater estes maus bots, deve configurar o ficheiro robot.txt do seu site. Pode, sem dúvida, configurar este ficheiro para controlar as páginas a que o bot pode aceder e minimizar as interacções do bot com a maioria das páginas do seu site.

Algumas das outras medidas incluem:

Definir limites de taxa com base no endereço IP- O endereço IP é um identificador único do dispositivo que avalia o seu sítio Web. Assim, como administrador Web, pode limitar o número de pedidos que um endereço IP faz ao seu sítio num determinado período de tempo.

Bloqueio de endereços IP suspeitos - Para além de definir os limites de taxa, os seus endereços Web podem bloquear a lista de endereços IP suspeitos de onde provêm os pedidos. Para o efeito, pode utilizar uma WAF (Web Application Firewall).

Utilizar serviços Captcha - É possível que já se tenha deparado com captchas ao aceder a alguns sítios Web. Quando um serviço de captcha detecta um comportamento estranho ou semelhante ao de um bot, obriga-o a resolver um problema antes de o acesso ao sítio ser recusado.

Conclusão

Esperamos que tenha obtido uma visão abrangente dos maus bots, como detectá-los e, finalmente, livrar-se deles. Na verdade, precisará de alguns bots genuínos que não causam danos ao seu sistema. No entanto, seria útil se expulsasse os maus bots a qualquer custo, pois os danos que podem causar são muito graves.

Esperamos que este artigo lhe tenha sido útil e fique atento a mais artigos.