Why Lead Generation Matters Lead generation is an essential part of growing your business. If your sales team doesn’t have leads to approach, they can’t do their job. Cold-calling prospects is rarely effective, especially for brands that sell higher-value products where there’s some friction to the idea of making a purchase. Every Sale Started as
A geração de contactos é uma parte essencial do crescimento da sua empresa. Se a sua equipa de vendas não tiver contactos para abordar, não pode fazer o seu trabalho. Telefonar a potenciais clientes raramente é eficaz, especialmente no caso de marcas que vendem produtos de valor mais elevado, em que a ideia de efetuar uma compra tem algum atrito.
As vendas provêm de contactos. O relatório Technology Content Marketing: Benchmarks, Budgets and Trends produzido pelo Content Marketing Institute e MarketingProfs destaca que 77% dos profissionais de marketing de tecnologia usam leads qualificados de marketing para impulsionar as vendas (contra 64% em 2019).
Os contactos qualificados são mais fáceis de converter porque são pessoas (ou empresas) que já manifestaram interesse no seu produto ou serviço. Ao identificar o seu público-alvo e ao concentrar os seus esforços de marketing especificamente nessas pessoas, poupará tempo e energia à sua equipa de vendas para que esta se possa concentrar nos potenciais clientes de maior qualidade.
Atualmente, a geração de leads é mais fácil do que nunca. A comunicação instantânea, as opções de marketing nas redes sociais altamente direccionadas e o acesso a bases de dados que contêm quase todas as informações imagináveis significam que os proprietários de pequenas empresas têm o poder de alcançar tudo o que quiserem.
No passado, se quisesse chegar a um público-alvo específico, teria de pagar uma grande quantia de dinheiro a uma empresa de marketing para poder enviar folhetos pelo correio às empresas da sua base de dados.
Atualmente, isso não é necessário. Se quiser encontrar uma lista de restaurantes mexicanos na costa leste ou de escolas do ensino básico e secundário no seu estado, pode fazê-lo em linha. As empresas que operam no espaço B2B podem criar uma base de dados de potenciais clientes de forma rápida e fácil, filtrar essa lista e enviar mensagens de marketing personalizadas.
Para as entidades B2B que se destinam a uma área geográfica relativamente pequena, uma simples pesquisa na Web pode ser suficiente para encontrar uma lista de potenciais clientes. No entanto, se pretender alcançar empresas de todo o estado ou mesmo de todo o país, a recolha manual de todos esses dados seria extremamente morosa.
A raspagem da Web pode poupar-lhe a si e à sua equipa de marketing uma quantidade significativa de tempo e dinheiro, recolhendo automaticamente os dados de que necessita.
O Web Scraping é uma técnica automatizada para extrair dados de um sítio Web ou de vários sítios Web, para que possa utilizar os dados noutras aplicações. Por exemplo, suponha que pretende criar uma lista de nomes e endereços de restaurantes na sua área, em vez de visitar manualmente todos os restaurantes locais listados no Yelp ou no Tripadvisor. Nesse caso, poderia utilizar um web scraper para percorrer essas páginas e extrair esses detalhes, criando uma lista que poderia utilizar para envios de correio eletrónico.
O Web scraping pode poupar muito tempo e esforço às empresas quando se trata de criar uma lista de marketing. É também surpreendentemente fácil de fazer se tiver as ferramentas certas ou conhecimentos de programação.
Os Web scrapers funcionam carregando as páginas das quais se pretende extrair dados e, em seguida, lendo a página para procurar o tipo de informação que se está a tentar encontrar. Essa informação pode ser:
Quando um web scraper descarrega uma página, lê o código fonte para procurar padrões. Dependendo do sítio de onde está a extrair os dados, pode simplesmente procurar algo que corresponda ao padrão 123-456-78901 de um número de telefone ou ao formato [email protected] de um endereço de correio eletrónico.
Em alternativa, o criador do raspador pode saber que, num determinado sítio Web de diretório, os dados de contacto estão rodeados por um conjunto específico de etiquetas no HTML e fazer com que o raspador extraia as informações entre essas etiquetas.
Alguns softwares de raspagem podem ser configurados pelo utilizador final, pelo que podem ser ensinados a compreender praticamente qualquer sítio Web.
Um problema com a utilização de software de raspagem é que regulamentos como o RGPD da UE significam que os utilizadores têm de ter muito cuidado com os dados que recolhem e com a forma como são utilizados. De acordo com o RGPD, uma organização deve ter a permissão de uma pessoa para manter ou processar dados sobre um indivíduo.
Alguns sítios Web tentam proteger a privacidade dos seus utilizadores e os recursos do seu próprio servidor, tentando bloquear os "web scrapers". Existem várias opções para o fazer, incluindo a verificação do "agente do utilizador" devolvido pelo software cliente e a limitação do número de pedidos de páginas provenientes de um endereço IP específico.
Se quiser utilizar scrapers de forma eficaz, terá de se certificar de que compreende as regras relativas ao marketing no seu país, de que processa todos os dados que recolhe de forma responsável e de que sabe como recolher dados das fontes escolhidas de uma forma eficiente e não destrutiva que não o fará ser banido desse sítio.
Por exemplo, em ProxyScrape, oferecemos proxies residenciais que podem ser utilizados para fins de recolha de dados. Recomendamos que, se estiver a considerar utilizar esses proxies, se certifique de que o seu raspador não emite um número excessivo de pedidos a um Web site alvo num curto período de tempo. Faça scraping de forma responsável para não causar danos aos sítios Web com que está a trabalhar.
A recolha de conteúdos dá aos proprietários de empresas acesso a enormes quantidades de informação que, de outra forma, seria difícil de reunir, mas essa informação só é tão útil como a fonte de onde provém.
Um dos desafios da recolha de dados a partir da raspagem é ter a certeza de que a informação está actualizada. Existem milhares de directórios na Web, e muitos deles estão mal organizados e desactualizados.
Se recolher dados de uma fonte desactualizada e de baixa qualidade, na melhor das hipóteses, perde tempo com e-mails que não serão lidos. Na pior das hipóteses, pode ver-se confrontado com queixas por fazer repetidas chamadas telefónicas não solicitadas para um número que já não pertence à empresa que julgava pertencer.
Então, como pode aumentar as hipóteses de os dados recolhidos serem úteis?
Antes de começar a recolher dados utilizando uma ferramenta de recolha de dados, examine manualmente o sítio Web com que está a pensar trabalhar. Recolha alguns contactos manualmente e investigue-os.
As empresas ainda estão a funcionar? Os dados de contacto ainda estão correctos? Parece que o proprietário da lista está a verificar as informações antes de serem adicionadas?
Suponha que metade dos contactos que recolhe manualmente estão mortos, desactualizados ou potencialmente falsos. Nesse caso, há uma grande probabilidade de que qualquer base de dados que crie através da recolha desse sítio seja de baixa qualidade.
Os sítios de directórios maiores, como o Tripadvisor, o Yelp ou o FourSquare, têm mais probabilidades de ter dados de qualidade do que os directórios mais pequenos e menos conhecidos, porque estas plataformas têm uma base muito maior de utilizadores que as actualizam.
Os directórios de nicho podem ser úteis se pretender comercializar para um grupo de interesse obscuro ou para um tipo de empresa altamente especializado, mas deve contar com uma grande limpeza de dados antes de utilizar as informações recolhidas para fins de marketing.
Em muitos casos, obterá dados muito mais valiosos se os recolher de um site que exija um início de sessão. O LinkedIn e o Twitter, por exemplo, podem ser recolhidos se utilizar um limitador de taxa para manter o número de pedidos que o seu bot envia a um nível razoável e se tiver sessão iniciada no sítio quando estiver a fazer os pedidos.
Outra opção é utilizar uma API em vez de um simples raspador HTTP e recolher detalhes de um dos serviços de mapeamento populares. Por exemplo, o Google fornece uma API de pesquisa de empresas que pode ser utilizada para recolher informações sobre organizações incluídas no Google Maps, mas é necessário aceitar os termos e condições do Google antes de aceder à API.
Em geral, se uma API estiver disponível, é melhor recolher os seus dados utilizando essa API do que utilizar a raspagem da Web. Será muito menos provável que tenha problemas com os proprietários de sítios Web e será mais fácil limpar os dados fornecidos através de uma API.
Há um ditado na programação informática que diz "lixo dentro, lixo fora", e isso aplica-se certamente à recolha de dados. Certifique-se de que constrói cuidadosamente todas as pesquisas que efectua.
Por exemplo, se quiser fazer marketing para construtores em Newcastle, não se esqueça que há mais do que um Newcastle em Inglaterra e que também há um Newcastle na Austrália. Se estiver a pesquisar por "Newcastle" através de um proxy, a maioria dos sítios Web tentará adivinhar a que Newcastle se refere, procurando a que está mais próxima da localização geográfica do proxy.
Tente restringir a pesquisa o mais possível, fornecendo informações sobre a cidade, o estado e até o país, se o sítio Web de destino o permitir. Desta forma, evita-se acabar com uma base de dados cheia de dados de contacto de organizações a centenas de quilómetros de distância da área pretendida.
A recolha de dados da Web pode ser tão simples ou tão complexa quanto se pretender. Se está a tentar fazer scraping pela primeira vez, não há necessidade de gastar muito dinheiro em software sofisticado.
Algumas boas opções incluem:
O Scraper é uma extensão do navegador Web que permite aos utilizadores extrair dados de páginas Web de forma rápida e fácil. Se pretender extrair informações de uma única página de resultados ou de um pequeno número de páginas, o Scraper é uma forma simples e eficaz de o fazer, e poderá achar que é muito mais fácil de utilizar do que um Web crawler mais sofisticado.
O ProWebScraper é uma ferramenta mais avançada que tem versões gratuitas e premium. A ferramenta gratuita pode ser utilizada para recolher até 100 páginas, o que significa que deve ser suficiente para uma empresa de nicho mais pequena. O ProWebScraper é relativamente fácil de utilizar para um software de raspagem, apresentando uma interface de apontar e clicar e regras pré-definidas que lhe permitem configurar a raspagem mesmo que não esteja confiante na parte técnica.
O ProWebScraper pode descarregar imagens e criar ficheiros JSON, CSV ou XML. Pode até ser configurado para recolher os dados dos sítios de acordo com um calendário, para que possa recolher os dados e atualizar os seus registos de marketing.
Scrapy é uma estrutura de raspagem da Web que é gratuita e de código aberto. Esta ferramenta requer conhecimentos técnicos, mas é rápida, flexível e pode ser utilizada para recolher grandes quantidades de dados. O Scrapy pode ser executado no seu próprio computador Linux, OS X, Windows ou BSD ou num servidor Web.
Existe uma comunidade Scrapy ativa, incluindo o chat IRC, Reddit e StackOverflow. Pode pedir conselhos à comunidade e pode tirar partido de extensões ou módulos criados pela comunidade, desbloqueando o poder do Scrapy mesmo que não seja um programador confiante.
Se precisar de recolher muitos dados ou planear fazer scraping regularmente, as ferramentas gratuitas e as ferramentas baseadas em GUI podem não ser suficientemente potentes para o seu caso de utilização. Codificar o seu próprio raspador, ou contratar um programador para o fazer por si, é uma boa opção.
Existem várias estruturas gratuitas e de código aberto que podem ser utilizadas para codificar um raspador em linguagens populares como Python, Perl, Java, R ou PHP.
Uma das bibliotecas mais populares para a extração de dados da Web é a BeautifulSoup. Trata-se de uma ferramenta de raspagem Python capaz de extrair dados de ficheiros HTML ou XML de forma rápida e fácil. É necessário ter alguns conhecimentos de programação para a utilizar, mas esta ferramenta faz muito do trabalho pormenorizado de recolha de dados por si, evitando que tenha de reinventar a roda.
Depois de extrair os dados, pode exportá-los como um ficheiro CSV ou apresentá-los em vários formatos utilizando uma biblioteca de processamento de dados como o Pandas.
Codificar o seu próprio raspador é uma boa ideia se tiver alguns conhecimentos de programação. Também pode ser útil codificar o seu próprio raspador se necessitar de extrair muitos dados de uma página Web invulgar que as ferramentas de raspagem gratuitas não conseguem processar.
Codificar o seu próprio raspador ou pagar a alguém para o fazer por si pode ser uma boa ideia se tiver necessidades específicas e sofisticadas. Um raspador personalizado pode ser concebido em torno de uma página de destino de forma mais eficaz do que uma ferramenta mais geral, pelo que é menos provável que encontre erros ou problemas no tratamento dos dados.
Por outro lado, os scrapers personalizados também são úteis para trabalhos mais pequenos e simples. Depois de ter escrito um raspador, pode ajustar a rotina de análise e utilizar o mesmo script para extrair dados de outras páginas.
A desvantagem de utilizar um raspador personalizado é que leva tempo a escrever o raspador pela primeira vez e, se não for um programador experiente, poderá passar mais tempo a debater-se com a formatação JSON ou a tentar aprender uma nova biblioteca do que seria necessário para ler o manual do ProWebScraper e configurá-lo.
Dependendo da tarefa, pode ser mais económico pagar por uma ferramenta do que escrever uma ferramenta personalizada.
Além disso, se estiver a planear escrever o seu próprio raspador, terá de estar ciente das melhores práticas de raspagem e das questões de codificação, tais como:
Escrever um pequeno raspador para obter informações sobre algumas centenas ou alguns milhares de empresas faz muito sentido. Se estiver a extrair grandes quantidades de dados, poderá querer procurar aconselhamento ou trabalhar com um especialista para se certificar de que está em total conformidade com os regulamentos de privacidade locais.
Se decidir escrever o seu próprio scraper, lembre-se de "ser simpático". Faça todos os esforços para fazer scraping de uma forma atenciosa, enviando pedidos corretamente formados, fazendo scraping lentamente e utilizando uma gama de endereços IP quando faz scraping.
Tente fazer com que o seu raspador se pareça com um humano. Isto significa pedir páginas lentamente e tentar não seguir um padrão fixo ao percorrer as páginas. Considere, por exemplo, obter uma lista de resultados de pesquisa, fazer uma lista das ligações na página de resultados e, em seguida, aceder a essas ligações por uma ordem aleatória, para que seja menos óbvio que é um bot.
Não envie vários pedidos do mesmo IP ao mesmo tempo. As ferramentas anti-raspagem detectarão que está a colocar uma carga anormal no servidor.
Respeite as informações no ficheiro Robots.txt do Web site. Se houver páginas, o webmaster não quer que sejam indexadas. Seria pouco ético ignorar esse facto.
Considere a possibilidade de utilizar uma biblioteca como a Selenium para fazer com que o seu bot pareça mais humano, enviando cliques para a página ou interagindo de outra forma com ela. Algumas ferramentas ant-scraper mais sofisticadas procuram padrões de interação do tipo "bot" e bloqueiam um endereço IP se notarem uma falta de scrolling, cliques e outras interacções.
Existe uma corrida ao armamento tecnológico entre os criadores de scrapers e aqueles que tentam bloquear os scrapers dos seus sítios Web. É muito difícil criar um raspador que consiga recolher grandes volumes de dados sem ser detectado. No entanto, para projectos de pequena ou média dimensão, se seguir as regras de ser simpático e não ser ganancioso, deve conseguir obter os dados de que necessita com um raspador lento e constante e alguns proxies.
Lembre-se de que o seu bot pode trabalhar 24 horas por dia, recolhendo dados em segundo plano, pelo que não é necessário descarregar toda a lista de pequenas empresas no Yelp de uma só vez.
Existem vários problemas potenciais que pode encontrar ao utilizar um raspador. Estes podem incluir:
A boa notícia é que todos estes problemas podem ser resolvidos se compreender como funcionam os raspadores.
Os raspadores simples da Web seguem um padrão:
Há alguns domínios em que as coisas podem correr mal.
Se o raspador não estiver a captar quaisquer dados, isso pode dever-se a um problema com a forma como configurou o analisador, ou pode ser que o raspador não esteja a ver o mesmo sítio que o utilizador quando utiliza um navegador Web.
Para descobrir o que correu mal, configure o seu raspador para produzir o HTML da página e compare-o com a saída normal do browser.
Se vir um erro ou uma página diferente, pode ser que o seu cliente de recolha de dados tenha sido banido. O sítio pode ter proibido o seu endereço IP ou o software do cliente de recolha de dados.
Tente alterar o User-Agent que o seu scraper identifica para um que o faça parecer um navegador Web moderno, como o Firefox ou o Chrome. Isto pode ajudá-lo a contornar restrições simples em alguns sítios.
Se isso não funcionar, considere a possibilidade de configurar o seu scraper para utilizar um proxy para se ligar ao sítio Web em questão. Um proxy é um servidor que envia pedidos Web em seu nome, para que o sítio Web não possa saber que provêm da sua ligação à Internet.
Se vir uma página "normal", é mais provável que o problema esteja na forma como configurou o scraper para extrair dados. Cada programa de recolha de dados tem a sua própria forma de fazer corresponder padrões, embora a maioria utilize alguma variação de expressões regulares. Certifique-se de que não existem erros tipográficos na correspondência de padrões. Lembre-se de que o programa está a fazer exatamente o que lhe diz, por isso, mesmo um pequeno erro irá quebrar completamente as regras de correspondência!
Outro problema comum é o facto de um scraper funcionar durante um curto período de tempo e depois deixar de funcionar. Normalmente, isto significa que o sítio Web bloqueou o seu endereço IP, temporária ou permanentemente, por ter enviado demasiados pedidos num curto espaço de tempo.
Se isto acontecer, pode contornar a proibição utilizando um proxy. Proxyscrape oferece proxies premium e residenciais para as pessoas utilizarem na recolha de dados. Os proxies de datacenter premium são rápidos e oferecem largura de banda ilimitada, mas têm endereços IP que os webmasters podem reconhecer como sendo de um datacenter. Os proxies residenciais parecem ser de "utilizadores domésticos", mas o débito disponível nestes pode ser inferior.
Considere mudar o proxy que utiliza após alguns pedidos para reduzir o risco de o endereço IP de um proxy ser banido. Também pode reduzir o risco de proibições de IP reduzindo a velocidade a que o seu scraper envia pedidos.
Lembre-se que um raspador pode trabalhar em segundo plano, 24 horas por dia, sem pausas. Mesmo que limite a velocidade do raspador à análise de uma página a cada 15-30 segundos, ele trabalhará mais rapidamente do que um ser humano.
Tenha em mente que muitos sites, especialmente os mais pequenos, estão alojados em servidores que têm limites para a sua velocidade e para a quantidade de dados que podem transmitir por mês. Poderá achar que o seu bot está a recolher alguns dados, mas se muitos outros utilizadores estiverem a fazer a mesma coisa, ou se o seu bot se "perder" e tentar descarregar infinitamente as mesmas páginas vezes sem conta, poderá prejudicar o desempenho do sítio Web para os utilizadores humanos ou custar dinheiro ao webmaster ao consumir recursos excessivos.
Outro problema comum que os profissionais de marketing encontram quando tentam utilizar um raspador da Web é o facto de o raspador ficar confuso e descarregar páginas que não devia.
Imaginemos que o plano do seu "scraper" é encontrar uma lista de pedreiros na sua cidade, e que o envia para um diretório onde ele procura essa lista. O scraper deve:
Alguns sítios Web são construídos de forma a incluir "honeypots" que irão apanhar e confundir os bots. Estes honeypots são pedaços de HTML que são definidos com uma etiqueta de visualização que diz 'display:none', pelo que não aparecem num browser normal. No entanto, os bots podem vê-los e, se não estiverem configurados para os ignorar, processá-los-ão como se fossem HTML normal.
É muito difícil programar um bot para ignorar completamente todo o HTML de armadilha de bots, porque algumas dessas armadilhas são incrivelmente sofisticadas. O que pode fazer, no entanto, é definir limites para o número de hiperligações que o seu bot seguirá. Também pode ver a fonte da página e procurar armadilhas óbvias para que possa programar o bot para as ignorar.
A raspagem da Web é algo que muitos sítios desaprovam e que os proprietários de empresas devem ter cuidado ao fazer. De acordo com o RGPD, é ilegal recolher as informações de um residente da UE sem o seu consentimento, por exemplo.
Além disso, muitos sítios Web que ocultam dados atrás de um ecrã de início de sessão proíbem explicitamente a recolha de dados da Web nos seus termos e condições. Isto significa que corre o risco de ser banido desse sítio Web se for descoberto a utilizar um "scraper".
Se decidir utilizar o scraping para recolher contactos, tente fazê-lo de forma sensata. Pense no scraping como uma forma de poupar tempo na recolha de contactos que já teria recolhido de qualquer forma, e não como uma forma de montar uma campanha de marketing maciça.
Evite lançar uma rede demasiado grande com a raspagem. Pode ser tentador recolher os dados de contacto de todas as empresas ou pessoas da sua área e das áreas circundantes, na esperança de converter uma dessas empresas em cliente, mas uma campanha tão vasta e desfocada terá muito provavelmente o efeito contrário.
Antes de iniciar a sua campanha de marketing, verifique os dados que recolheu. Limpe a base de dados para remover quaisquer dados obviamente incorrectos, como empresas que fecharam, registos duplicados ou registos de pessoas que não se encontram na sua área-alvo.
Depois de iniciar a campanha, mantenha a base de dados actualizada. Se um cliente potencial pedir para ser removido da sua base de dados, elimine-o. Se for legalmente possível fazê-lo na sua jurisdição, guarde apenas dados suficientes sobre eles para adicionar o seu e-mail ou número de telefone a uma lista de "não contactar", de modo a que não possam ser novamente adicionados à sua base de dados de marketing da próxima vez que fizer scraping.
Alguns outros aspectos a ter em conta na gestão das suas campanhas de marketing incluem:
Existe uma linha ténue entre o marketing proactivo e o spam agressivo. Os contactos repetidos dos profissionais de marketing fazem parte do percurso do cliente e é importante manter-se em contacto com os potenciais clientes, mas um marketing demasiado agressivo pode afastar os potenciais clientes e dar à sua marca uma má reputação.
Considere a possibilidade de importar os dados obtidos a partir da recolha de dados para um sistema CRM, para que possa acompanhar cada cliente, em que fase do processo de conversão se encontram e como têm respondido às mensagens de marketing.
Isto não só o ajudará a manter-se a par dos clientes individuais, como também facilitará a visualização do desempenho coletivo das suas campanhas de marketing, para que possa aperfeiçoar as suas mensagens.
O acompanhamento da origem dos contactos também pode ser útil, uma vez que lhe dará uma ideia das fontes de dados que contêm informações de maior qualidade.