Raspagem de endereços de e-mail usando Python - Guia definitivo 2024

Uma das formas mais fáceis de obter uma boa clientela é ter o maior número possível de endereços de correio eletrónico de empresas e enviar-lhes repetidamente os detalhes do seu serviço. Existem muitas ferramentas de extração de dados na Internet que fornecem estes serviços gratuitamente, mas têm limites de extração de dados. Também oferecem limites ilimitados de extração de dados, mas são pagas. Porquê pagar-lhes quando pode construir uma com as suas próprias mãos? Vamos discutir os passos para construir uma ferramenta de raspagem de qualidade utilizando Python. 

Embora seja um exemplo muito simples para principiantes, será uma experiência de aprendizagem, especialmente para aqueles que são novos na recolha de dados da Web. Este será um tutorial passo a passo que o ajudará a obter endereços de correio eletrónico sem quaisquer limites. Vamos começar com o processo de construção do nosso web scraper inteligente.

No nosso projeto, utilizaremos os seis módulos seguintes.

importar re
importar requests
from urllib.parse import urlsplit
from colecções import deque
from bs4 import BeautifulSoup
importar pandas as pd
from google.colab import files

Os pormenores dos módulos importados são apresentados a seguir:

Nesta etapa, inicializaremos um deque que salvará URLs raspados, URLs não raspados e um conjunto de e-mails salvos raspados com êxito dos sites.

# ler o url da entrada
original_url = input("Introduza o url do sítio web: ") 
 
# guardar os urls para serem extraídos
unscraped = deque([original_url])
 
# para guardar os urls recolhidos
scraped = set()
 
# para guardar os emails recolhidos
emails = set()  

Não são permitidos elementos duplicados num conjunto, pelo que todos eles são únicos.

while len(unscraped):
    # move unsraped_url para scraped_urls set
    url = unscraped.popleft() # popleft(): Remove e devolve um elemento do lado esquerdo do deque
    scraped.add(url)

partes = urlsplit(url)

urlsplit() devolve um tuplo de 5: (esquema de endereçamento, localização na rede, caminho, consulta, fragmento, identificador).

Não posso mostrar exemplos de entradas e saídas para urlsplit() devido a razões confidenciais, mas, se tentar, o código pedir-lhe-á que introduza um valor (endereço do sítio Web). A saída mostrará o SplitResult(), e dentro do SplitResult() haverá cinco atributos.

Isto permitir-nos-á obter a base e a parte do caminho para o URL do sítio Web.

base_url = "{0.scheme}://{0.netloc}".format(parts)
    if '/' in parts.path:
      path = url[:url.rfind('/')+1]
    else:
      path = url

tentar:
        response = requests.get(url)
    exceto (requests.exceptions.MissingSchema, requests.exceptions.ConnectionError):
        # ignora as páginas com erros e continua com o url seguinte 
       continuar

# Pode editar a expressão regular de acordo com os seus requisitos
    new_emails = set(re.findall(r"[a-z0-9\.\-+_]+@[a-z0-9\.\-+_]+\.com", 
                  response.text, re.I)) # re.I: (ignorar caso)
    emails.update(novos_emails)

# criar uma sopa bonita para o documento html
   soup = BeautifulSoup(response.text, 'lxml')

The <a href=””> tag indicates a hyperlink that can be used to find all the linked URLs in the document.

for anchor in soup.find_all("a"): 
        
       # extrair o URL ligado da âncora
        se "href" in anchor.attrs:
          link = anchor.attrs["href"]
        else:
          link = ''
        
       # resolver ligações relativas (começando por /)
        if link.startswith('/'):
            link = base_url + link
            
        elif not link.startswith('http'):
            link = path + link

Em seguida, encontraremos os novos URLs e adicioná-los-emos à fila não raspada se não estiverem na fila raspada nem na não raspada.

Quando experimenta o código, repara que nem todas as hiperligações podem ser extraídas, pelo que também temos de as excluir,

if not link.endswith(".gz" ):
         se não houver link em unscraped e não houver link em scraped:
              unscraped.append(link)

Para analisar melhor os resultados, vamos exportar os emails para o ficheiro CSV.

df = pd.DataFrame(emails, columns=["Email"]) # substituir pelo nome da coluna que preferir
df.to_csv('email.csv', index=False)

Se estiver a utilizar o Google Colab, pode descarregar o ficheiro para o seu computador local

from google.colab import files
ficheiros.download("email.csv")

Tal como já foi explicado, não posso mostrar os endereços de correio eletrónico eliminados devido a questões de confidencialidade. 

[Aviso! Alguns sítios Web não permitem a recolha de dados e têm bots muito inteligentes que podem bloquear permanentemente o seu IP, pelo que a recolha de dados é feita por sua conta e risco].

import re
import requests
from urllib.parse import urlsplit
from collections import deque
from bs4 import BeautifulSoup
import pandas as pd
from google.colab import files
 
# read url from input
original_url = input("Enter the website url: ") 
 
# to save urls to be scraped
unscraped = deque([original_url])
 
# to save scraped urls
scraped = set()
 
# to save fetched emails
emails = set()  
 
while len(unscraped):
    url = unscraped.popleft()  
    scraped.add(url)
 
    parts = urlsplit(url)
        
    base_url = "{0.scheme}://{0.netloc}".format(parts)
    if '/' in parts.path:
      path = url[:url.rfind('/')+1]
    else:
      path = url
 
    print("Crawling URL %s" % url)
    try:
        response = requests.get(url)
    except (requests.exceptions.MissingSchema, requests.exceptions.ConnectionError):
        continue
 
    new_emails = set(re.findall(r"[a-z0-9\.\-+_]+@[a-z0-9\.\-+_]+\.com", response.text, re.I))
    emails.update(new_emails) 
 
    soup = BeautifulSoup(response.text, 'lxml')
 
    for anchor in soup.find_all("a"):
      if "href" in anchor.attrs:
        link = anchor.attrs["href"]
      else:
        link = ''
 
        if link.startswith('/'):
            link = base_url + link
        
        elif not link.startswith('http'):
            link = path + link

Como as empresas necessitam de numerosos endereços de correio eletrónico para construir a sua lista de contactos, é necessário recolher dados de várias fontes. Um processo manual de recolha de dados pode ser fastidioso e moroso. Neste caso, os scrapers recorrem normalmente a proxies para acelerar o processo e contornar as restrições que se lhes deparam. O Proxyscrape fornece proxies de grande largura de banda, capazes de recolher dados ilimitados e que funcionam 24 horas por dia, 7 dias por semana, para garantir uma funcionalidade ininterrupta. O nível de anonimato dos proxies é suficientemente elevado para esconder a identidade dos scrapers. 

A criação de uma lista de contactos potenciais com endereços de correio eletrónico qualificados facilitará o processo de contacto com o público-alvo. Como a maioria das pessoas utiliza o correio eletrónico como meio de comunicação, é muito mais fácil contactá-las através de endereços de correio eletrónico. 

Ao extrair os endereços de correio eletrónico de várias fontes, os extractores podem enfrentar alguns desafios, como bloqueios de IP ou barreiras geográficas. Neste caso, os proxies ocultam os endereços dos utilizadores com o endereço proxy e eliminam os bloqueios no acesso a sítios Web bloqueados. 

É sempre legal recolher dados publicamente disponíveis. Assim, os scrapers devem certificar-se de que os dados que estão a recolher estão disponíveis no domínio público. Caso contrário, podem recolher dados com autorização prévia para manter a legalidade da recolha. 

Neste artigo, explorámos mais uma maravilha da recolha de dados da Web, mostrando um exemplo prático de recolha de endereços de correio eletrónico. Tentámos a abordagem mais inteligente, criando o nosso Web crawler utilizando Python e a biblioteca mais fácil e, no entanto, mais poderosa, chamada BeautfulSoup. A recolha de dados da Web pode ser de grande ajuda se for feita corretamente, tendo em conta as suas necessidades. Apesar de termos escrito um código muito simples para a recolha de endereços de correio eletrónico, é totalmente gratuito e, além disso, não precisa de recorrer a outros serviços para o fazer. Tentei o meu melhor para simplificar o código tanto quanto possível e também adicionei espaço para personalização para que o optimize de acordo com os seus próprios requisitos.