O AutoScraper é uma biblioteca de raspagem da Web poderosa e de código aberto para Python que simplifica o processo de extração de dados de sites. Ao contrário das estruturas tradicionais de raspagem da web que exigem codificação extensiva para analisar o conteúdo HTML, o AutoScraper pode gerar automaticamente regras para extrair as informações desejadas com base em exemplos fornecidos por você. O AutoScraper é particularmente adequado para iniciantes no mundo da raspagem da web. A sua interface amigável e a geração automática de regras tornam-no acessível para aqueles que podem não ter uma vasta experiência de codificação.
Suponha que pretende fazer scraping de uma loja de comércio eletrónico sem ter de lidar com a análise de HTML. O AutoScraper permite-lhe introduzir os nomes dos produtos na "wanted_list" e aprenderá automaticamente a estrutura HTML e analisará os produtos subsequentes por si próprio.
Eis um exemplo claro para demonstrar o processo, incluindo a implementação de proxies:
Primeiro, você precisa instalar o AutoScraper. Você pode fazer isso usando pip:
from autoscraper import AutoScraperEspecifique o URL que deseja extrair e os elementos ou produtos que deseja extrair. Ao fazer isso, o AutoScraper pode aprender a estrutura HTML e analisar com precisão todos os elementos semelhantes dentro dessa estrutura:
url = 'https://books.toscrape.com/'
wanted_list = [
"Tipping the Velvet",
"Soumission",
]Utilize o AutoScraper para construir o seu modelo de raspagem:
scraper = AutoScraper()
proxies = {
"http": 'http://test_user112:[email protected]:6060',
"https": 'http://test_user112:[email protected]:6060',
}
# if you wish to use the same scraper again
scraper.save('books_to_scrape')
result = scraper.build(url, wanted_list, request_args=dict(proxies=proxies))
print(result) raspador = AutoScraper()
scraper.load('books_to_scrape')
resultado = scraper.get_result(url)['A Light in the ...',
"Tipping the Velvet",
"Soumission",
"Sharp Objects",
"Sapiens: Uma Breve História ...",
"O Requiem Vermelho", "Os Pequenos Segredos Sujos ...",
'The Coming Woman: A ...',
"Os Rapazes da ...",
"A Maria Negra",
'Corações Famintos( ComércioTriangular...',
"Sonetos de Shakespeare",
"Liberta-me ",
"Scott Pilgrim's Precious Little ...",
'Rip it Up and ...',
'A nossa banda podia ser ...',
'Olio',
'Mesaerion: A Melhor Ciência ...",
'Libertarianismo para principiantes',
"São apenas os Himalaias",
"Uma Luz no Sótão",
'Sapiens: Uma Breve História da Humanidade',
"Os pequenos segredos sujos para conseguir o emprego dos seus sonhos",
"The Coming Woman: Um romance baseado na vida da infame feminista Victoria Woodhull",
"The Boys in the Boat: Nine Americans and Their Epic Quest for Gold at the 1936 Berlin Olympics",
"Starving Hearts( Trilogia do ComércioTriangular,#1)",
"A preciosa vida de Scott Pilgrim (Scott Pilgrim #1)",
'Rip it Up and Start Again',
'Our Band Could Be Your Life: Scenes from the American Indie Underground, 1981-1991",
'Mesaerion: As Melhores Histórias de Ficção Científica 1800-1849'] Uma das principais limitações do AutoScraper é o facto de não suportar a renderização de JavaScript ou dados carregados dinamicamente. Mas não se preocupe, há uma solução! Usando bibliotecas Python como Selenium ou Playwright, que lidam com dados dinâmicos, podemos pegar os dados HTML e deixar o Autoscraper cuidar da análise para nós.
Se o seu site alvo emprega proteção anti-bot, em ProxyScrape, oferecemos uma API de raspagem da web confiável que cuida de tudo para você, tornando seu processo de coleta de dados fácil e eficiente.
Aqui está um exemplo de como você pode usar nossa API de raspagem da web com o AutoScraper:
import requests
from autoscraper import AutoScraper
def send_request(url_to_scrape):
api_key = 'your_api_key'
data = {
"url": url_to_scrape,
"browserHtml": True # Use browserHtml for JavaScript rendering
}
headers = {
"Content-Type": "application/json",
"X-Api-Key": api_key
}
response = requests.post("https://api.proxyscrape.com/v3/accounts/freebies/scraperapi/request",
headers=headers, json=data)
# we return the html data that web scraping api extracted
return response.json()['data']['browserHtml']
if __name__ == '__main__':
target_url = 'https://books.toscrape.com/'
# get html data using web scraping api
html_content = send_request(target_url)
# parse that html data using AutoScraper
scraper = AutoScraper()
wanted_list = [
"Tipping the Velvet",
"Soumission",
]
result = scraper.build(wanted_list=wanted_list, html=html_content)
print(result)
O Web scraping é uma ferramenta poderosa para a aquisição de dados e, com a combinação certa de AutoScraper e proxies, pode desbloquear todo o seu potencial. Ao integrar os proxies de qualidade superior do ProxyScrape, garante que as suas actividades de recolha de dados são eficientes, anónimas e ininterruptas. Fornecemos-lhe os elementos necessários para começar, se quiser avançar mais com o AutoScraper, consulte este gist.
Pronto para elevar o seu jogo de raspagem da web? Comece a explorar as capacidades do AutoScraper com os proxies premium do ProxyScrape hoje mesmo. Visite ProxyScrape para se inscrever e tirar proveito de nossas soluções de proxy de última geração.
Se precisar de ajuda com a raspagem da Web, sinta-se à vontade para entrar no nosso canal Discord , onde pode encontrar apoio.
Boa raspagem!