Como garantir a qualidade dos dados na recolha de dados da Web
Um aspeto da recolha de dados da Web que inúmeras organizações e indivíduos ignoram frequentemente é a qualidade dos dados que extraem. A extração de dados de alta qualidade continua a ser um desafio em projectos de extração da Web em grande escala. Por outro lado, muitas organizações também não prestam a atenção desejada à qualidade dos dados até que isso as incomode. Neste artigo, irá
Um aspeto da recolha de dados da Web que inúmeras organizações e indivíduos ignoram frequentemente é a qualidade dos dados que extraem.
A extração de dados de elevada qualidade continua a ser um desafio em projectos de raspagem da Web em grande escala. Por outro lado, muitas organizações também não prestam a atenção desejada à qualidade dos dados até que isso as incomode.
Neste artigo, obterá informações sobre a extração de dados de elevada qualidade para que o seu projeto de Web scraping seja bem sucedido.
Mas, antes de mais, comecemos pelas características dos dados de qualidade.
Como é que se definem os dados de qualidade?
Não existe, sem dúvida, um padrão que defina a qualidade dos dados, uma vez que dados de boa qualidade podem ser maus para outros. Em vez disso, a medição da qualidade dos dados dependerá da identificação e ponderação das características dos dados para as aplicações das organizações que os utilizarão.
Pode utilizar as propriedades abaixo como orientação para basear a qualidade dos dados:
Exatidão e precisão:
Este carácter especifica a precisão com que os dados representam a condição do mundo real sem informações enganadoras. Não obterá os resultados desejados se planear o seu próximo curso de ação com base em dados incorrectos. Além disso, a retificação dos movimentos devido a dados incorrectos implicaria custos adicionais.
Completude e abrangência:
A principal caraterística dos dados completos é o facto de não conterem campos vazios ou incompletos. Tal como os dados inexactos, os dados incompletos levam as organizações a tomar decisões que afectam negativamente a empresa.
Validade/integridade dos dados:
Normalmente, os dados de um conjunto de dados válido estão no formato correto, com valores dentro do intervalo e são do tipo correto. Refere-se ao processo de recolha de dados e não aos dados em si. Os dados que não satisfazem os critérios de validação exigirão um esforço adicional para serem integrados com o resto da base de dados.
Coerência e fiabilidade:
Esta caraterística indica que uma informação de uma determinada fonte não contradiz a mesma informação de uma fonte diferente ou de um sistema. Por exemplo, se a data de nascimento de uma figura proeminente for 7 de setembro de 1986 numa fonte, noutra fonte poderá descobrir que a sua data de nascimento é 7 de outubro de 1986. Esta inconsistência nos dados acabaria por resultar em custos adicionais e danos para a reputação da sua organização.
Atualidade:
Tal como o nome indica, a atualidade refere-se ao grau de atualização da informação. Com o tempo, a exatidão das informações nas fontes torna-se desactualizada e pouco fiável, uma vez que representa o passado e não a situação atual. Por conseguinte, é fundamental extrair informações oportunas para obter o melhor resultado dos seus esforços. Caso contrário, se basear as suas decisões em informações desactualizadas, perderá oportunidades para a sua organização.
Recolha de dados da Web para garantir a qualidade dos dados
Uma das formas de obter dados de qualidade é através da recolha de dados da Web. Quem não estiver familiarizado com a recolha de dados da Web pode consultar este artigo. No entanto, a recolha de dados da Web não é isenta de desafios.
Por isso, agora é altura de nos concentrarmos nos desafios da recolha de dados da Web que podem afetar a qualidade dos dados que discutimos acima.
Os desafios da raspagem da Web que afectam a qualidade dos dados
1.Requisitos
Para adquirir dados de qualidade a partir de raspadores Web, é necessário definir claramente os seus requisitos em termos dos dados de que necessita. É difícil para a ferramenta de raspagem da Web verificar a qualidade dos dados sem ter uma ideia exacta dos dados de que necessita, do seu aspeto e do nível de precisão exigido.
Para obter dados de qualidade, é necessário definir os requisitos de forma clara e prática e devem ser testáveis, principalmente quando pelo menos uma das seguintes condições for verdadeira:
- O sítio Web de destino que vai extrair tem uma variedade de esquemas de páginas e várias combinações de dados.
- Os campos que solicita para um item são bastante grandes.
- O número alvo de itens é bastante grande.
- Pode extrair os dados de acordo com alguma forma de filtragem, por exemplo, filtrar os dados com base na localização geográfica.
- Um dispositivo móvel pode recolher dados.
2. alterações na estrutura do sítio Web:
Os proprietários de sítios Web e os seus programadores actualizam frequentemente a parte frontal de um sítio Web. Como resultado, a estrutura HTML de uma página muda, perturbando constantemente os spiders ou os rastreadores de páginas Web. Isto acontece porque um programador constrói um Web crawler de acordo com a estrutura HTML nesse momento.
Assim, devido a esta avaria no rastreador, a exatidão e a atualidade dos dados degradar-se-ão.
3) Obtenção de dados incorrectos:
Digamos que existe uma página Web complexa com demasiadas etiquetas HTML aninhadas. Assim, quando precisar de extrair dados de um elemento aninhado mais interno, será um grande desafio extraí-los. Isto deve-se ao facto de o XPath gerado automaticamente nos Web crawlers poder não ser exato.
Como resultado, o crawler irá buscar os dados de que não precisa.
4. não ser capaz de monitorizar continuamente
Manter a qualidade dos dados durante a raspagem pode ser um enorme desafio. Os registos de dados que não cumpram a qualidade esperada terão impacto na integridade geral dos dados. Uma vez que a recolha de dados online ocorre em tempo real, é necessário garantir que os dados cumprem os critérios de qualidade.
A monitorização constante é essencial, e é necessário testar o sistema de garantia de qualidade e validá-lo em relação a novos casos. Não é suficiente ter um sistema de controlo de qualidade linear; é também necessário um nível de inteligência robusto que aprenda com os dados para manter a qualidade à escala.
Se utilizar quaisquer dados como base para iniciativas de aprendizagem automática ou de inteligência artificial, os dados erróneos podem criar graves dificuldades.
5. requisito de início de sessão
Antes de extrair qualquer conteúdo de alguns sítios Web, é necessário iniciar sessão. Quando os rastreadores exigem um início de sessão, o seu rastreador pode tornar-se padrão e inativo. Como resultado, o crawler não extrai quaisquer dados.
6. extração de dados incompleta
Já viu alguns sítios Web, como o Twitter ou o Facebook, a carregarem mais conteúdo à medida que se desloca para baixo? Isso deve-se ao facto de o conteúdo dinâmico ser carregado através de Ajax. Por isso, nesses sítios Web, se o bot não descer, não conseguirá obter todo o conteúdo. Como resultado, os dados extraídos não estarão completos.
7. verificação da semântica dos dados
Verificar a semântica dos dados textuais extraídos de sítios Web através de um processo de controlo de qualidade automatizado e unificado é um grande desafio. A maioria das empresas está a desenvolver sistemas para ajudar a verificar a semântica dos dados extraídos dos sítios Web. No entanto, nenhuma tecnologia é adequada para encontrar a semântica em todos os cenários.
Assim, a ordem do dia é o teste manual, que é bastante difícil.
8. contramedidas anti-bot
Se estiver a fazer scraping de sítios Web em grande escala, digamos até 500 páginas ou mais, é provável que se depare com contramedidas anti-bot. Estas incluem proibições de IP quando se efectua um número considerável de pedidos.
Se estiver a fazer scraping de sítios Web de comércio eletrónico de renome, por exemplo, a Amazon, poderá mesmo confrontar-se com contramedidas anti-bot mais sofisticadas, como a Distil Networks ou a Imperva. Estes sites podem assumir falsamente que está a lançar um ataque de negação de serviço distribuído (DDoS).
Como garantir a qualidade dos dados através de um processo de garantia de qualidade automatizado
Uma vez que estará a extrair dados de centenas a milhares de páginas Web, a única forma viável de determinar a qualidade dos dados extraídos é através de um método automatizado.
Eis alguns elementos que devem ser verificados:
Qualidade e correção dos dados
É necessário certificar-se de que recolheu as informações correctas. Por exemplo, se retirou os campos que recolheu dos elementos correctos da página. Além disso, seria útil certificar-se de que o processo automatizado pós-processou os dados que o raspador raspou.
Estas incluem a remoção de etiquetas HTML do conteúdo, formatação relevante, espaçamento em branco e remoção de caracteres especiais do texto. Os nomes dos campos também são idênticos aos especificados pelo utilizador. Este processo assegura que os dados estão exatamente no formato que solicitou durante a fase de requisitos.
Cobertura
No que diz respeito à cobertura, é necessário garantir que o raspador tenha raspado todos os itens individuais. Estes itens únicos incluem produtos, artigos, publicações em blogues, listagens de notícias, etc.
Depois de identificar os itens, é necessário garantir que o "scrapper" eliminou todos os campos desse item.
Monitorização de aranhas
O processo de monitorização de spiders é uma componente crítica de qualquer processo de recolha de dados da Web para assegurar a garantia de qualidade dos dados que o scraper irá recolher. Num sistema de monitorização deste tipo, seria possível inspecionar os spiders em tempo real com os resultados que capturam.
Além disso, um sistema de monitorização de spider permite-lhe detetar as origens de potenciais problemas de qualidade imediatamente após o spider ter concluído a execução.
Normalmente, um sistema de monitorização de spider ou scraper deve verificar os dados que recolheu em relação a um esquema. Este esquema deve definir a estrutura esperada, os tipos de dados e as restrições de valor dos dados recolhidos.
Outras características proeminentes do sistema de monitorização da aranha seriam a deteção de erros, a monitorização de proibições, quedas de cobertura de itens e outras funções significativas das execuções da aranha.
Seria útil se também utilizasse abordagens frequentes de validação de dados em tempo real para os spiders que operam em longas séries. Esta técnica permitir-lhe-á parar um spider se este descobrir que está a recolher dados inadequados. Uma avaliação de dados pós-execução também ajudaria.
Como é que os proxies podem ajudar na recolha de dados da Web?
Os proxies são o primeiro e mais importante componente essencial de qualquer projeto de recolha de dados da Web. Quando é necessário extrair toneladas de páginas de sítios Web através de um bot, é necessário enviar vários pedidos para o sítio Web alvo.
Como já referi, uma vez que a maioria dos sítios Web alvo bloqueia o seu endereço IP, é necessário utilizar um servidor proxy para disfarçar os seus endereços IP reais.
No entanto, um único proxy não seria suficiente para o trabalho, uma vez que se utilizar um único proxy, o resultado seria uma proibição de IP. Em vez disso, o que precisa é de um conjunto de proxies residenciais rotativos.
Recomendamos que subcontrate o aspeto da gestão de proxy, a menos que tenha uma equipa dedicada para o efeito. Muitos fornecedores de proxy fornecem vários serviços; no entanto, encontrar um fornecedor de proxy fiável é uma tarefa bastante difícil.
Em ProxyScrape, esforçamo-nos por fornecer um serviço ótimo com vários tipos de proxy para satisfazer as suas necessidades. Visite a nossa página de serviços para obter mais pormenores.
Para além dos proxies
A utilização de um fornecedor de proxy não será suficiente para minimizar as contramedidas anti-bot que muitos sítios Web utilizam atualmente.
A maioria desses sites usa javascript para determinar se o pedido vem de um bot ou de um humano. Assim sendo, deve restringir a sua utilização de navegadores sem cabeça com script, como o Splash ou o Puppeteer. Estes navegadores sem cabeça processam qualquer javascript na página durante a recolha de dados em escala porque consomem muitos recursos e, por isso, reduzem a velocidade a que recolhe os dados.
Assim, com a utilização de proxies, deve fazer com que o seu scraper ou um bot se desloque como um humano.
Conclusão
Agora já deve ter uma visão global do desafio que é conseguir a qualidade dos dados. Se utilizar proxies e outras medidas, como evitar totalmente os navegadores sem cabeça para extrair dados, está no bom caminho.
Além disso, é necessário desenvolver técnicas de validação de dados durante e após a validação para garantir que os dados extraídos são de qualidade.