Raspar vídeos do YouTube usando Python - uma abordagem fácil em 2024

Com a ajuda da raspagem da Web, pode extrair dados do YouTube e beneficiar a sua organização ao obter informações valiosas a partir desses dados. Quando se aprende a extrair dados do Youtube, é importante saber que tipo de dados se pretende. Por exemplo, se pretender conhecer as reacções das pessoas ao seu trabalho, pode extrair a secção de comentários para analisar o sentimento do utilizador. Da mesma forma, se quiser acompanhar o sucesso de um vídeo, pode extrair dados de desempenho do vídeo. 

Antes de aprendermos a extrair vídeos do Youtube, vamos saber porque é que precisamos de os extrair.

Abaixo são mencionadas duas razões principais para a recolha de dados do Youtube.

Vamos ver como extrair dados de vídeos do Youtube usando Selenium e Python. O Selenium é uma ferramenta popular para automatizar navegadores da Web. Pode programar facilmente um script Python para automatizar um navegador Web utilizando o Selenium. 

O Selenium requer um driver para interagir com o navegador escolhido. Por exemplo, o Chrome requer um ChromeDriver que precisa de ser instalado antes de começar a fazer scraping.

$ pip install selenium

É necessário ir ao diretório de transferências e fazer o seguinte.

$ cd Downloads
$ descompactar chromedriver_linux64.zip
$ mv chromedriver /usr/local/bin/

Iremos recolher o ID do vídeo, o título e a descrição de uma determinada categoria do Youtube. As categorias que podemos extrair são as seguintes:

É necessário importar as bibliotecas necessárias, como o Pandas e o Selenium.

from selenium import webdriver 
import pandas as pd 
from selenium.webdriver.common.by import By 
from selenium.webdriver.support.ui import WebDriverWait 
from selenium.webdriver.support import expected_conditions as EC

Tem de abrir o Youtube no seu browser. Digite a categoria para a qual pretende pesquisar vídeos e defina o filtro para "vídeos". Irá obter vídeos relacionados com a sua pesquisa. Agora, tem de copiar o URL.

É necessário configurar o controlador para ir buscar o conteúdo do URL ao Youtube.

driver = webdriver.Chrome() 
driver.get("SEU_LINK_AQUI")

Pode utilizar o código abaixo para obter o atributo "href" da etiqueta âncora que pesquisou.

dados_do_utilizador = driver.find_elements_by_xpath('//*[@id="video-title"]')
links = []
for i in user_data:
            links.append(i.get_attribute('href'))

 print(len(links))

É necessário criar um quadro de dados com as quatro colunas abaixo.

Pode guardar os detalhes dos vídeos de diferentes categorias nestas colunas.

df = pd.DataFrame(colunas = ['link', 'title', 'description', 'category'])

Está pronto para extrair os detalhes do vídeo do Youtube utilizando o código Python abaixo.

wait = WebDriverWait(driver, 10)
v_category = "CATEGORY_NAME" (nome dacategoria)
para x em links:
            driver.get(x)
            v_id = x.strip('https://www.youtube.com/watch?v=')
            v_title = wait.until(EC.presence_of_element_located(
                           (By.CSS_SELECTOR,"h1.title yt-formatted-string"))).text
            v_description = wait.until(EC.presence_of_element_located(
                                         (By.CSS_SELECTOR,"div#description 
                                         yt-formatted-string")).text
            df.loc[len(df)] = [v_id, v_title, v_description, v_category]

Aqui,

Seguiremos os mesmos passos para as restantes categorias. Teremos quatro quadros de dados diferentes e vamos juntá-los num único quadro de dados. Desta forma, o nosso dataframe final conterá os detalhes desejados dos vídeos de todas as categorias mencionadas acima.

frames = [df_travel, df_science, df_food, df_manufacturing]
df_copy = pd.concat(frames, axis=0, join='outer', join_axes=None, ignore_index=True, keys=None, levels=None, names=None, verify_integrity=False, copy=True)

Pode utilizar os proxies do Youtube para as seguintes tarefas:

Os proxies residenciais são os melhores proxies para o Youtube em comparação com os proxies de centros de dados. Isto deve-se ao facto de os proxies do centro de dados serem facilmente detectados e de ter de enfrentar muitos Captchas ao utilizá-los. Assim, para evitar o bloqueio de IP e Captchas, os proxies residenciais são mais adequados para a automação do Youtube.

Sabe que o Youtube está repleto de milhares de milhões de dados valiosos. Pode analisar estes dados e utilizá-los para fazer muitas coisas, tais como:

É necessário ter proxies quando se faz scraping no Youtube. Isto deve-se ao facto de o Youtube utilizar técnicas avançadas de cibersegurança que detectam quando se tenta comprar vários artigos a partir de um único endereço IP. Para contornar a deteção, é necessário redirecionar o tráfego da Internet através de vários servidores proxy. Desta forma, parecerá que o tráfego de rede está a vir de computadores diferentes.

Os proxies também actuam como um escudo para os profissionais de marketing que utilizam bots do Youtube para aumentar a contagem de visualizações de um vídeo, manipular o algoritmo de classificação do Youtube e reclamar receitas de anúncios.

Um proxy de centro de dados dedicado tem várias características, tais como largura de banda ilimitada e ligações simultâneas, proxies HTTP dedicados para facilitar a comunicação e autenticação IP para maior segurança. Com 99,9% de tempo de atividade, pode ter a certeza de que o centro de dados dedicado funcionará sempre durante qualquer sessão. Por último, mas não menos importante, ProxyScrape fornece um excelente serviço de apoio ao cliente e ajudá-lo-á a resolver o seu problema no prazo de 24-48 horas úteis. 

A outra caraterística do proxy residencial do ProxyScrapeé uma funcionalidade rotativa. Um proxy rotativo ajuda-o a evitar uma proibição permanente da sua conta porque o seu proxy residencial altera dinamicamente o seu endereço IP, tornando difícil para o servidor de destino verificar se está a utilizar um proxy ou não. 

Para além disso, as outras características de um proxy residencial são: largura de banda ilimitada, juntamente com ligação simultânea, proxies HTTP/s dedicados, proxies em qualquer sessão de tempo devido aos mais de 7 milhões de proxies no pool de proxies, autenticação de nome de utilizador e palavra-passe para maior segurança e, por último, mas não menos importante, a capacidade de mudar o servidor do país. Pode selecionar o servidor pretendido anexando o código do país à autenticação do nome de utilizador. 

Em seguida, o melhor seria alterar o servidor proxy com base no país. Basta acrescentar o ISO_CODE do país no final da autenticação IP ou da autenticação por nome de utilizador e palavra-passe. 

Espero que tenhas percebido como extrair vídeos do Youtube usando Python.