escuro proxyscrape logótipo

Extrair comentários do YouTube em 5 passos simples

Como fazer, Python, Raspagem, Nov-01-20215 minutos de leitura

Saber como recolher comentários do youtube pode ajudar as pessoas a fazer uma breve análise e a tomar decisões com base nos resultados. A recolha de dados de conteúdo de vídeo, gostos e comentários ajudará os utilizadores a compreenderem coletivamente o que funcionou bem e o que não funcionou. O relatório do Data Reportal sobre o alcance global da audiência diz que o YouTube tinha 2,476 mil milhões de utilizadores em todo o mundo em julho de 2022. Estes dados dizem claramente que o YouTube é uma das plataformas mais elegíveis para efetuar estudos de mercado. Este artigo explica como utilizar estes dados alargados do YouTube para tomar decisões comerciais ou financeiras. 

Índice

YouTube - A maior plataforma de entretenimento

Quer promova programas ou forneça informações aos alunos, o YouTube é a melhor forma de comunicar com um público alargado. É o segundo maior motor de pesquisa do mundo, a seguir ao Google. Como o Google e outros motores de busca tendem a favorecer os vídeos, pode melhorar a sua classificação nos motores de busca partilhando vídeos no Youtube com bons títulos, etiquetas e descrições. Também pode transmitir as mensagens da sua marca no Youtube com a ajuda de vídeos, uma vez que estes são um método perfeito para captar a emoção e os atributos físicos do que está a promover.

Extrair comentários do YouTube

O raspador do YouTube permite-lhe raspar dados de vídeo, subscrições, comentários, classificação, recomendações e anúncios. Com a ajuda do raspador do YouTube, pode raspar as suas pesquisas recolhendo dados da página URL do YouTube selecionada. Pode agora recolher os canais, os vídeos e os seus detalhes, bem como os comentários e as legendas, o que abre uma nova dimensão para analisar os dados de vídeo. Pode recolher legendas geradas automaticamente e adicionadas em vários idiomas utilizando a recolha de dados da Web.

Porquê recolher comentários do YouTube?

A recolha de dados do Youtube é útil devido a algumas das seguintes razões.

  • É fácil calcular a frequência das menções à marca, o alcance do público e as suas reacções com a ajuda dos dados certos. Por exemplo, as empresas podem utilizar estes dados úteis para calcular o retorno do investimento (ROI) para anúncios ou referências de canais do YouTube. Desta forma, podem dimensionar as suas campanhas de marketing em conformidade. 
  • Com a ajuda da recolha de dados do Youtube, pode selecionar, analisar e atrasar a difusão de notícias falsas e de conteúdos nocivos ou ilegais.
  • Pode recolher dados para qualquer investigação, seguir tópicos e tendências emergentes e até prever novas tendências por país, língua ou globalmente.
  • Para fazer melhores escolhas, pode consultar as opiniões sobre os serviços e produtos que está a pensar comprar.
  • A secção de comentários do Youtube inclui dados sobre o sentimento dos utilizadores que revelam diferentes reacções ao conteúdo do vídeo. É muito útil para compreender como os seus espectadores estão a interagir com o conteúdo. Mas antes de utilizar um raspador do Youtube, é preciso lembrar que os trolls são uma parte comum da secção de comentários. Por conseguinte, não pode considerar os comentários negativos como feedback legítimo.

Raspagem de comentários do YouTube usando Python

Tens de seguir os passos abaixo para extrair comentários do Youtube utilizando Python.

Instalar pacotes

É necessário importar os pacotes necessários utilizando o comando Python, como indicado abaixo.

!pip install datakund-bot-studio
!pip install youtube-comment-scraper-python

Importar os pacotes necessários

Agora, é necessário importar os pacotes necessários.

from youtube_comment_scraper_python import *
import pandas as pd

Abrir a secção de comentários

É necessário abrir o link do vídeo do Youtube pretendido e ir para a secção de comentários utilizando os comandos abaixo.

youtube.open("https://www.youtube.com/watch?v=rSDy5AdfRDI")
youtube.keypress("pagedown")

Obterá o seguinte resultado ao executar este comando.

Extrair comentários do YouTube

Depois de executar o código acima, é necessário abrir o navegador Web onde o vídeo já está aberto. Ele executará automaticamente o Page Down e raspará os comentários, portanto, é necessário aguardar a conclusão do processo. O tempo gasto por esta etapa pode variar dependendo do número de comentários num vídeo.

dados = []
currentpagesource=youtube.get_page_source()
lastpagesource=''

while(True):
   if(lastpagesource==currentpagesource):
        break
        
   lastpagesource=currentpagesource
   response=youtube.video_comments()

   for c in response['body']:
        data.append(c)
        
    youtube.scroll()
   currentpagesource=youtube.get_page_source()

Construção de um quadro de dados

Agora, removemos os dados duplicados e convertemos a nossa lista num quadro de dados. Em seguida, exportamos os nossos dados para um ficheiro CSV.

df = pd.DataFrame(data)

df = df.replace('\n',' ', regex=True)

df = df[['Comment', 'Likes']].drop_duplicates(keep="first") 

df.to_csv('data.csv',index=False)

Verificamos os nossos dados utilizando df.head() como se mostra abaixo.

df.head()

Usar um proxy para extrair comentários do YouTube

O proxy do YouTube é um servidor intermediário que permite a troca de dados entre o dispositivo e os servidores. Ajuda a criar uma ligação indireta que permite contornar a firewall do administrador do sistema ou do fornecedor de serviços Internet. Com a ajuda de proxies, pode aumentar as visualizações dos seus vídeos do YouTube e obter mais comentários.

É necessário abrir a linha de comandos e escrever o seguinte.

$ git clone https://github.com/MShawon/YouTube-Viewer.git

$ cd YouTube-Viewer

$ pip install -r requirements.txt

Além disso, verifique a sua versão do Google Chrome e transfira a mesma versão chromedriver.exe de https://chromedriver.chromium.org/downloads e coloque-a na pasta chromedriver_win32.

É necessário filtrar o comando abaixo para filtrar bons proxies se tiver uma grande coleção de proxies. Depois, tem de utilizar GoodProxy.txt para um ficheiro python de proxy.

$ python proxy_check.py

Por que você precisa de proxies para a raspagem de comentários do YouTube?

As várias razões possíveis para utilizar um proxy do Youtube são as seguintes:

  • Normalmente, a pedido da direção, o Youtube é muitas vezes proibido em instituições de ensino e redes de escritórios. Por isso, precisa de um proxy do Youtube para evitar proibições e manter o seu acesso estável.

  • Alguns países proíbem o acesso ao Youtube a nível estatal porque o seu conteúdo não está de acordo com as suas políticas nacionais. Isso significa que nenhum cidadão pode usar o Youtube dentro do país. Por isso, é necessário encontrar um fornecedor de proxy do Youtube com endereços IP globais para desbloquear os vídeos do Youtube.
  • Será bastante difícil para [as pessoas] extraírem um grande volume de dados utilizando códigos ou ferramentas de recuperação de dados. Para ultrapassar este problema, podemos utilizar proxies de grande largura de banda que permitam a recolha de enormes volumes de dados. 

Perguntas mais frequentes

1. Quais são as utilizações da recolha de comentários do YouTube?
Os comentários do YouTube ajudarão os profissionais de marketing ou os utilizadores em geral a compreender as tendências e as opiniões do público. A frequência das menções, gostos e desgostos da marca ajudará os utilizadores a medir o seu alcance e a tomar decisões comerciais/decisões financeiras. Os compradores também podem utilizar os dados dos comentários para decidir se compram ou não um produto.
2. What are the python packages required to scrape YouTube comments?
To scrape youtube comments, we require two primary packages, they are youtube_comment_scraper_python and pandas. The former is responsible for performing scraping operations while the other allows data analysis operations.
3. Why do some need proxies for scraping YouTube comments?
Geralmente, os proxies são bloqueados em determinados locais, como as escolas, porque não é necessário que os alunos sejam expostos a vídeos de entretenimento durante o horário escolar. Para contornar esta restrição, é necessário um proxy. Outra razão importante é o scraping. Um código ou uma ferramenta normal não consegue extrair facilmente uma grande quantidade de dados. Para ultrapassar este problema, podemos utilizar proxies com uma largura de banda elevada, que podem suportar a recolha de grandes quantidades de dados.

Conclusão sobre a recolha de comentários do YouTube

O YouTube é um ótimo lugar para construir uma plataforma individual e é um lugar onde se pode fazer uma tonelada de pesquisa de clientes e de marketing digital. A secção de comentários dos vídeos do YouTube dá muitas informações sobre as expectativas das pessoas e sobre o que elas gostam ou não gostam. É possível extrair os comentários do YouTube utilizando Python, mas deve utilizar proxies quando os extrai. Isto porque os proxies protegem-no de ser bloqueado e também lhe permitem fazer uma pesquisa mais direccionada. Pode usar proxies dedicados para fazer scraping do Youtube. Embora sejam caros, são mais seguros do que os outros proxies.

Espero que tenhas ficado com uma ideia de como fazer scrape de comentários do Youtube usando Python.