ML, DL & Python
-
유튜브 댓글 크롤링ML, DL & Python/Youtube 크롤링 & 분석 2019. 5. 5. 16:26
안녕하세요 저번 유튜버의 영상 정보 크롤링에 이어서 이번엔 한개의 영상을 정해서 댓글을 크롤링 해보도록 하겠습니다. 영상의 댓글을 크롤링하기 위해서 저번 포스팅에서 수집한 영상url을 사용해보겠습니다. 저번 포스팅에서는 설명하지 않았지만 영상별로 url을 수집했는데요 이번 포스팅의 시작은 이것으로 시작하겠습니다. 1. 영상들을 스크롤 했던 것은 기억하시죠? 스크롤한 뒤에 page source로 변환하여 url을 수집했습니다. html0 = browser.page_source html = BeautifulSoup(html0,'html.parser') video_list0 = html.find('div',{'id':'items'}) video_list2 = video_list0.find_all('ytd-gr..
-
유튜브 크롤링ML, DL & Python/Youtube 크롤링 & 분석 2019. 5. 4. 16:56
안녕하세요. 업무를 하다가 문득 떠오른 아이디어가 있어서 유튜브 크롤링을 하게 되었습니다. 유튜버들은 유튜브만의 분석 솔루션이 따로 있다고 알고 있는데 "과연, 그것이 얼마나 도움을 줄 수 있을까?" 라는 생각과 "직접 데이터를 수집하여 분석하고 인사이트를 도출해줄 수 있지 않을까?"라는 생각을 하게 되었습니다. 따라서 주제는 유튜버들중 한분을 정해서 데이터 수집부터 분석까지 진행해보고자 합니다. 또한, 본 포스팅에서는 유튜버에 대한 크롤링을 해보고자 합니다. 저는 "이사배"라는 유튜버분을 크롤링했습니다. 저는 Selenium으로 크롤링을 진행했습니다. 크롤링을 하는 여러 방법중에 가장 직관적이지만 시간이 오래걸리고 복잡하고 오류가 많다는 단점이있죠. 1. 먼저 크롤링에 필요한 모듈을 import합니다 ..