커뮤니티 사이트 크롤링 프로그램 개발

특정 커뮤니티 (다음 미즈넷)에서 일반 유저들이 기재한 글에 대한 데이터를 크롤링하는 프로그램을 개발했습니다.

• 참여 기간: 2018. 12 ~ 2018. 12
• 관련 기술: Python, Selenium, GCP
• 상세 내용:
  특정 커뮤니티의 글과 카테고리, 댓글을 전부 크롤링해서 추후에 연구용도 및 데이터 보관 용도로 사용할 수 있을 정도로 python기반의 crawler를 만들고 db를 구축했습니다.