[KT AIVLE SCHOOL(에이블스쿨)] DX 트랙 5주차 후기[9]

📅 5주 차 일정

5주차에는 데이터 수집 수업과 미니 프로젝트 2차를 진행하였다.

5주차 수업 일정

 

 

📕 수업 내용

데이터 수집

크롤링에 대해 배우는 시간이었다.

4주차 마지막날 하루동안 오픈 API를 활용한 데이터 수집을 배웠고, 

5주차 2일동안은 웹크롤링에 대해 배웠다.

웹페이지의 종류

• 정적인 페이지: 웹 브라우져에 화면이 한번 뜨면 이벤트에 의한 화면 변경이 없는 페이지
• 동적인 페이지: 웹 브라우져에 화면이 뜨고 이벤트가 발생하면 서버에서 데이터를 가져와 화면을 변경하는 페이지

웹크롤링 방법

• requests 이용
  • json 문자열로 받아서 파싱하는 방법: 동적 페이지 때 주로 사용
  • html 문자열로 받아서 파싱하는 방법: 정적 페이지 때 주로 사용
• selenium 이용

HTML

• Hyper Text Markup Language의 약자로 웹 문서를 작성하는 마크업 언어

 

✏️ 생각 정리

개인적으로 이론 + 실습 수업 모두 최고였다. 특히 배워서 바로 실전으로 써먹을 수 있는 크롤링이어서 더욱 더 재미있었다. 

수업 시작 전 크몽과 숨고 같은 사이트에서 웹 크롤링으로 돈을 벌 수도 있다는 사실을 알려주셨다.

쇼핑몰 사이트 크로링의 경우 20만원정도에 책정되어 있었다. 열심히 수업을 들어야 하는 최고의 동기 부여였다. 

 

크몽 크롤링 외주