목록Study/Data Engineering (1)

Hyun's Wonderwall

[데이터 엔지니어링] Playwright으로 네이버 플레이스 리뷰 동적 크롤링하기

데이터 엔지니어링 과목 프로젝트에서 네이버 플레이스의 리뷰 데이터를 수집하는 역할을 맡았다. [크롤링 방식] - 정적 크롤링(Static Crawling), 동적 크롤링(Dynamic Crawling)정적 크롤링: 서버에서 전달받은 고정된 HTML 소스코드에서 필요한 데이터를 파싱하는 방식.동적 크롤링: JavaScript 실행 이후에 생성되는 요소나, 사용자 인터랙션(스크롤, 버튼 클릭 등)을 통해 로드되는 데이터를 처리하는 방식. 일반적인 HTTP 요청만으로는 접근이 불가능한 정보를 수집할 때 사용됨.우리가 수집하려는 네이버 플레이스 리뷰 페이지는 탭 구성과 더보기 버튼 기반의 페이지네이션 구조를 가지고 있어 동적으로 데이터가 로드된다. 따라서 동적 크롤링이 필수적이다. [동적 크롤링을 위한 Pyth..
Study/Data Engineering 2025. 3. 31. 17:00
이전 Prev 1 Next 다음