Notice
Recent Posts
Recent Comments
Link
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | ||||||
2 | 3 | 4 | 5 | 6 | 7 | 8 |
9 | 10 | 11 | 12 | 13 | 14 | 15 |
16 | 17 | 18 | 19 | 20 | 21 | 22 |
23 | 24 | 25 | 26 | 27 | 28 | 29 |
30 | 31 |
Tags
- AWS
- 온라인테스트
- 백엔드
- UNIDEV
- 자바개발자
- 생활코딩
- 프로그래밍
- 42서울
- VPC
- 라피신
- 개발공부
- 스프링부트
- NAT gateway
- EC2
- Route53
- CICD
- bastion host
- 오블완
- 인프라
- 인디게임
- 전국대학생게임개발동아리연합회
- 위키북스
- 프리티어
- UNICON
- 게임개발동아리
- UNICON2023
- 백엔드개발자
- 티스토리챌린지
- 체크인미팅
- 도커
Archives
- Today
- Total
목록2025/03/31 (1)
Hyun's Wonderwall

데이터 엔지니어링 과목 프로젝트에서 네이버 플레이스의 리뷰 데이터를 수집하는 역할을 맡았다. [크롤링 방식] - 정적 크롤링(Static Crawling), 동적 크롤링(Dynamic Crawling)정적 크롤링: 서버에서 전달받은 고정된 HTML 소스코드에서 필요한 데이터를 파싱하는 방식.동적 크롤링: JavaScript 실행 이후에 생성되는 요소나, 사용자 인터랙션(스크롤, 버튼 클릭 등)을 통해 로드되는 데이터를 처리하는 방식. 일반적인 HTTP 요청만으로는 접근이 불가능한 정보를 수집할 때 사용됨.우리가 수집하려는 네이버 플레이스 리뷰 페이지는 탭 구성과 더보기 버튼 기반의 페이지네이션 구조를 가지고 있어 동적으로 데이터가 로드된다. 따라서 동적 크롤링이 필수적이다. [동적 크롤링을 위한 Pyth..
Study/Data Engineering
2025. 3. 31. 17:00