Hyun's Wonderwall

데이터 엔지니어링 과목 프로젝트에서 네이버 플레이스의 리뷰 데이터를 수집하는 역할을 맡았다. [크롤링 방식] - 정적 크롤링(Static Crawling), 동적 크롤링(Dynamic Crawling)정적 크롤링: 서버에서 전달받은 고정된 HTML 소스코드에서 필요한 데이터를 파싱하는 방식.동적 크롤링: JavaScript 실행 이후에 생성되는 요소나, 사용자 인터랙션(스크롤, 버튼 클릭 등)을 통해 로드되는 데이터를 처리하는 방식. 일반적인 HTTP 요청만으로는 접근이 불가능한 정보를 수집할 때 사용됨.우리가 수집하려는 네이버 플레이스 리뷰 페이지는 탭 구성과 더보기 버튼 기반의 페이지네이션 구조를 가지고 있어 동적으로 데이터가 로드된다. 따라서 동적 크롤링이 필수적이다. [동적 크롤링을 위한 Pyth..

ACC Ewha 핸즈온 세션StorageAmazon S3데이터를 버킷 내 객체로 저장하는 객체 스토리지 서비스확장성, 데이터 보호, 비용 효율성특징객체별로 제어 (단일 객체 최대 크기 5TB)Amazon S3버킷과 객체로 구성버킷은 최상위 디렉토리객체는 디렉토리 내에 저장되는 파일Amazon S3구성 - 버킷버킷은 S3에 저장된 객체에 대한 컨테이너버킷에는 객체를 무제한으로 저장 가능한 계정당 최대 100개의 버킷 생성 가능AWS 전역에서 단 하나만 존재, 리전과 관계없이 전역적으로 유일한 이름구성 - 객체S3에 저장되는 기본 개체버킷, 키, 버전메타데이터: 객체 관련 정보를 저장하기 위한 이름-값 페어 세트 (이름: 속성의 종류. ex. content type)값: 저장하는 콘텐츠, 임의의 바이트 시퀀..

ACC Ewha 핸즈온 세션 - 공부 내용 정리Route53Route53: AWS의 DNS 서비스. 도메인을 타깃으로 분산 처리 가능.- DNS(네임서버) + port 모니터링(Health Check) + L4(Failover 기능) + GSLB(라우팅 정책)- Route53을 사용해 도메인의 트래픽을 로드 밸런서로 라우팅할 수 있다.- 네임서버는 IP주소와 도메인네임을 연결해주는 역할. / 라우팅: 네트워크에서 경로를 찾는 행위. (Route53가 확인하는 것: 도메인 / 로드 밸런서가 확인하는 것: 지정된 포트, 프로토콜, 상태 확인) DNS- 도메인 네임(aws.amazon.com) -> 네트워크 주소(ip주소): Forwarding DNS, 그 반대는 Reverse DNS- root DNS, T..