Hyun's Wonderwall

데이터 엔지니어링 과목 프로젝트에서 네이버 플레이스의 리뷰 데이터를 수집하는 역할을 맡았다. [크롤링 방식] - 정적 크롤링(Static Crawling), 동적 크롤링(Dynamic Crawling)정적 크롤링: 서버에서 전달받은 고정된 HTML 소스코드에서 필요한 데이터를 파싱하는 방식.동적 크롤링: JavaScript 실행 이후에 생성되는 요소나, 사용자 인터랙션(스크롤, 버튼 클릭 등)을 통해 로드되는 데이터를 처리하는 방식. 일반적인 HTTP 요청만으로는 접근이 불가능한 정보를 수집할 때 사용됨.우리가 수집하려는 네이버 플레이스 리뷰 페이지는 탭 구성과 더보기 버튼 기반의 페이지네이션 구조를 가지고 있어 동적으로 데이터가 로드된다. 따라서 동적 크롤링이 필수적이다. [동적 크롤링을 위한 Pyth..

ACC Ewha 핸즈온 세션StorageAmazon S3데이터를 버킷 내 객체로 저장하는 객체 스토리지 서비스확장성, 데이터 보호, 비용 효율성특징객체별로 제어 (단일 객체 최대 크기 5TB)Amazon S3버킷과 객체로 구성버킷은 최상위 디렉토리객체는 디렉토리 내에 저장되는 파일Amazon S3구성 - 버킷버킷은 S3에 저장된 객체에 대한 컨테이너버킷에는 객체를 무제한으로 저장 가능한 계정당 최대 100개의 버킷 생성 가능AWS 전역에서 단 하나만 존재, 리전과 관계없이 전역적으로 유일한 이름구성 - 객체S3에 저장되는 기본 개체버킷, 키, 버전메타데이터: 객체 관련 정보를 저장하기 위한 이름-값 페어 세트 (이름: 속성의 종류. ex. content type)값: 저장하는 콘텐츠, 임의의 바이트 시퀀..

ACC Ewha 핸즈온 세션 - 공부 내용 정리Route53Route53: AWS의 DNS 서비스. 도메인을 타깃으로 분산 처리 가능.- DNS(네임서버) + port 모니터링(Health Check) + L4(Failover 기능) + GSLB(라우팅 정책)- Route53을 사용해 도메인의 트래픽을 로드 밸런서로 라우팅할 수 있다.- 네임서버는 IP주소와 도메인네임을 연결해주는 역할. / 라우팅: 네트워크에서 경로를 찾는 행위. (Route53가 확인하는 것: 도메인 / 로드 밸런서가 확인하는 것: 지정된 포트, 프로토콜, 상태 확인) DNS- 도메인 네임(aws.amazon.com) -> 네트워크 주소(ip주소): Forwarding DNS, 그 반대는 Reverse DNS- root DNS, T..

'오디오 및 MIDI를 동기화하는 동안 오류가 발생했습니다. 샘플률 ~이(가) 인식되었습니다.'  개러지밴드를 켰더니 위와 같은 샘플률 인식 오류가 끊임없이 떴는데 원인은 디스코드 음성 채팅에 접속한 채로 개러지밴드를 킨 것이었다... (블루투스 이어폰에서 '헤드폰'과 '머리에 거는 수화기'의 음질 차이를 생각해보면 이해가 될 것이다) 이 에러를 마주했다면 디스코드, 줌, 미트에 접속해 있는 것은 아닌지 확인! 나갔더니 해결되었다.

먼저, 구글 Colab을 열고 새 노트북을 생성한다. 파이썬과 몽고DB를 연동하기 위해 pymongo를 설치한다.!pip install gspread pandas pymongo 구글 드라이브를 마운트한다.from google.colab import drivedrive.mount('/content/drive') 인증 절차를 진행한다.from google.colab import authauth.authenticate_user()import gspreadfrom google.auth import defaultcreds, _ = default()gc = gspread.authorize(creds) 스프레드시트 파일을 연다.worksheet = gc.open('스프레드시트 파일명').sheet1 데이터프레임에 불..

팀 프로젝트에서 데이터베이스 관리를 위해 스프레드시트를 사용하던 중, 생성한 사람과 수정한 사람을 자동 기록하고 싶다고 생각했다. 구글에 검색했을 때 바로 원하는 솔루션이 나오지 않아서 GPT에게 물어보았다."구글 스프레드시트에서 생성한 사람이랑 편집한 사람 이름을 함수로 자동으로 들어가게 하고 싶어"   클릭해야 하는 메뉴 경로를 잘못 알려주었지만, 코드는 잘 만들어 주었다. 스프레드시트를 생성해서 열고 상단 메뉴바에서 확장 프로그램 > Apps Script를 클릭한다.그러면 기본 코드 파일이 있는 화면이 나오는데, GPT가 생성해준 코드를 복붙한다..gs 는 Google Apps Script에서 쓰이는 구글의 확장자명 같은데 js와 문법이 비슷했다. 나는 GPT에게 아래와 같은 요구사항을 전달해서 코..

점프 투 FastAPI에서 사용하는 버전FastAPI 0.85.1 버전파이썬 3.10 버전Svelte 3.49.0 버전부트스트랩 5.1.3 버전나는 그냥 최신버전을 사용했다 (아래 참고, 파이썬은 3.11.4)파이썬 가상 환경 (venv)프로젝트별로 사용해야 하는 FastAPI 버전이 다를 수 있으므로, venv를 사용해서 가상환경에 FastAPI를 설치해 사용할 것이다.터미널에서 가상환경 venv 만들기참고: https://wikidocs.net/175214python -m venv myapi# 실제 개발에서는 python -m venv venv로 했다...Scripts 디렉터리 하위로 이동 후 activate 입력 → venv 활성화C:\venvs> cd myapi/ScriptsC:\venvs\mya..

SPSS Modeler 데이터 마이닝 솔루션대용량 데이터로부터 유용한 정보를 쉽고 정확하게 찾아내기 위한 데이터 마이닝 소프트웨어.데이터 로딩, 변환, 정제, 모델링, 그래프, 결과 출력까지 전 과정 수행 가능 SPSS Modeler 특징다양한 데이터 접근 (DB에서 직접 추출 가능)유연한 데이터 핸들링시각화 기능 (도표, 그래프 등)다변화 작업 용이 (History 형태의 스트림으로 직관적)Bulk Loading: 대용량 데이터를 빠르게 DB로 출력 가능다양한 모델링 분석기법 (다양한 분석 알고리즘 보유, 자동 모델링 기능 등)강력한 추가 모듈과 R이용 확장 기능 추가 (텍스트 분석, 소셜네트워크 분석, 개체 분석 등 고급 분석 기법 추가)UI 구성- Stream Canvas- Nodes Palette..

2024-2학기 이화여자대학교 컴퓨터공학과 졸업프로젝트 '캡스톤디자인과창업프로젝트A (01)' 스타트를 진행하며 작성한 글입니다. 3학년 2학기째인 이번 학기에 졸업 프로젝트를 시작했습니다. 저는 현재까지 백엔드 개발, UI/UX 디자인을 주로 담당하였는데, 방학 때는 AI도 조금 더 참여하게 될 것 같습니다.  Mooney(무니)는 개인 일정 및 소비 특성 기반 밀착 관리 가계부 서비스로, 예산 설정과 지출 관리에 어려움을 겪는 사회 초년생을 타깃으로 합니다.팀원들 모두 다양한 이유로 지출 관리와 금융 습관 형성에 대한 니즈를 가지고 있었기에 이와 같은 서비스를 기획하게 되었습니다. 저 같은 경우 평소 예산을 아예 수립하지 않아서 돈 관리가 잘 되지 않는 편이었는데, 서비스 기획을 위해 자료 조사를 진..

처음으로 서버 배포 담당을 맡은 때부터 지금까지, 항상 모든 프로젝트에서 백엔드 서버를 켜두면 서버가 오래가지 못하고 짧게는 몇 시간에서 길면 며칠 후 맛이 가고는 했다. 즉, EC2 인스턴스가 상태 검사 - 인스턴스 연결성 검사에 실패하는 일이 잦았다. 이 문제 상황에서 나는 주로 [인스턴스 재시작]을 시키거나 [인스턴스 중지] + (잠시 기다리고) + [인스턴스 시작]을 수동으로 진행시켜서 해결해왔었다. 많은 경우에 이 방식으로 해결되었지만 종종 해결이 안 되기도 해서... 오래 중지해 두어도 안 돌아오면 인스턴스를 새로 만들었었다. (AMI로 인스턴스 복제하는 법 몰랐을 때는 아예 nginx, docker 다 새로 깔았다...) 메모리 사용량이 높으면 인스턴스가 꺼진다는 말을 읽고 인스턴스 유형을 ..