Hyun's Wonderwall

진행 중인 프로젝트에서 서울특별시 모든 동의 이름과 각 동 간의 식별이 필요했다.임의로 지역마다 ID를 만들기보다 실제 존재하는 동별 식별번호를 사용해야겠다고 생각했다. API를 사용하기보다 파일에서 접근하는 것이 용이할 듯하여 국가기관 데이터를 찾아보았다. 행정표준코드관리시스템의 법정동코드목록조회에서 식별번호와 법정동명, 존재여부로 구성된 파일을 다운받을 수 있었다.https://www.code.go.kr/stdcode/regCodeL.do 법정동코드목록조회 - 행정표준코드관리시스템정상적으로 로그아웃하지 않았거나, 동일 사용자가 로그인한 상태입니다. 강제로 로그인 하시겠습니까? (강제 로그인 시 다시 로그인을 하셔야 합니다.)www.code.go.kr    법정동코드는 앞의 2자리까지 시/도, 다음 3..

데이터 엔지니어링 과목 프로젝트에서 네이버 플레이스의 리뷰 데이터를 수집하는 역할을 맡았다. [크롤링 방식] - 정적 크롤링(Static Crawling), 동적 크롤링(Dynamic Crawling)정적 크롤링: 서버에서 전달받은 고정된 HTML 소스코드에서 필요한 데이터를 파싱하는 방식.동적 크롤링: JavaScript 실행 이후에 생성되는 요소나, 사용자 인터랙션(스크롤, 버튼 클릭 등)을 통해 로드되는 데이터를 처리하는 방식. 일반적인 HTTP 요청만으로는 접근이 불가능한 정보를 수집할 때 사용됨.우리가 수집하려는 네이버 플레이스 리뷰 페이지는 탭 구성과 더보기 버튼 기반의 페이지네이션 구조를 가지고 있어 동적으로 데이터가 로드된다. 따라서 동적 크롤링이 필수적이다. [동적 크롤링을 위한 Pyth..

ACC Ewha 핸즈온 세션StorageAmazon S3데이터를 버킷 내 객체로 저장하는 객체 스토리지 서비스확장성, 데이터 보호, 비용 효율성특징객체별로 제어 (단일 객체 최대 크기 5TB)Amazon S3버킷과 객체로 구성버킷은 최상위 디렉토리객체는 디렉토리 내에 저장되는 파일Amazon S3구성 - 버킷버킷은 S3에 저장된 객체에 대한 컨테이너버킷에는 객체를 무제한으로 저장 가능한 계정당 최대 100개의 버킷 생성 가능AWS 전역에서 단 하나만 존재, 리전과 관계없이 전역적으로 유일한 이름구성 - 객체S3에 저장되는 기본 개체버킷, 키, 버전메타데이터: 객체 관련 정보를 저장하기 위한 이름-값 페어 세트 (이름: 속성의 종류. ex. content type)값: 저장하는 콘텐츠, 임의의 바이트 시퀀..

ACC Ewha 핸즈온 세션 - 공부 내용 정리Route53Route53: AWS의 DNS 서비스. 도메인을 타깃으로 분산 처리 가능.- DNS(네임서버) + port 모니터링(Health Check) + L4(Failover 기능) + GSLB(라우팅 정책)- Route53을 사용해 도메인의 트래픽을 로드 밸런서로 라우팅할 수 있다.- 네임서버는 IP주소와 도메인네임을 연결해주는 역할. / 라우팅: 네트워크에서 경로를 찾는 행위. (Route53가 확인하는 것: 도메인 / 로드 밸런서가 확인하는 것: 지정된 포트, 프로토콜, 상태 확인) DNS- 도메인 네임(aws.amazon.com) -> 네트워크 주소(ip주소): Forwarding DNS, 그 반대는 Reverse DNS- root DNS, T..

2024-2학기 이화여자대학교 컴퓨터공학과 졸업프로젝트 '캡스톤디자인과창업프로젝트A (01)' 스타트를 진행하며 작성한 글입니다. 3학년 2학기째인 이번 학기에 졸업 프로젝트를 시작했습니다. 저는 현재까지 백엔드 개발, UI/UX 디자인을 주로 담당하였는데, 방학 때는 AI도 조금 더 참여하게 될 것 같습니다.  Mooney(무니)는 개인 일정 및 소비 특성 기반 밀착 관리 가계부 서비스로, 예산 설정과 지출 관리에 어려움을 겪는 사회 초년생을 타깃으로 합니다.팀원들 모두 다양한 이유로 지출 관리와 금융 습관 형성에 대한 니즈를 가지고 있었기에 이와 같은 서비스를 기획하게 되었습니다. 저 같은 경우 평소 예산을 아예 수립하지 않아서 돈 관리가 잘 되지 않는 편이었는데, 서비스 기획을 위해 자료 조사를 진..

처음으로 서버 배포 담당을 맡은 때부터 지금까지, 항상 모든 프로젝트에서 백엔드 서버를 켜두면 서버가 오래가지 못하고 짧게는 몇 시간에서 길면 며칠 후 맛이 가고는 했다. 즉, EC2 인스턴스가 상태 검사 - 인스턴스 연결성 검사에 실패하는 일이 잦았다. 이 문제 상황에서 나는 주로 [인스턴스 재시작]을 시키거나 [인스턴스 중지] + (잠시 기다리고) + [인스턴스 시작]을 수동으로 진행시켜서 해결해왔었다. 많은 경우에 이 방식으로 해결되었지만 종종 해결이 안 되기도 해서... 오래 중지해 두어도 안 돌아오면 인스턴스를 새로 만들었었다. (AMI로 인스턴스 복제하는 법 몰랐을 때는 아예 nginx, docker 다 새로 깔았다...) 메모리 사용량이 높으면 인스턴스가 꺼진다는 말을 읽고 인스턴스 유형을 ..

TDD, 단위 테스트 TDD: 테스트 주도 개발 (Test-Driven Development)작은 단위의 테스트 케이스를 작성하고 이를 통과하는 구현 코드를 추가하는 단계를 반복. TDD의 절차실패하는 테스트 코드 작성테스트를 통과하는 프로그램 작성 (테스트를 통과하는 최소한의 간단한 코드)코드 리팩토링단위 테스트: 하나의 모듈(기능/메서드)을 기준으로 독립적으로 진행되는, 최소 단위의 테스트. 단위 테스트 예시구현할 기능의 테스트코드를 작성단위 테스트를 통과하기 위한 코드를 작성테스트 통과 확인(=기능 구현 완료). 이후 리팩토링을 진행한다.TDD의 Given-When-Then (주석으로 표시하고는 함)Given : 테스트를 위해 필요한 상황 준비When : 테스트하는 메서드 실행Then : 테스트 결..

아이디/이메일과 비밀번호 사용하는 일반 JWT 로그인 구현해보았고Redis를 쓰지 않고 리프레시없이 액세스 토큰만을 사용하는 카카오 로그인 구현해보았는데이제 Redis를 쓰는 소셜 로그인을 해야 한다..! 소셜 로그인이 너무 힘든 여정이어서 다 정리된 글을 찾기 어려워서 메모를 하며 진행해보려 한다 https://do5do.tistory.com/20 [Spring] Spring Security + OAuth2 + JWT이번 개인 프로젝트에서 Spring Security를 활용하여 OAuth2 로그인을 구현했다. Spring Security의 OAuth2를 활용하는 방법과 JWT 발급까지 모두 정리해보려고 한다.참고) 개발 환경은 Spring boot 3, Java 17을 사do5do.tistory.com..

사용하던 AWS 계정이 프리티어가 만료되었는데, 프로젝트를 12월까지 올려놓기로 해서 새 AWS 계정으로 리소스들을 이전하는 절차를 진행하였다. (프로젝트 구경하기 ➡ https://songpin.kr/) 통째로 옮기는 방식이 아니고, 백업본을 다운로드받아 다시 올리는 식이다. 열심히 작성했었는데 글을 날려버려서 간단하게 적고, 참고한 글들 링크를 아래에 달아둔다. A계정에서 B계정으로 리소스들을 옮기고자 한다. (*VPC는 새로 세팅했다.) EC2 AMI로 옮기고, 탄력적 IP 전송하기1. A계정에서 EC2를 AMI로 만들어 B계정에 AMI 공유를 해주고, B계정에서 AMI로 인스턴스 생성한다. 2. A계정에서 탄력적 IP "전송 활성화"를 하고 B계정에서 탄력적 IP "전송 수락", 새로 만든 인스턴..

[Spring Boot] 백엔드 서버 배포방법 총정리 -  AWS EC2, RDS + Docker + GitHub Actions로 CI/CD🌿0. 시작하기 전에이 글은 AWS EC2, RDS + GitHub Actions + Docker 기술을 사용해 Spring Boot 프로젝트를 배포하는 방법을 차근차근 안내한다. 필자가 야매로 터득한 방법으로, 백엔드 서버를 빠르게 배포하는 방법을 설명하는 데 초점을 맞추고 있다. HTTP 배포하는 법 중심으로 다루며, HTTPS를 적용하는 방법 또한 글 후반부에 소개한다.백엔드 개발자가 혼자 배포를 연습하거나, 프론트엔드 로컬과 통신할 때나, 프론트엔드와 백엔드를 같은 서버로 배포할 때는 HTTP여도 문제없다. 다만 프론트엔드와 백엔드를 따로 배포하는 경우(=3..