Hyun's Wonderwall

보호되어 있는 글입니다.

[Chapter 02] 사이킷런으로 시작하는 머신러닝1. 사이킷런 소개와 특징사이킷런(scikit-learn): 파이썬 머신러닝 라이브러리.import sklearn2. 붓꽃 품종 예측하기 붓꽃의 특징을 기반으로 품종을 분류하려고 한다. 분류는 지도학습 방법 중 하나.- 붓꽃 데이터 피처: Sepal length, Sepal widtn, Petal length, Petal width- 붓꽃 데이터 품종(레이블): Setosa, Vesicolor, Virgiinica (3종류)*피처: 특징. 학습 모델에서 제공하는 입력 변수. 단순 선형 회귀에서의 X변수.*레이블(label) 데이터: 분류 결정값. 기계학습으로 예측하는 실제 항목. y=f(X)에서 y.*지도학습: 학습을 위한 다양한 피처와 레이블 데이터(..

[Chapter 01] 파이썬 기반의 머신러닝과 생태계 이해1. 머신러닝의 개념머신러닝(Machine Learning): 데이터를 기반으로 숨겨진 패턴을 학습하고 결과를 예측하는 알고리즘 기법.머신러닝 알고리즘은 데이터를 기반으로 통계적인 신뢰도를 강화하고 예측 오류를 최소화하기 위한 다양한 수학적 기법을 적용하여 데이터 내의 패턴을 스스로 인지하고 신뢰도 있는 예측 결과를 도출해 낸다.데이터 분석 영역은 재빠르게 머신러닝 기반의 '예측 분석(Predictive Analysis)'으로 재편되고 있다.머신러닝의 분류지도학습(Supervised Learning): 크게 회귀(regression)와 분류(classification) 두 유형으로 나뉘어짐. (+ 추천 시스템, 시각/음성 감지/인지, 텍스트 분석..

AIchemist 과제 포스팅을 날려버리는 사태로 분량이 적습니다..😢 07. 문서 군집화 소개와 실습(Opinion Review 데이터 세트)문서 군집화(Doucment Clustering) : 비슷한 텍스트 구성의 문서를 군집화하는 것.동일 군집에 속하는 문서를 같은 카테고리 소속으로 분류할 수 있음. *텍스트 분류 기반 문서 분류와의 차이 : 텍스트 기반 문서 분류는 사전에 결정 카테고리 값을 가진 학습 데이터 세트가 필요함. 문서 군집화는 학습 데이터 세트가 필요없는 비지도학습 기반으로 동작함. 텍스트 기반 문서 군집화를 적용하는 실습 진행! Opinion Review 데이터 세트를 이용한 문서 군집화 수행하기내려받은 압축 파일의 topics 디렉터리 안에 리뷰 텍스트 파일들이 있음.각 파일은 ..

[Chapter 06] 차원 축소 1. 차원 축소 개요 차원 축소: 매우 많은 피처로 구성된 다차원 데이터 세트의 차원을 축소해 새로운 차원의 데이터 세트를 생성하는 것. 일반적으로 차원이 증가할수록 데이터 포인트 간의 거리가 기하급수적으로 멀어지게 되고 희소한(sparse) 구조를 가지게 된다. 수백 개 이상의 피처로 구성된 데이터 세트의 경우, 상대적으로 적은 차원에서 학습한 모델이 예측 신뢰도가 높다. (피처가 많을 경우 개별 피처간에 상관관계가 높을 가능성이 큰데, 선형 회귀와 같은 선형 모델에서는 입력 변수 간의 상관관계가 높으면 다중 공선성 문제로 모델의 예측 성능이 저하된다) 매우 많은 피처를 갖는 다차원 데이터 세트를 차원 축소해 피처 수를 줄이면 더 직관적으로 데이터를 해석할 수 있다. ..

캐글 주택 가격: 고급 회귀 기법 데이터 세트로 회귀 분석을 더 심층적으로 학습해보자 https://www.kaggle.com/competitions/house-prices-advanced-regression-techniques/ House Prices - Advanced Regression Techniques | Kaggle www.kaggle.com 이 데이터는 79개의 변수로 구성되어있고, 미국 아이오와 주의 에임스(Ames) 지방의 주택 가격 정보를 가지고 있다. 각 피처에 대한 설명은 위 링크에 있음 성능 평가는 섹션9와 동일한 RMSLE(Root Mean Squared Log Error)를 기반으로 한다. 가격이 비싼 주택일수록 예측 결과 오류가 전체 오류에 미치는 비중이 높으므로 이것을 상쇄..

[Chapter 05] 회귀 9. 회귀 실습 - 자전거 대여 수요 예측 캐글 자전거 대여 수요 예측 경연 2011.1~2012.12 동안 날짜/시간, 기온, 습도, 풍속 등의 정보를 기반으로 1시간 간격 동안의 자전거 대여 횟수가 기재되어 있다. 데이터 세트의 주요 칼럼은 아래와 같고 이 중 결정 값은 맨 마지막 칼럼인 count(대여 횟수를 의미)이다. datetime: hourly date + timestamp season: 1=봄, 2=여름, 3=가을, 4=겨울 holiday: 1=토, 일요일의 주말을 제외한 국경일 등의 휴일, 0=휴일이 아닌 날 workingday: 1=토, 일요일의 주말 및 휴일이 아닌 주중, 0=주말 및 휴일 weather: 1=맑음 2=안개, 안개+흐림 3=가벼운 눈, 가벼..

[Chapter 05] 회귀 1. 회귀 회귀(Regression) 분석: 갈톤이 수행한 연구에서 유래 (사람의 키는 평균 키로 회귀하려는 경향을 가진다는 자연의 법칙) 회귀 분석: 데이터 값이 평균과 같은 일정한 값으로 돌아가려는 경향을 이용한 통계학 기법 회귀: 여러 개의 독립변수와 한 개의 종속변수 간의 상관관계를 모델링하는 기법을 통칭 (모델링하고 예측) Y=W1*X1+W2*X2+...+Wn*Xn이라는 선형 회귀식 Y: 종속변수 X1, ..., Xn은 독립변수 W1, ..., Wn은 독립변수의 값에 영향을 미치는 회귀 계쑤(Regression coefficients) 독립변수는 피처에 해당되며 종속변수는 결정 값이다. 머신러닝 회귀 예측의 핵심은 주어진 피처와 결정 값 데이터 기반에서 학습을 통해 ..