전체 글227 [머신러닝] 회귀분석 - L1, L2규제 ((문제) 보스톤 집값 예측, 대한민국 육군 몸무게 예측) 보스톤 집값 예측패키지로딩from sklearn.model_selection import train_test_splitfrom sklearn.linear_model import LinearRegression, Lasso, Ridge, ElasticNet # LinearRegression: 규제가 적용되지 않은 선형회귀 모델from sklearn.preprocessing import StandardScalerfrom sklearn.metrics import mean_squared_errorimport numpy as npimport pandas as pd데이터 로드 및 확인boston = pd.read_csv('./dataset/HousingData.csv')print(boston.shape)display.. 2023. 11. 20. [머신러닝] 회귀분석 - 다중공선성, L1 규제 ,L2규제 다중공선성 예시패키지 로딩from statsmodels.datasets.longley import load_pandas # 통계관련 패키지import pandas as pdimport seaborn as snsimport matplotlib.pyplot as pltstatsmodels 은 파이썬에서 통계 모델링을 위한 기능을 제공하는 라이브러리이며, Longley 데이터셋은 공선성이 매우 높은 것으로 알려진 미국 거시경제 지표가 포함 되어있다.load_pandas() 의 Dataset 객체 속성 - data: DataFrame 객체로 전체 데이터 반환 - endog : Series 객체로 종속변수 값 반환 - exog: DataFrame 객체로 독립변수 값 반환변수 설명독립변수 : GNPDFEL - GN.. 2023. 11. 20. [머신러닝] 회귀분석 - 데이터 전처리(원핫 인코딩, 라벨 인코딩, 데이터 스케일링) 데이터 전처리 데이터를 분석 및 처리에 적합한 형태로 만드는 과정을 총칭한다.우수한 예측 분석 결과는 잘 정돈된 데이터에서 출발한다. 정교한 예측 분석 모델을 얻기 위해서는 수집된 데이터에 누락된 부분이나, 오차, 또는 데이터 처리에 있어서 가공할 부분은 없는지 확인해야 한다.One-hot Encoding(원-핫 인코딩)단 하나의 값만 True 이고 나머지는 모두 False 인 인코딩을 의미한다. 모든 범주형 변수를 정수인 0,1 의 이진형 벡터로 표시하면서 변수를 열거하고 해당하지 않는 모든 항목은 0으로 표시, 해당하는 항목은 1로 표시한다.데이터 형태는 0,1 로 이루어져 있기 때문에 컴퓨터가 인식하고 학습하기에 용이하다.입력값으로 2차원 데이터가 필요하다. 인코딩 결과가 밀집 행렬(Dense Ma.. 2023. 11. 20. [머신러닝] 지도학습 알고리즘 - 회귀 분석 Regression Analystic 회귀 분석 Regression Analystic매개변수 모델을 이용하여 통계적으로 변수들 사이의 관계를 추정하는 분석방법 독립변수가 종속변수에 미치는 영향을 확인하고자 사용한다. (연속적인 값을 갖는 연속변수를 예측하는데 주로 활용) 단순 회귀분석: 하나의 종속 변수와 하나의 독립변수 사이의 관계를 분석 다중 회귀분석: 하나의 종속 변수와 여러 독립변수 사이의 관계를 규명 선형관계 : 독립변수가 종속변수에 영향을 준다면 두 변수 사이에 선형관계가 있다는 것이다.회귀분석과 모델독립변수x 와 종속변수 y 데이터가 주어졌을 때 두 변수의 관계를 설명하 수 있는 y = wx+b 선형관계를 찾는 것을 말한다.최소제곱법을 통해 오차를 최소화 할 수 있는 w와 b를 찾는다. (최소제곱법: 회귀선과 관측값들의 잔차를 .. 2023. 11. 16. [머신러닝] 머신러닝 개요 AI 란 컴퓨터에서 음성 및 작성된 언어를 보고 이해하고 번역하고 데이터를 분석하고 추천하는 기능을 포함하여 다양한 고급 기능을 수행할 수 있는 일련의 기술을 의미한다.자세한 내용은 아래 링크를 참고.https://cloud.google.com/learn/what-is-artificial-intelligence?hl=ko 인공지능(AI)이란 무엇인가요? | Google Cloud인공지능이란 무엇인가요? 인공 신경망이란 무엇인가요? AI의 이점, 사용 사례, 예시cloud.google.com그 안에서 머신러닝과 딥러닝으로 인공지능은 나뉘게 된다.머신러닝은 데이터 기반 미래 예측/판별 하는 것을 가리키며, 딥러닝은 신경망 인공적 구현하는 것을 가리킨다.머신러닝머신러닝은 우선 크게 지도학습과 비지도 학습으.. 2023. 11. 16. [데이터 분석] Pandas 문제 실습 - 4 서울시 공공자전거 대여소 정보 분석 대여소 정보 데이터 읽기import pandas as pdplace_df= pd.read_excel('서울특별시 공공자전거 대여소 정보(19.12.9).xlsx', skiprows= 0, engine='openpyxl')place_df.head()NA 값이 몇 개인지 확인하기import numpy as np place_df.isna().sum()place_df.shapeisna().sum() 을 통해 na값이 존재 한다는 것을 알게 되었다.place_df[place_df['대여소ID'].isna()] # 불린인덱싱 통해불린 인덱싱을 이용하여 해당 컬럼이 어디에 존재해 있는지 확인한 결과 가장 마지막 행에 합계로 들어가 있었다.place_df = place_df.drop(1540)# place_df.dro.. 2023. 11. 16. [데이터 분석] Pandas 문제 실습 - 3 품목별 수출입실적 분석 엑셀을 읽기 위해서는 따로 다운 받을 패키지가 존재한다."!pip install openpyxl 데이터 읽어오기import pandas as pddf = pd.read_excel('import_export.xls', skiprows= [0,1,2,3], engine='openpyxl')df.head()skiprow() 의 이유: 표를 만들기 위해 사용된 행 서식을 제거불필요한 행 삭제 및 인덱스 초기화0 , 485 행 : '총계', '설명' 에 해당하는 row 삭제df = df.drop(0) # 0행만# df.drop(len(df), inplace= True) # 마지막행import numpy as npdf.index = np.arange(485)df.head()# df = df.reset_index(d.. 2023. 11. 16. [데이터 분석] Pandas 문제 실습 - 2 국가별 알콜 섭취량 데이터 분석 데이터 분석에 필요한 패키지 다운import pandas as pdimport numpy as nppd.set_option('display.max_columns',None) # 출력셀에 표시될 수를 지정 # 출력 셀에 모든 열 출력pd.set_option('display.max_rows',None) # 출력셀에 표시될 수를 지정 # 출력 셀에 모든 행 출력0-1.데이터 읽어오기df = pd.read_csv('drinks.csv',na_filter=False)data = pd.read_csv('drinks.csv')교수님의 코드와 내 코드가 섞여 있을 예정. 내가 읽은 데이터는 df로, 교수님의 예시를 data로 구분 컬럼명 한글로 변경data.columns = ['국가','맥주','증류주','와인','알.. 2023. 11. 16. [데이터 분석] Pandas 실습 문제 - 1 (시애틀 강수량 데이터 분석) 데이터 로딩import pandas as pdimport numpy as np필요한 패키지 로딩df = pd.read_csv('Seattle2014.csv')pd.read_* 을 통해 csv 파일을 읽어온다.1-1. 데이터 모양 및 정보 확인df.shape(365,17) # 365행 17열로 구성되어 있다.(1년간의 시애틀 분석이므로 365행이다.)df.head()df.info()df.isna().sum()결측치 행이 존재하는지 확인한다. isna() 는 논리형의 값으로 나오므로 sum() 을 하여 True 의 값을 합한다. 필요하지 않은 컬럼 삭제 (STATION, STATION_NAME)df.drop(['STATION','STATION_NAME'],axis=1,inplace=True) # axis=1.. 2023. 11. 15. 이전 1 ··· 17 18 19 20 21 22 23 ··· 26 다음
