티스토리

김천종

검색하기

블로그 홈

김천종

thousandbell.tistory.com/m

김천종 님의 블로그입니다.

구독자: 0

방명록 방문하기

주요 글 목록

피벗 테이블(Pivot_table) 엑셀에서 사용하는 피벗테이블과 유사하다. 피벗테이블은 (행 인덱스, 열 인덱스, 데이터 값, 데이터 집계함수) 로 이루어진다. ### 피벗 테이블 ### 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 ### 피벗 테이블 ### # pivot_table() 함수 사용 # pdf1 = pd.pivot_table(df, # 피벗할 데이터프레임 index = 'class', # 행 인덱스 columns = 'sex', # 열 인덱스 values = 'age', # 데이터로 사용될 열 aggfunc = ['mean', 'sum']) # 데이터 집계 함수 print(pdf1) ''' mean sum sex female male female male class First .. 공감수 0 댓글수 0 2022. 11. 10.
그룹 연산 복잡한 데이터를 기준에 따라 그룹화해서 연산하는 것은 좋은 방법이다. 특정 기준을 적용해서 그룹으로 분할해서 처리하는 것을 그룹 연산이라고 부른다. 1 2 3 4 ### 그룹 연산 ### # 1단계. 분할 : 데이터를 특정 조건에 따라 분할 # 2단계. 적용 : 데이터를 필터링, 집계하는데 필요한 메소드 적용 # 3단계. 결합 : 데이터 처리 결과를 하나로 결합 cs ## 그룹 객체 만들기 ## 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 6.. 공감수 0 댓글수 0 2022. 11. 10.
필터링 데이터프레임의 데이터 중에서 특정한 조건을 만족하는 원소만 따로 추출하는 것 ## 불린 인덱싱 ## 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 ### 필터링 ### ## 불린 인덱싱 ## # 각 원소에 대해 참, 거짓을 판별해서 불린 값으로 # 구성된 시리즈를 반환함, 이때 참인 데이터만 따로 선택 # 조건식(, == 등) 사용 # titanic = sns.load_dataset('titanic') mask1 = (titanic.age >=10) & (titanic.age 공감수 0 댓글수 0 2022. 11. 9.
함수 매핑 시리즈, 데이터 프레임의 값, 열, 행, 데이터프레임 전체에 함수를 일대일로 대응시켜서 연산을 수행할 수 있다. 1 2 3 4 5 ### 함수 매핑 ### # 데이터 프레임의 원소에 특정 함수를 일대일로 대응시킨다. # 판다스 기본 함수로 처리하기 힘든 연산을 # 데이터프레임에 적용하는 것이 가능하다. # apply() 메소드 사용 # cs ## 원소에 함수 매핑 ## # 시리즈 원소에 함수 매핑 # 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 6.. 공감수 0 댓글수 1 2022. 11. 9.
데이터 전처리 - 시계열 데이터 시계열 데이터 - 시간에 관련된, 시간을 표시할 수 있는 데이터 판다스에서 시계열 데이터 표현에 자주 이용되는 두 가지 유형이다. 1. 두 시점 사이의 기간을 나타내는 Period 2. 특정한 시점을 기록하는 Timestamp ### 시계열 객체로 변환 ### 1 2 3 # 많은 날짜, 시간 데이터는 별도의 시간 자료형으로 기록된 것이 # 아니라 문자열 또는 숫자형으로 기록된 경우가 많다. # 따라서 이러한 데이터를 시계열 객체로 변환해 주어야 한다. cs ## 문자열을 Timestamp로 변환 ## 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 4.. 공감수 0 댓글수 0 2022. 11. 8.
데이터 전처리 - 정규화 데이터셋에 변수들의 숫자 데이터 크기의 상대적 차이 떄문에 머신러닝 분석 결과가 달라질 수 있다. ex) A변수는 0 ~ 10000 의 범위를 가지로 B변수는 0~10의 범위를 가질 때 상대적으로 큰 값인 A변수가 머신러닝 분석 결과에 더 큰 영향을 미친다. 따라서 이러한 데이터의 상대적인 크기 차이를 제거해야한다. 데이터를 각 열에 속하는 동일한 크기 기준으로 나눈 비율로 표현하는 것을 정규화(normalization)이라고 한다. 정규화를 거치면 데이터의 범위는 0~1 or -1~1 이 된다. ### 정규화 방법 1 ### 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 #.. 공감수 0 댓글수 0 2022. 11. 8.
데이터 전처리 - 범주형(category) 데이터 처리 숫자형으로 연속된 데이터가 있을 때 그 데이터를 그대로 사용하는 것보다 위의 그림처럼 일정한 구간(bin)으로 나눠서 데이터를 사용하는 것이 더 효울적인 경우가 있다. 이렇게 연속 변수를 일정한 bin으로 나누고, 각 구간을 이산 변수로 변환하는 과정을 구간 분할(bining)이라고 한다. ### 구간 분할 ### 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 ##### 범주형 데이터 처리 ##### ### 구간 분할 ### # cut() 메소드 사용 # # histigram() 함수를 통해 경계값을 구한다 # count, bin_dividers = np.histogram(df['horsepowe.. 공감수 0 댓글수 0 2022. 11. 8.
데이터 전처리 - 데이터 표준화 데이터셋은 여러 사람, 국가에서 만들어지기 때문에 단위, 대소문자, 약칭 등 여러가지 형태로 표현된다. 잘 정리되어 있어 보이는 데이터셋이라도 서로 다른 단위가 섞여 있거나 같은 대상을 여러 형식으로 표현한 경우가 존재한다. 이러한 경우를 표준화 시켜서 일관성을 갖게 해야 좋은 품질의 데이터를 얻을 수 있다. ### 단위 환산 ### 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 import pandas as pd import numpy as np ##### 데이터 표준화 ##### ### 단위 환산 ### # 하나의 데이터 셋 안에 있는 데이터들은 같은 측정 단위를 가질 필요가 있다 # # 외국에서 사용하.. 공감수 0 댓글수 0 2022. 11. 8.
데이터 전처리 - 중복 데이터 처리 동일한 관측값이 2개 이상 중복되는 경우 븐석 결과를 왜곡하기 때문에 삭제해주어야 한다. ### 중복 데이터 확인 ### 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 import pandas as pd ##### 중복 데이터 처리 ##### ### 중복 데이터 확인 ### # duplicated() 메소드 사용 # df = pd.DataFrame({'1열': ['a', 'a', 'b', 'a', 'b'], '2열': [1, 1, 1, 2, 2], '3열': [1, 1, 2, 2, 2]}) print(df) ''' 1열 2열 3열 0 a .. 공감수 0 댓글수 0 2022. 11. 6.
데이터 전처리 - 누락 데이터 처리 데이터 분석의 정확도는 분석 데이터의 품질에 의해 좌우된다. 데이터의 품질을 높이기 위해 누락 데이터, 중복 데이터, 오류 등을 수정하고 분석 목적에 맞게 데이터 셋을 변화시키는 것을 데이터 전처리 라고 한다. ### 누락 데이터 확인 ### 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 9.. 공감수 0 댓글수 0 2022. 11. 6.
Matplotlib 파이 차트 그리기 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 ### 파이 차트 ### # plot(kind='pie') # 원형 그래프, 데이터 값을 조각의 크기로 나타낸다 # df['count'] = 1 #개수를 세기 위한 'count'열 추가 df_origin = df.groupby('origin').sum() # origin 데이터를 기준으로 그룹화 df_origin.index=['USA','EU','JPN'] df_origin['count'].plot(kind='pie', autopct='%1.1f%%', startangle=10, colors=['red', 'green', 'yellow']) # 파이 차트 그리기 # autopct='%1.1f%%' : 퍼센트 % 표.. 공감수 0 댓글수 0 2022. 11. 5.
Matplotlib 산점도, 버블차트 그리기 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 import pandas as pd import matplotlib.pyplot as plt ### 산점도 ### # plot(kind='scatter') # 산점도는 서로 다른 두 변수 간의 관계를 나타낸다 # # 데이터 두 개를 x, y축에 놓고 데이터가 존재하는 좌표를 찾아서 점으로 표시한다 # plt.style.use('default') df = pd.read_csv("C:/Users/ZenBook/Desktop/code/sample/part4/auto-mpg.csv") df.columns=['mpg','cylinders','displacement','horsepower',4,5,6,7,8] # .. 공감수 0 댓글수 0 2022. 11. 5.
Matplotlib 히스토그램 그리기 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 import pandas as pd import matplotlib.pyplot as plt ### 히스토그램 ### # plot(kind='hist') # 히스토그램은 변수가 하나인 단변수 데이터의 빈도수를 그래프로 표시한다 # # x축을 같은 크기로 나누고 각 구간에 속하는 데이터 개수(빈도)를 y축에 표시한다 # df = pd.read_csv("C:/Users/ZenBook/Desktop/code/sample/part4/auto-mpg.csv") df.columns=['mpg',1,2,3,4,5,6,7,8] # 데이터프레임의 열 이름을 'mpg',1,2,3...으로 바꿈. plt.style.use('classic') df['.. 공감수 0 댓글수 0 2022. 11. 5.
Matplotlib 면적 그래프, 막대 그래프 그리기 1 2 3 4 5 6 7 8 9 10 11 12 13 ### 면적 그래프 ### # plot(kind='area') # col_year = list(map(str, range(1970, 2018))) df_4 = df_seoul.loc[['충청남도', '경상북도', '강원도', '전라남도'], col_year] df_4 = df_4.transpose() plt.style.use('ggplot') df_4.index = df_4.index.map(int) df_4.plot(kind='area', stacked=False, alpha=0.2, figsize=(10,5)) # 면적그래프 그리기, stacked=False : 그래프가 겹쳐진다. # alpha = 0.2 : 투명도 조절, 범위는 0~1 Color.. 공감수 0 댓글수 0 2022. 11. 5.
Matplotlib 그래프 그리기 기초, 선 그래프 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 import pandas as pd import matplotlib.pyplot as plt #matplotlib 라이브러리를 plt 이름으로 불러온다. # matplotlib 한글 폰트 오류 문제 해결 # matplotlib 에서 한글 폰트를 지원하지 않아 한글이 깨진다. 폰트를 지정해줘야 한글이 잘 출력된다. from matplotlib import font_manager, rc font_path = "C:\Windows\Fonts\gulim.ttc" #폰트파일의 위치 font_name =.. 공감수 0 댓글수 1 2022. 11. 4.
[Pandas]데이터 구조, 분석 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119import pandas as pd ###데이터 정보 확인####데이터 미리 살펴보기#data= pd.read_csv("C:/Users/ZenBook/Desktop/code/sample/part3/auto-mpg.csv")print(data.head()) #head(.. 공감수 0 댓글수 0 2022. 11. 3.
[Pandas]데이터 저장하기 12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758import pandas as pd ###데이터 저장하기####CSV 파일로 저장##to_csv() 메소드 사용# route = 'C:/Users/ZenBook/Desktop/code/sample/part2'data = {'이름':['한건희', '안재민', '심지민', '이영제'], '나이':[11, 13, 25, 98], '직업':['학생', '교사', '교수', '가수']}df = pd.DataFrame(data)df.set_index('이름', inplace= True)print(df) #df.to_csv('C.. 공감수 0 댓글수 0 2022. 11. 3.
[Pandas]웹에서 데이터 가져오기 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 import pandas as pd ###웹에서 가져오기### #HTML 웹 페이지에서 표 가져오기# #read_html() 메소드 사용, html 웹페이지에 있는 표를 데이터프레임으로 변환한 후 리스트의 형태로 반환한다# #pip install lxml# #터미널에서 lxml을 설치해야 한다# html = pd.read_html('C:/Users/ZenBook/Desktop/code/sample/part2/sample.html') print(html) print(len(html)) ##sample.ht.. 공감수 0 댓글수 0 2022. 11. 3.
[Pandas]외부 파일 불러오기 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 import pandas as pd ###외부 파일 불러오기### ''' 파일 포멧 Reader Writer CSV read_csv to_csv JSON read_json to_json HTML read.. 공감수 0 댓글수 0 2022. 11. 2.
[Pandas]데이터프레임 연산 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 import pandas as pd ###데이터프레임 연산### #데이터프레임의 연산은 시리즈의 연산의 확장이라고 생각하면 된다# #데이터프레임과 숫자의 연산# a = pd.DataFrame({'c0':[100, 50, 30], 'c1':[30, 50, 50], 'c2':[100, 20, 70]}, index=['r0', 'r1', 'r2']) a_add = a + 10 print(a_add) ''' c0 c1 c2 r0 110 40 110 r1 60 60 30 r2 40 60 80 ''' #데이터프레임과 데이터프레임의 연산# a = pd.DataFrame({'.. 공감수 0 댓글수 0 2022. 11. 2.
[Pandas]시리즈 연산 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 import pandas as pd ###시리즈 연산### #시리즈와 숫자의 연산# st1=pd.Series({'국어':100, '영어':50, '수학':70}) print(st1) percentage = st1/100 print(percentage) ''' 국어 1.0 영어 0.5 수학 0.7 dtype: float64 ''' #시리즈와 시리즈의 연산# #시리즈와 시리즈의 값.. 공감수 0 댓글수 0 2022. 11. 2.
[Pandas]인덱스 활용 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 import pandas as pd ###인덱스 활용#### #특정 열을 행 인덱스로 설정하기# #set_index() 메소드 사용# data = {'이름':['이태규', '한건희', '안재민'], '수학':[100, 200, 50], "토익":[500, 400, 600]} df = pd.DataFrame(data.. 공감수 0 댓글수 0 2022. 11. 2.
[Pandas]데이터프레임 import pandas as pd ##pandas를 pd라는 이름으로 불러옴 ## 데이터프레임은 열, 행을 가지는 자료구조. ## 열은 딕셔너리의 key이고 행은 정수형이다. dict_data = {'열0':[1,2,3], "열1":[4,5,6], '열2':[7,8,9], '열3':[10,11,12]} #리스트를 값으로 가지고 key가 열X인 딕셔너리 정의 df = pd.DataFrame(dict_data) print(type(df)) print(df) dict_data = [[1,2,3], [4,5,6], [7,8,9]] #2차원 배열(리스트) df = pd.DataFrame(dict_data, columns= ['c0', 'c1', 'c2'], index= ['r0', 'r1', 'r2']) '''.. 공감수 0 댓글수 0 2022. 10. 27.
[Pandas]시리즈 import pandas as pd ##pandas를 pd라는 이름으로 불러옴 a = {'국어':80, '영어':830, '수학':500} print(a) sr = pd.Series(a) ##Series 라는 pandas 클래스를 사용함. a 리스트를 series로 변경 print(type(sr)) print('\n') print(sr) ##Series는 정수 인덱스, 이름 인덱스, 값으로 구성됨. 정수 인덱스는 0부터 시작하는 배열의 위치랑 같음. ##이름 인덱스는 딕셔너리에서 인덱스 이름과 같음. a = ['123', '456', '김규만', '김천종'] print(a) sr= pd.Series(a) ##리스트를 시리즈로 바꿔서 sr에 초기화 시켰음. print(sr) ind = sr.index ##.. 공감수 0 댓글수 1 2022. 10. 27.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.