안녕하세요. PSYda입니다.

이번 포스팅에서는 DataFrame의 집계(그루핑) 함수에 대해 알아보겠습니다.

집계함수란 데이터를 몇몇의 집단으로 나누어 집단간 평균, 합계 등의 연산을 수행하는 함수를 얘기합니다.
예를 들어 고등학교 학생 전체 성적 데이터가 있을 경우 반별로 영어성적에 대한 평균을 내거나, 과목별로 학생들의 성적에 대한 평균을 내는 것과 같습니다.
예와 같이 집계함수를 적용하기 위해서는 3가지 값이 필요하며, 그 값은 그룹할 기준(반별 또는 과목별), 연산을 수행할 값(영어성적), 연산 함수(평균) 입니다.

이번 포스팅에서 소개할 내용을 요약하면 아래와 같습니다.

실습에 사용한 데이터는 fifa19에 등장하는 축구선수들의 능력치 데이터입니다.
데이터는 아래에서 다운로드 받을 수 있습니다.

9. DataFrame의 집계함수

DataFrame을 집계할 수 있는 두 개의 함수

• groupby
• pivot_table

9.1 groupby 함수

groupby 함수를 사용한 집계 연산은 두 단계로 이루어짐

• DataFrame을 그룹별로 나누는 단계
• 나누어진 그룹에서 집계 함수(sum, mean, max 등)를 수행하는 단계

Library import

import pandas as pd
from pandas import Series , DataFrame
import numpy as np

player = pd.read_csv('data/Ch10_1_fifaStats2.csv')
player.head()

9.1.1 그룹핑 한줄로 수행하기

팀별로 선수의 능력치에 대한 평균값 확인(최상위 5개 팀 조회)

spByTeam = player.groupby('Club').mean()
spByTeam.sort_values(by = 'LongPassing', ascending = False).head()

특정 하나의 컬럼만 조회하기(Series로 결과 출력됨)
팀별로 Shotpower의 평균을 계산하여 평균값이 제일 높은 5개 팀 조회

spByTeam2 = player.groupby('Club')['ShotPower'].mean()
spByTeam2.sort_values(ascending = False).head()

Club
Juventus          68.000000
Ajax              67.400000
Olympiacos CFP    67.000000
SL Benfica        66.714286
Lazio             66.687500
Name: ShotPower, dtype: float64

특정 두 개 이상의 컬럼 조회(DataFrame으로 결과 출력됨)
팀별로 롱패스와 드리블 능력치 평균값 계산하여 최상위 5개 팀 조회

spByTeam3 = player.groupby('Club')[['LongPassing', 'Dribbling']].mean()
spByTeam3.sort_values(by = 'LongPassing', ascending = False).head()

두 개 이상의 변수로 그룹핑(Multi Index로 결과 조회됨)
팀 + 나라로 그룹핑하여 롱패스와 드리블 능력치 평균값 최상위 5개 팀+나라 조회

spByTeam4 = player.groupby(['Nationality','Club'])[['LongPassing', 'Dribbling']].mean()
spByTeam4.sort_values(by= 'LongPassing', ascending = False).head()

9.1.2 groupby 원리 파헤치기

9.1.2.1 groupby 함수를 이용하면 Groupby 객체가 생성됨

playerGroup = player.groupby('Club')
playerGroup

<pandas.core.groupby.generic.DataFrameGroupBy object at 0x000002211EE1F940>

groupby 객체에서 groups 함수를 이용해 그룹별로 나누어진 값을 dict형태(key와 values)로 확인 가능

playerGroup.groups

{' SSV Jahn Regensburg': Int64Index([ 4587,  4840,  5260,  5335,  6184,  6783,  6917,  6954,  7184,
              7195,  7633,  7657,  7867,  8337,  8933,  9024,  9212, 10285,
              10312, 10686, 11059, 11244, 11861, 12363, 12671, 14161, 14319,
              16105, 17786],
            dtype='int64'),
  '1. FC Heidenheim 1846': Int64Index([ 2053,  4348,  4812,  5093,  5722,  6135,  6208,  6294,  6333,
              6545,  6678,  7595,  7723,  8543,  8567,  9040,  9380,  9535,
              9890, 12004, 12350, 12356, 12654, 14737, 15318, 15842, 16503,
              17538],
            dtype='int64'),
  '1. FC Kaiserslautern': Int64Index([ 5084,  5445,  6372,  7728,  8550,  9335,  9487,  9554,  9563,
              9812,  9886, 10211, 10469, 10554, 11029, 11091, 12485, 14037,
              14758, 15230, 15285, 15392, 15951, 16788, 17268, 17524],
            dtype='int64'),
  ......

9.1.2.2 groupby 객체를 이용해 집계함수 사용

• 하나의 집계 함수 적용 : groupby객체.집계함수명()
• 여러개의 집계 함수 적용 : groupby객체.agg([집계함수명1,집계함수명2]) 사용(Multi Column 형태로 출력됨)

groupby 객체의 mean 함수 호출

playerGroup.mean().head()

playerGroup.agg(['mean', 'sum']).head()

9.2 pivot_table 함수

<span class = "hlblock>player.pivot_table(index, columns, values, aggfunc)

• index : 출력에 사용할 index(그루핑 대상 컬럼)
• columns : 출력에 사용할 columns
• values : 집계함수를 적용할 컬럼명
• aggfunc : 사용할 집계 함수, 여러 개 사용할 경우 [] 안에 집계함수 리스트 작성

EX) 팀별로 드리블 능력치의 평균을 구해 상위 5개팀 출력

player.pivot_table(index = 'Club', values = 'Dribbling', aggfunc = 'mean').sort_values(by = 'Dribbling', ascending = False).head()

EX2) 나라 + 팀 별로 롱패스와 슟파워의 평균과 최대값을 계산

player.pivot_table(index = ('Nationality','Club'), values = ('LongPassing','ShotPower'), aggfunc = ('mean','max')).head()

위의 Jupyter notebook 내용은 여기 Github에서도 확인 할 수 있습니다.

감사합니다.

안녕하세요. PSYda입니다.

Series와 DataFrame을 다루다 보면 각각의 열/행 데이터에 함수를 일괄적으로 적용해야 할 때가 있습니다.

이번 포스팅에서는 Series와 DataFrame의 요소에 함수를 적용하는 방법에 대해 알아보겠습니다.

소개할 내용은 아래와 같습니다.

8. Series와 DataFrame에 외부 함수 적용하기

• map 함수 : Series에서 사용하며 모든 요소에 함수 일괄 적용
• apply 함수 : DataFrame에서 사용하며 각각의 행 또는 열(Series)에 함수 일괄 적용
• applymap 함수 : DataFrame에서 사용하며 모든 요소에 함수 일괄 적용

8.1 Series의 각각의 요소에 함수 적용하기

map(Function name)

• Series에서 사용가능한 함수
• Series의 모든값(values)에 대해 입력된 함수 일괄 적용
  

  

pandas library import

import pandas as pd
from pandas import Series , DataFrame

srAge = Series([10,13,15,23,22,36])
srAge

0    10
1    13
2    15
3    23
4    22
5    36
dtype: int64

나이의 범위에 따라 10대, 20대, 30대로 변경하는 함수 생성

• 10~19 : 10대
• 20~29 : 20대
• 30~39 : 30대
• 그외 : NaN값

으로 변경

def weekday2weeknumber(age):
    if age >= 10 and age < 20:
        ageRange = '10대'
    elif age >= 20 and age < 30:
        ageRange = '20대'
    elif age >= 30 and age < 40:
        ageRange = '30대'
    else:
        ageRange = pd.np.nan
    return ageRange

map 함수로 Series의 각각의 값에 함수 적용

srAgeRange = srAge.map(weekday2weeknumber)
srAgeRange

0    10대
1    10대
2    10대
3    20대
4    20대
5    30대
dtype: object

8.2 DataFrame의 각 열 또는 행에 함수 일괄 적용하기

apply(Function name)

• DataFrame에서 사용 가능한 함수
• DataFrame의 행 또는 열에 해당하는 Series에 함수를 일괄 적용

axis 옵션

• axis = 0(Defualt) : 열기준 함수 적용
• axis = 1 : 행기준 함수 적용
  

  

DataFrame 생성

df = DataFrame([[1,3,5],[4,5,6],[7,8,10]])
df

행 또는 열의 최대값과 최소값의 차이를 구하는 함수 생성

def maxMinusMin(sr):
    return sr.max() - sr.min()

df.apply(maxMinusMin, axis = 0)

0    6
1    5
2    5
dtype: int64

df.apply(maxMinusMin, axis = 1)

0    4
1    2
2    3
dtype: int64

return값을 조정하여 여러개의 열 또는 컬럼으로 출력 가능

def maxMinusMin2(sr):
    sr2 = Series([sr.max(), sr.min(), sr.max()-sr.min()], index = ['최대값','최소값','차이'])
    return sr2

df.apply(maxMinusMin2, axis =0)

df.apply(maxMinusMin2, axis =1)

8.3 DataFrmae의 각각 요소에 함수 일괄 적용하기

applymap(Function name)

• DataFrame에서 사용가능한 함수
• DataFrame의 모든값(values)에 대해 함수 일괄 적용

DataFrame 생성

df2 = DataFrame([[1,1,1],[2,2,2],[3,3,3]])
df2

입력값의 제곱을 리턴하는 함수 생성

def square(x):
    y = x * x
    return y

df2.applymap(square)

위의 Jupyter notebook 내용은 여기 Github에서도 확인 할 수 있습니다.

감사합니다.

안녕하세요. PSYda입니다.

이번 포스팅에서는 Pandas DataFrame의 sort(정렬), rank(순위)에 대해 알아보겠습니다.

소개할 내용은 아래와 같습니다.

실습에 사용한 데이터는 fifa19에 등장하는 축구선수들의 능력치 데이터 입니다.
아래에서 다운 받을 수 있습니다.

7. DataFrame의 sort, rank 함수

• sort 함수 : 데이터를 정렬하는 함수(sort_values, sort_index)
• rank 함수 : 데이터의 순위를 매기는 함수

7.1 DataFrame의 sort

DataFrame에서는 sort를 index 및 column 기준으로 sort를 할 수 있다.

• sort_values(axis = 0) : 열방향 정렬(default)
• sort_values(axis = 1) : 행방향 정렬
• sort_index(axis = 0) : 인덱스명 정렬(defualt)
• sort_index(axis = 1) : 컬럼명 정렬

정렬은 ascending 옵션을 통해 오름차순과 내림차순 정렬이 가능하다.

• ascending = True : 오름차순 정렬, 영어의 경우 a 부터
• ascending = False : 내림차순 정렬, 영어의 경우 z부터

7.1.1 sort_values() : 열방향 또는 행방향 데이터 정렬

sort_values 함수 옵션

• ascending = True : True 이면 오름차순, False이면 내림차순 정렬
• inplace = False : True 이면 정렬한 값을 DataFrame에 바로 반영
• by : 정렬할 기준 변수 지정
• na_position = last : NaN값 위치 지정, last이면 마지막, first이면 처음
• axis = 0 : 0이면 열방향 정렬, 1이면 행방향 정렬

pandas library import

import pandas as pd
from pandas import Series, DataFrame
import numpy as np

players = pd.read_csv('data/Ch6_1_fifaStats.csv', index_col = 'Name')
players.head()

7.1.1.1 by 옵션

DataFrame에서 정렬할 변수를 지정 할 수 있다.(Serise의 경우 한 컬럼이므로 by옵션 설정 필요 없음)

• axis = 0 이면 컬럼명을 정렬 기준 변수로 지정(default)
• axis = 1 이면 인덱스명을 정렬 기준 변수로 지정

ShortPassing 능력치 컬럼 기준 오름차순 정렬

players.sort_values(by = 'ShortPassing', axis = 0).head()

7.1.1.2 ascending 옵션

• True(Default) : 오른차순 정렬
• False : 내림차순 정렬,

ShortPassing 컬럼 기준 내림차순 정렬

players.sort_values(ascending = False,by = 'ShortPassing').head()

7.1.1.3 na_position 옵션

• 'last'(Defualt) : 결측값(NaN)을 뒤로 정렬
• 'first' : 결측값(NaN)을 앞으로 정렬

ShortPassing 컬럼 기준 내림차순 정렬하면서 NaN을 처음에 배치

players.sort_values(ascending = False,by = 'ShortPassing', na_position='first').head()

7.1.1.4 inplace 옵션

• False(Default) : 정렬된 내용을 단순 출력만함
• True : 정렬된 내용을 DataFrame에 저장

players DataFrame에 정렬된 데이터를 저장

players.sort_values(ascending = False,by = 'ShortPassing', inplace = True)
players.head()

7.1.1.5 axis 옵션

• axis = 0 : 열방향으로 정렬(위에서 아래로)
• axis = 1 : 행방향으로 정렬(좌에서 우로)

Index 명의 David Silva 기준으로 행방향 정렬

players.sort_values(axis = 1, by = 'David Silva').head()

7.1.2 sort_index() : 인덱스명 정렬

sort_index 함수의 옵션(sort_values 와 옵션이 거의 동일)

• axis = 0(Default) : index명을 정렬
• axis = 1 : 컬럼명을 정렬

A 부터 오름차순 정렬

players.sort_index().head()

내림차순 정렬

players.sort_index(ascending = False).head()

컬럼명 정렬

players.sort_index(axis = 1).head()

7.2 DataFrame의 rank

rank 함수 (데이터의 순위를 측정) 옵션

• ascending : False 이면 숫자가 큰 것이 순위가 높음(rank 값이 작음)
• axis : 0이면 열방향, 1이면 행방향으로 순위 측정
• method : 동점인 경우 순위 측정에 사용할 방법(평균, 최소값, 최대값 등)
• pct : True 이면 상위 몇% 인지 보여줌

7.2.1 ascending 옵션

• True(Default) : 데이터 수치가 클 수록 rank값이 커짐(순위가 낮아짐)
• False : 데이터 수치가 작을 수록 rank값이 작아짐(순위가 높아짐)

컬럼별로 순위 측정(데이터 수치가 클수록 rank가 높음)

players.rank().head()

players.rank(ascending = False).head()

7.2.2 axis 옵션

• axis = 0(Defualt) : 열방향으로 순위 측정
• axis = 1 : 행방향으로 순위 측정

행방향으루 순위 측정(David Silva의 경우 BallControl 컬럼의 순위가 가장 높음)

players.rank(ascending = False, axis = 1).head()

7.2.3 method 옵션

데이터 수치가 동점일 경우 순위 측정 방법

• average(Default) : 평균으로 순위 측정( Ex. 1위가 2명인경우 1.5 )
• first : 동점없이 정렬된 순서대로 순위 측정( Ex. 1위가 3명인 경위 위에서부터 1,2,3 )
• max : 동점인 데이터들 중 순위가 낮은 값 선정( Ex. 1위가 3명인 경우 3 )
• min : 동점인 데이터들 중 순위가 높은 값 선정( Ex. 1위가 3명인 경우 1등, 4번째 데이터의 경우 4등 )
• dense : min과 비슷하지만 동점 다음 데이터 순위 측정에서 차이가 있음( Ex. 1위가 3명인 경우 1등, 4번째 데이터의 경우 2등 )

순위가 동점이면 평균값 측정(David Silva와 L.Modric이 공동 1등이므로 1.5값 부여)

players.rank(ascending = False, method = 'average').head()

players.rank(ascending = False, method = 'first').head()

players.rank(ascending = False, method = 'max').head()

players.rank(ascending = False, method = 'min').head()

players.rank(ascending = False, method = 'dense').head()

7.2.4 pct 옵션

• False(Default) : rank를 순위(숫자)로 매김
• True : 순위의 퍼센테이지값으로 매김(ex. 4명 중 1등인 경우 0.25, 4등은 1.0)

players 데이터 확인

players.head()

행방향으로 퍼센테이지 순위 측정(David Silva의 경우 BallControl이 1등이므로 0.25)

players.rank(ascending = False, axis = 1, pct = True).head()

위의 Jupyter notebook 내용은 여기 Github에서도 확인 할 수 있습니다.

감사합니다.

안녕하세요. PSYda입니다.

이번 포스팅에서는 Pandas DataFrame의 통계에 대해 알아보겠습니다.

소개할 내용은 아래와 같습니다.

실습에 사용한 데이터는 fifa19에 등장하는 선술들의 능력치 데이터 입니다.
아래에서 다운로드 받을 수 있습니다.

6.Pandas DataFrame 통계

DataFrame의 주요한 통계 함수는 아래와 같습니다.

• Describe : 전체 주요 통계량 출력
• sum : 합계 출력
• cumsum : 누적합계 출력
• mean : 평균값 출력
• Std : 표준 편차 출력
• var : 분산 출력
• median : 중앙값 출력
• count : 데이터 개수 출력
• min, max, idxmin, idxmax : 최소값,최대값,최소값의 index, 최대값의 index 출력
• corr, cov : 상관계수, 공분산 출력

위의 통계 함수를 비롯한 대부분의 함수에서 axis 옵션을 이용해 사용할 축을 설정할 수 있습니다.

• axis = 0 : 열방향으로 통계량 산출(Default)
• axis = 1 : 행방향으로 통계량 산출

실습을 위해 Fifa19 선수들의 Stat 정보를 Load

import pandas as pd
from pandas import Series, DataFrame
import numpy as np

players = pd.read_csv('data/Ch6_1_fifaStats.csv', index_col = 'Name')
players.head()

6.1 전체 통계량 요약 보기(describe)

describe 함수 : 컬럼별 전체 통계량을 요약해서 볼 수 있음

• 데이터 개수, 평균, 표준편차, 최소값, 4분위값, 최대값 출력
• 숫자형 컬럼만 통계량을 출력함

decribe 함수 호출

players.describe()

6.2 함수별 통계량 보기

6.2.1 sum():합계 출력

players.sum()

ShortPassing    1065692.0
Dribbling       1005482.0
LongPassing      957196.0
BallControl     1059931.0
dtype: float64

6.2.2 cumsum():누적합계 출력

# 선수별 능력치 누적 합계 출력
players.head().cumsum(axis = 1)

6.2.3 mean(): 평균값 출력

Stat별 평균(컬럼 기준)

players.mean()

ShortPassing    58.686712
Dribbling       55.371001
LongPassing     52.711933
BallControl     58.369459
dtype: float64

선수별 평균(행 기준)

players.mean(axis=1).head()

Name
L. Messi             92.50
Cristiano Ronaldo    85.00
Neymar Jr            88.25
De Gea               40.25
K. De Bruyne         90.00
dtype: float64

6.2.4 std(): 표준편차 출력

players.std()

ShortPassing    14.699495
Dribbling       18.910371
LongPassing     15.327870
BallControl     16.686595
dtype: float64

6.2.5 var():분산 출력

players.var()

ShortPassing    216.075157
Dribbling       357.602135
LongPassing     234.943613
BallControl     278.442466
dtype: float64
```text


### 6.2.6 median():중앙값 출력


```python
players.median()

ShortPassing    62.0
Dribbling       61.0
LongPassing     56.0
BallControl     63.0
dtype: float64

6.2.7 count() : 데이터 개수 출력

players.count()

ShortPassing    18159
Dribbling       18159
LongPassing     18159
BallControl     18159
dtype: int64

6.2.8 max(), min() : 최대값, 최소값 출력

players.max()

ShortPassing    93.0
Dribbling       97.0
LongPassing     93.0
BallControl     96.0
dtype: float64

players.min()

ShortPassing    7.0
Dribbling       4.0
LongPassing     9.0
BallControl     5.0
dtype: float64

6.2.9 idxmin(), idxmax():최대값,최소값에 해당하는 인덱스 출력

선수별 가장 낮은 능력치는?

players.idxmin(axis = 1).head()

Name
L. Messi             LongPassing
Cristiano Ronaldo    LongPassing
Neymar Jr            LongPassing
De Gea                 Dribbling
K. De Bruyne           Dribbling
dtype: object

스탯별 최고의 선수는?

players.idxmax()

ShortPassing    L. Modrić
Dribbling        L. Messi
LongPassing      T. Kroos
BallControl      L. Messi
dtype: object

6.2.10 corr(), cov(): 상관계수, 공분산 출력

전체 컬럼별 상관계수 행렬 출력

corr_mat = players.corr()
corr_mat

특정 컬럼과 상관도가 높은 순서대로 출력

corr_mat['ShortPassing'].sort_values(ascending = False)

ShortPassing    1.000000
BallControl     0.911451
LongPassing     0.895722
Dribbling       0.843722
Name: ShortPassing, dtype: float64

전체 컬럼별 공분산 행렬 출력

cov_mat = players.cov()
cov_mat

특정 컬럼과 공분산이 낮은 순서대로 출력

cov_mat['Dribbling'].sort_values(ascending = True)

LongPassing     209.410657
ShortPassing    234.531811
BallControl     296.282958
Dribbling       357.602135
Name: Dribbling, dtype: float64

6.3 통계량 시각화하기

6.3.1 histogram 시각화

players.hist(figsize = (15,10))

array([[<matplotlib.axes._subplots.AxesSubplot object at 0x0000020A6CA2E6A0>,
        <matplotlib.axes._subplots.AxesSubplot object at 0x0000020A6CA2D898>],
        [<matplotlib.axes._subplots.AxesSubplot object at 0x0000020A6C860080>,
        <matplotlib.axes._subplots.AxesSubplot object at 0x0000020A6C8872E8>]],
      dtype=object)

6.3.2 상관계수 그래프 시각화

pd.plotting.scatter_matrix(players, figsize = (15,10))

array([[<matplotlib.axes._subplots.AxesSubplot object at 0x0000020A6E38F1D0>,
        <matplotlib.axes._subplots.AxesSubplot object at 0x0000020A6E6F50B8>,
        <matplotlib.axes._subplots.AxesSubplot object at 0x0000020A6E3D6358>,
        <matplotlib.axes._subplots.AxesSubplot object at 0x0000020A6E3FD898>],
        [<matplotlib.axes._subplots.AxesSubplot object at 0x0000020A6E426E10>,
        <matplotlib.axes._subplots.AxesSubplot object at 0x0000020A6E4573C8>,
        <matplotlib.axes._subplots.AxesSubplot object at 0x0000020A6E47F940>,
        <matplotlib.axes._subplots.AxesSubplot object at 0x0000020A6E4A8EF0>],
        [<matplotlib.axes._subplots.AxesSubplot object at 0x0000020A6E4A8F28>,
        <matplotlib.axes._subplots.AxesSubplot object at 0x0000020A6E4FE9E8>,
        <matplotlib.axes._subplots.AxesSubplot object at 0x0000020A6E525F60>,
        <matplotlib.axes._subplots.AxesSubplot object at 0x0000020A6E556518>],
        [<matplotlib.axes._subplots.AxesSubplot object at 0x0000020A6E580A90>,
        <matplotlib.axes._subplots.AxesSubplot object at 0x0000020A6E5B2048>,
        <matplotlib.axes._subplots.AxesSubplot object at 0x0000020A6E5D95C0>,
        <matplotlib.axes._subplots.AxesSubplot object at 0x0000020A6E601B38>]],
      dtype=object)

위의 Jupyter notebook 내용은 여기 Github에서도 확인 할 수 있습니다.

감사합니다.

안녕하세요. PSYda입니다.

이번 포스팅에서는 Pandas DataFrame의 산술 연산에 대해 알아보겠습니다.

소개할 내용은 아래와 같습니다.

5.Pandas DataFrame 산술 연산

DataFrame 의 연산은 아래의 두 가지 케이스가 있습니다.

• DataFrame vs DataFrame 연산
• DataFrame vs Series 연산

5.1 DataFrame vs DataFrame 연산

DataFrame의 연산 규칙은 아래와 같습니다.

• 같은 index 이면서 같은 column 명을 가진 두 value를 연산함
• 같은 index 이면서 같은 column 명을 가진 두 value 중 하나라도 NaN이 있으면 NaN으로 채워진다.
• index나 column 명이 다르면 NaN으로 채워진다.
  

  

연산하는 방법에는 두 가지 방법이 있습니다.

• 연산자( +, -, *, / )를 이용한 연산
• 함수( add, sub, mul, div )를 이용한 연산

기본 연산은 동일하지만 함수를 사용하면 fill_value와 axis 옵션을 사용할 수 있습니다.

Ex)df1.add(df2, fill_value = 0, axis = 0)

• fill_value = 0 : NaN값을 0으로 간주하고 연산, 0이 아닌 값 입력 가능
• axis = 0 : DataFrame와 Series간의 연산에서 방향을 지정(5.1.2 참고)
  

  

곱하기, 나누기, 빼기 등도 동일한 방법이므로, 대표로 더하기에 대해서만 실습해보겠습니다.

import pandas as pd
from pandas import Series, DataFrame
import numpy as np

df1 = DataFrame([[1,3,5],[7,9,11],[5,13,15]])
df1

df2 = DataFrame([[1,2,3],[4,np.nan,6],[7,8,9]], columns=[0,1,3], index=[0,1,3])
df2

df1 + df2

df1.add(df2,fill_value=0)

5.2 DataFrame vs Series 연산

연산 함수(add, sub, mul, div) 의 axis 옵션을 통해 행, 열 방향으로 연산 가능

Ex) df1.add(df2, axis = 0)

axis = 0 : Index방향(행방향)으로 DataFrame과 Series 연산

• DataFrame과 Series가 동일한 Index를 가지면 연산, 다르면거나 한쪽만 있으면 NaN

axis = 1 : Column방향으로 DataFrame과 Series 연산

• DataFrame과 Series가 동일한 Column명을 가지면 연산, 다르면거나 한쪽만 있으면 NaN

연산을 위한 Sereis 생성

s1 = Series([1,2,3,4])
s1

0    1
1    2
2    3
3    4
dtype: int64

df1

df1.add(s1, axis = 0)

df1.add(s1, axis = 1)

위의 Jupyter notebook 내용은 여기 Github에서도 확인 할 수 있습니다,

다음 포스팅은 DataFrame의 통계에 대해 알아볼 예정입니다.

감사합니다.

안녕하세요. PSYda입니다.

이번 포스팅에서는 Pandas 데이터의 파일 입출력 방법에 대해 알아보겠습니다.

실습에 필요한 파일은 아래에서 다운로드 받을 수 있습니다.

4. Pandas 파일 입출력

Pandas로 입출력 할 수 있는 파일 포맷은 매우 다양하지만 대표적으로 아래와 같습니다.

• CSV, Excel, HTML, JSON 등

이번에는 CSV 및 Excel File을 입출력하는 방법을 알아보겠습니다.

예제에 사용하기 위한 데이터를 확보하기 위해 kaggle에서 fifa19 선수 Dataset을 다운로드 받았으며, 실습에 사용하기 위해 변형하였습니다.

4.1 파일 입력

4.1.1 (구분자가 있는)텍스트 파일 및 CSV 파일 읽기

Pandas에서 read_csv 함수를 이용하여 텍스트 파일 및 CSV 파일을 읽을 수 있으며, 읽은 데이터는 DataFrame형태로 저장됩니다.
read_csv 함수 사용법은 아래와 같습니다.

pd.read_csv(FilePath, sep, header, names, index_col, skiprows, nrows, encoding, comment, chunksize)

• FilePath : 읽을 파일 Path, URL 도 가능
• sep : 구분자 입력, Default 는 쉼표(',')
• header : 파일의 데이터에 header가 없을 경우 none 입력, Default는 header 읽음
• names : 파일의 데이터에 header가 없을 경우에 명시적으로 컬럼명 입력 가능
• skiprows : 입력한 개수 만큼 파일에서 행을 건너뛰고 읽음
• index_col : 명시한 특정 컬럼을 index로 사용
• nrows : 파일 최상위에서부터 입력한 개수만큼의 데이터만 읽음
• encoding : 파일의 문자 인코딩 타입 입력, 한글이면 'CP949'
• comment : 특정 문자는 주석으로 간주하고 읽지 않음
• chunksize : TextFileReader가 입력받을 데이터 개수 Return하여 특정 개수 만큼 순서대로 읽음(뒤에 예시 참고)

pandas libary를 import

import pandas as pd
from pandas import Series, DataFrame

4.1.1.1 read_csv(별도 옵션 없이)

• 일반 text 파일 또는 csv을 읽어서 DataFrame에 저장
• 쉼표(',')를 기준으로 Data를 나누고 읽음

별도의 설정 없이 csv File 읽기

fifa19Player = pd.read_csv("data/Ch4_1_fifa.csv")
fifa19Player.head(5)

4.1.1.2 sep 옵션

• 공백, 탭, 다른 기호 등으로 데이터가 분리된 파일일 경우 사용
• 공백의 경우 정규식 '\s+' 을 사용함(공백이 하나 이상 발생한 경우 구분하는 정규식)

구분자를 공백으로 주고 csv File 읽기

data1 = pd.read_csv('data/Ch4_2_sep.txt', sep='\s+')
data1

4.1.1.3 header 옵션

• Default 값은 첫 행을 Header로 간주
• 첫 행이 Header가 아닐 경우 None 을 입력해주면, 첫 행도 데이터로 저장
• 왼쪽부터 0부터 순서대로 컬럼명 부여

header가 없는 File 읽기

data2 = pd.read_csv('data/Ch4_3_header.txt', sep='\s+', header = None)
data2

4.1.1.4 names 옵션

• 첫 행이 Header가 아닐 경우 명시적으로 컬럼명 입력 가능

header가 없응 File 읽을 때 컬럼명 명시

data3 = pd.read_csv('data/Ch4_3_header.txt', sep='\s+', names = ['Index', 'ID', 'Player', 'Age'])
data3

4.1.1.5 skiprosw 옵션

• 읽고 싶지 않은 행(MetaData 등)을 제외 할 수 있음
• 특정 행을 읽는데 에러가 생기는 경우 제외 할 수 있음

특정 행을 제외하고 파일 읽기

data4 = pd.read_csv("data/Ch4_4_skiprows.txt", sep='\s+', skiprows = [0,1], header = None)
data4

4.1.1.6 index_col 옵션

• 특정 컬럼명을 Index열로 저장

index 컬럼을 Index로 설정

data5 = pd.read_csv('data/Ch4_5_index_col.txt', index_col = 'Index')
data5

4.1.1.7 nrows 옵션

• 위에서부터 입력한 개수 만큼의 데이터만 읽음
• 데이터량이 많아 메모리에 문제가 예상될 때 사용 할 수 있음

3개의 row만 읽기

data6= pd.read_csv('data/Ch4_5_index_col.txt', nrows = 3)
data6

4.1.1.8 encoding 옵션

• 데이터 encoding 이 맞지 않아 문자가 깨지거나 오류가 생길 때 설정
• 한글의 경우 'CP949' 를 적용하면 깨지지 않음

CP949 encoding 적용!

data7= pd.read_csv('data/Ch4_6_encoding.txt', encoding = 'CP949')
data7

4.1.1.9 comment 옵션

• 특정 문자가 있는 행은 주석으로 간주하고 읽지 않고 건너뜀

'/' 문자는 주석이므로 읽기 않음

data5 = pd.read_csv('data/Ch4_5_comment.txt', comment = '/')
data5

4.1.1.10 chunksize 옵션

• 특정 개수만큼 순서대로 입력 받을 수 있는 TextFileReader 객체를 생성
• next(TextFileReader객체) 구문을 이용해 특정 개수만큼 순서대로 데이터 입력
• 데이터량이 많아서 한번에 불러올 수 없는 경우에 사용

2개씩 데이터 입력

TextFileReader = pd.read_csv('data/Ch4_1_fifa.csv', chunksize = 2)
next(TextFileReader)

# 한번 더 하면 그 다음 500개 가 순서대로 출력
next(TextFileReader)

4.1.2 Excel 파일 읽기

read_excel 함수를 이용하여 excel 파일을 읽어 올 수 있으며 대부분의 옵션들은 read_csv와 동일합니다.

자주 사용되는 옵션들 위주로 알아보겠습니다.

read_excel(Path, sheet_name)

• Path : excel 파일 경로
• sheet_name : 읽을 Sheet name 명시

4.1.2.1 read_excel(별도 옵션 없이)

fifa = pd.read_excel('data/Ch4_9_fifa19.xlsx')
fifa

4.1.2.2 sheet_name

• 명시한 Sheet name만 읽음
• Default는 첫 번째 Sheet
• None을 입력하면 모든 Sheet를 key = Sheetname, value = Data 로 가져옴

Tottenham sheet 읽기

Tottenham = pd.read_excel('data/Ch4_9_fifa19.xlsx', sheet_name = 'Tottenham')
Tottenham

AllTeam = pd.read_excel('data/Ch4_9_fifa19.xlsx', sheet_name = None)
AllTeam.keys()

odict_keys(['FCBarcelona', 'Tottenham', 'ManUnited'])

AllTeam['ManUnited']

한번에 세 개의 팀을 저장 할 수도 있음

Barcelona, Tottenham, ManUTD = AllTeam.values()
Tottenham

4.2 파일 출력

파일 입력과 마찬가지로 Pandas는 다양한 데이터로의 출력을 지원하지만 가장 많이 사용하는 csv, excel 에 관해서만 알아보겠습니다.

4.2.1 (구분자가 있는)텍스트 파일 및 CSV 로 출력

Pandas에서는 DataFame 데이터를 to_csv 함수를 이용하여 텍스트 파일 및 CSV 파일로 출력할 수 있습니다.

to_csv도 read_csv와 비슷한 옵션들을 가지고 있기 떄문에, 옵션에 대한 설명은 넘어가도록 하겠습니다.

Tottenham.to_csv('data/Tottenham.csv')

4.2.2 Excel 로 출력

to_excel 함수를 이용해 DataFrame 데이터를 Excel 파일로 출력할 수 있습니다.

마찬가지로 옵션에 대한 설명은 넘어가도록 하겠습니다.

ManUTD.to_excel('data/ManUTD.xlsx')

위의 Jupyter notebook 내용은 여기 Github에서도 확인 할 수 있습니다.

감사합니다.

안녕하세요. PSYda 입니다.

이번 포스팅에서는 두 개의 DataFrame을 연결하는 Join 기법에 대해 알아보겠습니다.

소개할 내용은 아래와 같습니다.

3. DataFrame Join

Join 이란?

• 두 개의 DataFrame을 합치는 것
• 열기준 컬럼명으로 합치기 : merge
• 열기준 Index명로 합치기 : merge, concat
• 행기준으로 합치기 : concat, append

합치는 방법은?

• Inner : 두 DataFrame의 기준 컬럼에서 둘 다 존재하는 데이터만 Join
• Left Outer join : 왼쪽 DataFrame으로 합치기
• Right Outer Join : 오른쪽 DataFrame으로 합치기
• Outer Join : 두 DataFrame의 모든 Data를 합치기

Merge 명령어 사용법?

• pd.merge(left, right, how, on, left_on, right_on, left_index, right_index)
• left : Merge 할 왼쪽 DataFrame
• right : Merge 할 오른쪽 DataFrame
• how : inner, left, right, outer
• on : 두 DataFrame을 Join할 기준 컬럼명(컬럼명이 동일할 경우)
• left_on : Join할 기준 컬럼의 왼쪽 DataFrame의 컬럼명
• right_on : Join할 기준 컬럼의 오른쪽 DataFrame의 컬럼명
• left_index : 왼쪽 DataFrame index로 Join할 경우 True
• right_index : 오른쪽 DataFrame index로 Join할 경우 True

concat 명령어 사용법?

• pd.concat([left,right], axis, join,...)
• [left,right] : left DataFrame과 right DataFrame으로 이루어진 List
• axis = 0 : 행기준으로 합치기, 1: 열기준으로 Index명으로 합치기

pandas libary를 import 합니다.

import pandas as pd
from pandas import Series, DataFrame

3.1 같은 Column끼리 합치기

DF1 = DataFrame([["싸이",180,75],["덕구",160,65],["또치",170,75]], columns = ["이름","키","몸무게"])
DF1

DF2 = DataFrame([["싸이","포워드","잘함"],["덕구","미드필더","못함"],["똥갈","수비수","잘함"]], columns = ["이름","포지션","실력"])
DF2

3.1.1 Inner Join

두 DataFrame의 기준 컬럼에서 둘 다 존재하는 데이터만 Join

pd.merge(left = DF1 , right = DF2, how = "inner", on = "이름")

3.1.2 Left Outer Join

• 왼쪽 DataFrame의 모든 데이터 출력 +
• 오른쪽 DataFrame 중 왼쪽 DataFrame에 있는 Data는 출력
• 오른쪽 DataFrame 중 왼쪽 DataFrame에 없는 Data는 NaN으로 처리

pd.merge(left = DF1 , right = DF2, how = "left", on = "이름")

3.1.3 Right Outer Join

• 오른쪽 DataFrame의 모든 데이터 출력 +
• 왼쪽 DataFrame 중 오른쪽 DataFrame에 있는 Data는 출력
• 왼쪽 DataFrame 중 오른쪽 DataFrame에 없는 Data는 NaN으로 처리

pd.merge(left = DF1 , right = DF2, how = "right", on = "이름")

3.1.4 Outer Join

• 왼쪽, 오른쪽 DataFrame의 모든 데이터 출력 +
• 왼쪽 DataFrame 중 오른쪽 DataFrame에 있는 Data는 NaN으로 처리
• 오른쪽 DataFrame 중 왼쪽 DataFrame에 없는 Data는 NaN으로 처리

DF1과 DF2를 Outer Join

pd.merge(left = DF1 , right = DF2, how = "outer", on = "이름")

3.2 같은 Index 기준으로 합치기

• set_index("컬럼명") : 컬럼명의 데이터가 Index로 설정, 컬럼데이터는 삭제됨

DF1 = DF1.set_index("이름")
DF1

DF2 = DF2.set_index("이름")
DF2

pd.merge(left = DF1, right = DF2, left_index = True, right_index = True, how = "inner")

pd.concat([DF1,DF2],axis = 1, join = 'inner')

3.3 행기준으로 합치기

• 같은 컬럼명이 존재하면, 데이터 저장
• 다른 컬럼명이 존재하면, 해당 컬럼이 있는 DataFrame은 데이터 저장, 없는 DataFrame은 NaN 처리
• 일반적으로 concat보다 append가 더 빠름

DF3 = DataFrame([[187, 80, 30], [190,85, 20]], columns = ["키","몸무게","나이"], index = ["거북이","깜디"])
DF3

DF1.append(DF3, sort=False)

pd.concat([DF1, DF3], axis = 0, sort=False)

위의 Jupyter notebook 내용은 여기 Github에서도 확인 할 수 있습니다.

다음 포스팅은 Pandas 데이터의 파일 입출력에 대해 알아볼 예정입니다.

감사합니다.

안녕하세요. PSYda입니다.

이번 포스팅에서는 Pandas의 DataFrame에 대해 알아보겠습니다.

소개할 내용은 아래와 같습니다.

2. DataFrame

DataFrame 이란?

• 2차원 데이터
• 인덱스가 같은 하나 이상의 Series가 모여진 데이터
• DBMS 의 관계형 Table 과 매우 유사

먼저 DataFrame을 사용하기 위해 Pandas 라이브러리를 import 합니다.

# pandas library import
import pandas as pd
from pandas import Series, DataFrame

2.1 DataFrame 데이터 생성

DataFrame을 생성하기 위해 셀에 DataFrame() 이라고 입력하고 괄호 안에서 Shift+tab 을 눌러보면 아래와 같은 정보가 보입니다.

DataFrame(data=None, index=None, columns=None, dtype=None, copy=False)

값을 입력해줄 수 있고, Default 가 None이기 때문에 값이 없으면 아무 동작도 하지 않습니다. 속성값들을 하나씩 알아보겠습니다.

• data : 저장되는 데이터
• index : index에 대한 정보(미입력시 0부터 순차적으로 부여)
• columns : 열에 대한 이름값(미입력시 0부터 순차적으로 부여)
• dtype : 데이터에 대한 타입 명시(미입력시 자체적으로 판단)

예제를 확인하겠습니다.

Data1 = DataFrame([[180,75],[160,65],[170,75], [175,80]],
                  index = ["사람1","사람2","사람3","사람4"],
                  columns = ["키","몸무게"])
Data1

index와 columns의 경우 선언후에도 별도로 입력할 수도 있습니다.

Data1 = DataFrame([[180,75],[160,65],[170,75], [175,80]])
Data1

# 인덱스 저장
Data1.index = ["Man1","Man2","Man3","Man4"]
Data1

# 컬럼명 저장
Data1.columns = ["Height","Weight"]
Data1

2.2 데이터 추가, 삭제

2.2.1 Column 추가

2.2.1.1 값으로 추가

Data1["나이"] = [30,40,32,33]
Data1

2.2.1.2 Series 또는 DataFrame에서 추가

# bmi = 몸무게(kg) / 키(m)*키(m)
Data1["BMI"] = Data1["Weight"] / ((Data1["Height"] / 100) * (Data1["Height"] / 100))
Data1

2.2.2 행 추가

append 함수를 이용해서 행기준으로 데이터를 추가 할 수 있습니다.

2.2.2.1 Series와 List를 이용한 행추가

listOfSeries = [pd.Series([187, 85, 34, 0], index = Data1.columns),
               pd.Series([183, 80, 32, 0], index = Data1.columns)]
Data1 = Data1.append(listOfSeries)
Data1

2.2.2.2 DataFrame을 행기준으로 추가

df = DataFrame([[180,75,30,33],[160,65,40,22]],
               index = ["사람5","사람6"],
               columns = ["Height","Weight","나이","BMI"])
df

Data1.append(df)

2.2.3 데이터 삭제

drop 함수를 쓰면 행과 열을 삭제 할 수 있습니다.

axis option

• 0 : 행 기준 삭제
• 1 : 열 기준 삭제

2.2.3.1 열 삭제

Data1 = Data1.drop("BMI", axis = 1)
Data1

2.2.3.2 행 삭제

Data1 = Data1.drop("Man1", axis = 0)
Data1

2.3 DataFrame 조회

# 예제를 위한 데이터 생성
Data2 = DataFrame([[180,75,30],[160,65,40],[170,75,32], [175,80,33]],
                  index = ["사람1","사람2","사람3","사람4"],
                  columns = ["키","몸무게","나이"])
Data2

2.3.1 Column 조회

DataFrame명["속성명"] 또는 DataFrame명.속성명을 통해 특정 속성명만 조회 할 수 있다.

하나의 속성명을 조회 하면 SeriesType, 여러 속성명을 조회 하면 DataFrame으로 출력된다.

# 키 Column 만 조회
Data2["키"]

사람1    180
사람2    160
사람3    170
사람4    175
Name: 키, dtype: int64

# Type 은 Series
type(Data2.몸무게)

pandas.core.series.Series

# 두 개 이상 컬럼 조회
Data2[["키", "몸무게"]]

2.3.2 Index 조회

• DataFrame명.loc["index명"] 을 통해 특정 index만 조회 가능하다.
• DataFrame명.iloc[index번호] 를 통해 특정 index만 조회 가능하다.

마찬가지로 하나의 index만 조회 할 경우 Series Type, 여러 index의 경우 DataFrame Type으로 출력한다.

Data2.loc["사람1"]

키      180
몸무게     75
나이      30
Name: 사람1, dtype: int64

# 1번 인덱스 --> 사람2의 정보만 출력
Data2.iloc[1]

키      160
몸무게     65
나이      40
Name: 사람2, dtype: int64

# 두 개 index를 index명으로 조회
Data2.loc[["사람1","사람2"]]

# 여러 개의 index를 index번호로 조회
Data2.iloc[1:3]

2.3.3 Index 와 column 동시 조회

하나의 index 명과 컬럼명에 해당하는 하나의 값 찾기

• DataFrame명.at["index명","컬럼명"]
• DataFrame명.loc["index명","컬럼명"]
• DataFrame명.loc["index명"]["컬럼명"]

• DataFrame명.loc[["index명1","index명2"],["컬럼명1","컬럼명2"]]
• DataFrame명.loc[["index명1","index명2"]][["컬럼명1","컬럼명2"]]

#사람1의 나이 찾기
Data2.loc["사람1","나이"]

30

#사람2의 몸무게 찾기
Data2.loc["사람2"]["몸무게"]

65

#사람3의 키 찾기
Data2.at["사람3","키"]

170

# 사람1, 사람2 의 키 조회
Data2.loc[["사람1","사람2"]]["키"]

사람1    180
사람2    160
Name: 키, dtype: int64

# 사람1,사람2 의 키와 몸무게 조회
Data2.loc[["사람1","사람2"],["키","몸무게"]]

하나의 index 번호와 컬럼번호에 해당하는 하나의 값 찾기

• DataFrame명.iat[index번호,컬럼번호]
• DataFrame명.iloc[index번호,컬럼번호]
• DataFrame명.iloc[index번호][컬럼번호]

• DataFrame명.iloc[index번호1:index번호2,컬럼번호1:컬럼명번호2]

# 사람1의 나이 찾기
Data2.iloc[0,2]

30

#사람2의 몸무게 찾기
Data2.iloc[1][1]

65

#사람3의 키 찾기
Data2.iat[2,0]

170

# 사람1, 사람2 의 키 조회
Data2.iloc[0:2,0]

사람1    180
사람2    160
Name: 키, dtype: int64

# 사람1,사람2 의 키와 몸무게 조회
Data2.iloc[0:2,0:2]

2.3.4 조건 조회

# 키가 170 이상인 사람만 조회
Data2[Data2["키"] >= 170]

2.3.5 상위/하위 데이터 조회

• head(개수) : 위에서부터 개수만큼의 데이터만 출력
• tail(개수) : 밑에서부터 개수만큼의 데이터만 출력

Data2.head(2)

Data2.tail(2)

위의 Jupyter notebook 내용은 여기 Github에서도 확인 할 수 있습니다.

감사합니다.

안녕하세요. PSYda 입니다.
Pandas는 2개의 자료구조(Series , DataFrame)를 가지고 있습니다.
Series는 1차원 데이터 구조, DataFrame은 2차원 데이터 구조를 나타냅니다.
이번 포스팅에서는 Series에 대해 아래와 같은 내용을 알아볼 예정입니다.

1. Series

Series란?

• 1차원 데이터
• Index 와 Value 로 구성(Python의 사전데이터와 유사)

먼저 Series 나 DataFrame을 사용하기 위해 Pandas 라이브러리를 import 해야합니다.(설치는 이전 블로그를 참고해주세요.)

# pandas library import
import pandas as pd
from pandas import Series, DataFrame

1.1 Series 데이터 생성

• Python 자료형으로 생성가능(리스트, 튜플, 사전)
• numpy array 자료형으로 생성가능

1.1.1 리스트로 Series 생성

data = pd.Series([1,2,3,4])
data

0    1
1    2
2    3
3    4
dtype: int64

1.1.2 튜플로 Series 생성

data = pd.Series((1,2,3,4))
data

0    1
1    2
2    3
3    4
dtype: int64

1.1.3 numpy.array로 Series 생성

import numpy as np
data = pd.Series(np.array([1,2,3,4]))
data

0    1
1    2
2    3
3    4
dtype: int32

위의 3가지 방법으로 생성한 Series 를 보면, Value 값(1,2,3,4)과 index 값(0,1,2,3)으로 저장되는 것을 확인 할 수 있습니다.
index를 key라고 한다면, key와 value로 이루어진 dict(사전) 타입과 비슷하다는 점을 알 수 있습니다.
물론 아래와 같이 사전 타입으로도 생성이 가능합니다.

1.1.4 사전타입으로 Series 생성

data = pd.Series({1:1, 2:2, 3:3 ,4:4})
data

1    1
2    2
3    3
4    4
dtype: int64

1,2,3,4 라는 key값이 index로 저장되고 1,2,3,4 라는 데이터가 value로 저장되는 것을 확인 할 수 있습니다. method를 통해 index와 value 값을 따로 가져 올 수도 있습니다.

# index 값 가져 오기
data.index

Int64Index([1, 2, 3, 4], dtype='int64')

# value 값 가져 오기
data.values

array([1, 2, 3, 4], dtype=int64)

위의 결과들을 보면 "dtype = int64" 라는 구문을 볼 수 있습니다. int형 외에 다른 자료형들도 Series에 저장 될 수 있습니다.

1.1.5 여러 자료형으로 Series 생성

data.dtypes

dtype('int64')

# 여러 자료형으로 Series 생성
data2 = Series(["pandas", "PSY", 34])
data2

0    pandas
1       PSY
2        34
dtype: object

data2.dtypes

dtype('O')

문자열을 포함한 숫자가 아닌 형태의 자료형이 Series에 저장되면 Object type으로 저장 되는 것을 확인 할 수 있습니다.

1.2 Series의 index

• 사전형으로 Series를 생성하면사전형의 key값이 index로 저장
• 사전형이 아닌 데이터로 Series 생성할 때 index를 명시적으로 입력 가능
• 입력값이 없다면 0부터 순서대로 번호를 부여

1.2.1 Series 생성시에 Index명 입력

data3 = Series(["토트넘", "손흥민" , 30], index = ["팀명","선수명","Goal수"])
data3

팀명       토트넘
선수명      손흥민
Goal수     30
dtype: object

data3.index

Index(['팀명', '선수명', 'Goal수'], dtype='object')

1.2.2 이미 생성되어 있는 Series의 index명 변경

data3.index = ["도시명", "사는사람" , "나이"]
data3.index

Index(['도시명', '사는사람', '나이'], dtype='object')

1.3 Series의 조회(색인)

Series의 데이터를 조회하는 기법에 대해 설명하기 위해 Series 하나를 만들어 보겠습니다.

data4 = Series([1,2,3,4,5,6,7,8,9],index = ["서울","대전","대구","부산","광주","전주","충주","마산","성남"])
data4

서울    1
대전    2
대구    3
부산    4
광주    5
전주    6
충주    7
마산    8
성남    9
dtype: int64

1.3.1 index 기준으로 조회

#서울 데이터 조회
data4.at["서울"]

1

#서울, 부산 데이터 조회
data4[["부산","서울"]]

부산    4
서울    1
dtype: int64

# 위에서 부터 2개 Data
data4[0:2]

서울    1
대전    2
dtype: int64

# 끝에서 3개 Data
data4[-3:]

충주    7
마산    8
성남    9
dtype: int64

1.3.2 index 조건 색인

# 서울, 대전 ,대구 데이터 조회
# isin 함수에 인자에 해당하는 index 만 True값을 가지고, True값만 출력
data4[data4.index.isin(["서울","대전", "대구"])]

서울    1
대전    2
대구    3
dtype: int64

1.3.3 조건으로 조회

# 3이상인 데이터만 조회하는 방법
# 1. 각 데이터가 3보다 큰지 확인
data4 > 3

서울    False
대전    False
대구    False
부산     True
광주     True
전주     True
충주     True
마산     True
성남     True
dtype: bool

# 2. True 인 데이터만 조회
data4[ data4 > 3 ]

부산    4
광주    5
전주    6
충주    7
마산    8
성남    9
dtype: int64

1.4 Series의 산술 연산 및 통계

1.4.1 상수와의 연산

# data4의 모든 데이터에 10 더하기
data4 + 10

서울    11
대전    12
대구    13
부산    14
광주    15
전주    16
충주    17
마산    18
성남    19
dtype: int64

# add 함수를 이용해 더하기
data4.add(10)

서울    11
대전    12
대구    13
부산    14
광주    15
전주    16
충주    17
마산    18
성남    19
dtype: int64

1.4.2 Series 끼리의 연산

• 두 Series의 같은 index 끼리 연산함
• 같은 index가 없을 경우 NaN으로 저장됨

연산을 위해 새로운 Series 생성

data5 = Series([10,20,30],index = ["서울","대전","대구"])
data5

서울    10
대전    20
대구    30
dtype: int64

data6 = data4 + data5
data6

광주     NaN
대구    33.0
대전    22.0
마산     NaN
부산     NaN
서울    11.0
성남     NaN
전주     NaN
충주     NaN
dtype: float64

위의 과정을 보면 Series끼리의 연산이 어떻게 동작되는지 알 수 있습니다.
첫 번째로 두 Series의 Index명이 동일하면 연산을 수행합니다. 그 예시로 첫 번째 Series의 "서울", "대전", "대구" 의 데이터와 두 번째 Series의 "서울", "대전", "대구" 의 데이터가 합해지는 것을 볼 수 있습니다.
두 번째 과정을 보면 두 Series에서 동일한 Index가 없는 경우 NaN이 됩니다.
NaN은 데이터가 없다는 뜻으로 타언어의 Null과 동일한 개념입니다.

1.5 NaN 데이터 처리

• fill_value 옵션 : NaN 데이터를 입력값으로 적용후에 함수 적용
• fillna 함수 : NaN값을 입력값으로 변경

add와 같은 산술연산함수를 적용할 때 fill_value 옵션을 적용하면 NaN이 발생할 경우 특정 값으로 대입할 수 있습니다.

data4.add(data5, fill_value = 0)

광주     5.0
대구    33.0
대전    22.0
마산     8.0
부산     4.0
서울    11.0
성남     9.0
전주     6.0
충주     7.0
dtype: float64

Series에 NaN값이 있을 경우 fillna를 이용해 NaN을 입력값으로 변경할 수 있습니다.

# fillna를 통해 NaN값을 특정값으로 할당
data6.fillna(0)

광주     0.0
대구    33.0
대전    22.0
마산     0.0
부산     0.0
서울    11.0
성남     0.0
전주     0.0
충주     0.0
dtype: float64

1.6 통계

• describe 함수 : 주요 통계 정보 보기
• mean 함수 : 평균 구하기
• std 함수 : 표준편차 구하기

# 데이터 통계 정보 보기
data4.describe()

count    9.000000
mean     5.000000
std      2.738613
min      1.000000
25%      3.000000
50%      5.000000
75%      7.000000
max      9.000000
dtype: float64

# 평균 구하기
data4.mean()

5.0

# 표준 편차 구하기
data4.std()

2.7386127875258306

위의 Jupyter notebook 내용은 여기 Github에서도 확인 할 수 있습니다.
감사합니다.

안녕하세요. PSYda입니다.
오늘은 Pandas가 무엇인지 알아보겠습니다.

1. Pandas란?

Pandas의 공식 Github에서 설명하는 Pandas는 아래와 같습니다.

"관계형" 또는 "레이블이 된" 데이터로 쉽고 직관적으로 작업할 수 있도록 설계되었고 빠르고, 유연한 데이터 구조를 제공하는 Python 패키지

관계형, 레이블이 된 데이터라는 말은 엑셀의 데이터나, DBMS의 관계형 테이블 형태와 같은 표형태의 데이터로 이해 할 수 있습니다. 아무튼 데이터를 쉽게 다룰 수 있고, 분석을 용이하게 해주는 파이썬 라이브러리라고 이해 할 수 있습니다.

2. Pandas로 할 수 있는 것은?

구체적으로 Pandas로 할 수 있는 것들은 아래와 같습니다.

• Python 자료구조와의 호환(List ,Tuple, Dict, NumpyArray 등)
• 큰 데이터의 빠른 Indexing, Slicing, Sorting 하는 기능
• 두 데이터 간의 Join(행,열 방향) 기능
• 데이터의 피봇팅 및 그룹핑
• 데이터의 통계 및 시각화 기능
• 외부 데이터를 입력 받아 Pandas 자료구조로 저장 및 출력(CSV, 구분자가 있는 txt, 엑셀데이터, SQL database, XML 등)

3. Pandas 사용하기

Pandas는 파이썬 라이브러리이기 때문에 별도의 설치가 필요한데, Anaconda라는 패키지를 사용하면, Pandas가 기본으로 설치되어 있기 때문에 Anaconda를 이용하는 것을 권장합니다.

Anaconda는 수학, 과학, 데이터 분석 분야에서 사용하는 Python 패키지를 한 번에 설치 할 수 있게 해줍니다. 또한 Jupyter notebook과 같은 IDE 개발 도구도 함께 설치 할 수 있습니다.

Anaconda 공식 홈페이지에서 원클릭으로 쉽게 설치 할 수 있습니다.

4. 포스팅 목자

1. Pandas의 자료구조-Series
2. Pandas의 자료구조-DataFrame
3. 여러 DataFrame 연결하기
4. Pandas의 파일 입출력
5. Pandas DataFrame 산술 연산
6. Pandas DataFrame 통계
7. Pandas DataFrmae의 sort,rank 함수
8. Series와 DataFrame에 함수 적용하기
9. DataFrame의 집계(그룹핑) 함수

다음의 포스팅부터 Jupyter notebook을 사용하여 직접 Pandas를 실습할 예정입니다.
Pandas에 대한 추가적인 정보가 필요할 경우 공식 문서를 참고해주세요.