Chapter 7. 시계열 데이터 전처리

시계열 데이터 전처리

앞서 Chapter 에서는 numpy와 pandas를 이용하여 데이터 구조를 변형하는 방법에 대하여 알아보았다. 이번 챕터에서는 pandas에서 제공하는 시계열 도구와 가장 널리 쓰이는 타임스탬프(timestamp)라는 구조를 사용하여 설명할 것이다.

먼저, Datetime이라는 파이썬 라이브러리에서 제공하는 datetime을 사용하여 현재 날짜 및 시간을 알아보고, timedelta를 사용하여 시간적 차이를 표현해보자.

In [1]:

Out[1]:

Timedelta를 이용하여 우리는 시간을 더하거나 뺄 수 있다.

In[2]:

Out[2]:

In[3]:

Out[3]:

문자열을 datetime으로, datetime을 문자열로 변환하기

str 메서드나 strftime 메서드를 이용하여 우리는 datetime 또는 timestamp 객체를 문자열로 표현할 수 있다.

위에서 살펴보았듯이, now를 datetime 메서드를 이용하여 현재의 날짜로 지정한 후, 이를 str 또는 strftime 메서드를 사용하여 문자열로 나타내 보자.

In[4]:

Out[4]:

In[5]:

Out[5]:

사용하는 데이터의 형식이 문자열일 때, 우리는 datetime.strptime을 사용하여 문자열을 날짜 형식으로 변환할 수 있다.

In[6]:

Out[6]:

문자열을 날자로 변환하는 다른 방법으로는 dateutil의 parser.parse 메서드를 사용하는 것이다.

In[7]:

Out[7]:

dateutil 혹은 pandas.to_datetime에서 dayfirst의 default는 False로 되어있는데, dayfirst=True는 일 단위의 날짜가 먼저 올 때 YYYY-MM-DD 형식으로 파싱한다.

In[8]:

Out[9]:

Pandas의 datetime객체로 표현된 list_of_dates라는 타임스템프 리스트를 생성한 후에, 이를 random_ts라는 pandas.Series 객체에 랜덤한 값을 색인해보자.

In[10]:

Out[10]:

In[11]:

Out[11]:

앞으로 알고리즘을 만들게 된다면, 위와 같이 Series 객체로 시계열 데이터가 들어오는 경우가 많다. 우리는 앞서 Chapter 2에서 배운 concatenate로 다른 Series 객체를 이어볼 수 있다.

다른 Series 객체를 random_ts_2라 하자.

In[12]:

Out[12]:

In[13]:

Out[13]:

In[14]:

Out[14]:

인덱싱, (부분)선택

TimeSeries에서의 인덱싱은 Series와 같은 방법으로 표현할 수 있다. 이는 Series가 TimeSeries의 상위 클래스이기 때문이다.

In[15]:

Out[15]:

In[16]:

Out[16]:

년 단위, 혹은 월 단위의 긴 시계열을 생성하고 싶을 때, Pandas.date_range를 이용하면 쉽게 표현할 수 있다. Pandas documentation에서 확인할 수 있듯이, date_range의 파라미터 중에는 start, end, periods 등이 있는데, 각각 시작날짜, 끝 날짜, 날짜를 생성할 기간을 지정한다.

아래의 예제에서는 시작 날짜를 기준으로 일 년의 데이터를 랜덤으로 색인해보겠다.

In[17]:

Out[17]:

이는 끝 날짜를 지정하여 똑같이 표현할 수 있다.

In[18]:

Out[18]:

생성한 date 객체에서 12월의 데이터만 보고 싶으면 아래와 같은 방식으로 할 수 있다. 만약 생성한 데이터가 1년을 넘어가면 같은 방법으로 특정 년도만 구분할 수 있다.

In[19]:

Out[19]:

앞서 배운 슬라이싱으로 원하는 날짜로 데이터를 잘라내 보자.

In[20]:

Out[20]:

Pandas.DataFrame.truncate을 이용하면 우리는 NumPy 배열을 나누는 것과 동일하게 표현할 수 있는데, 이는 before, after 등의 파라미터로 범위를 지정하면 된다.

예를 들어, truncate 메서드를 사용하여 위의 date를 2050-01-15까지 슬라이싱한 것과 같은 결과를 도출해내 보자.

In[21]:

Out[21]:

Chapter 2에서 배운 .loc과 .iloc을 복습해보자면, string형태로 레이블링 할 때에는 .loc을, int형태로 레이블링 할 때에는 .iloc을 이용했다. 더 나아가, .loc은 처음과 끝이 포함되고 .iloc은 처음만 포함되며 끝은 포함이 안된다. DataFrame에 pandas.ix라는 메서드를 사용하여 인덱싱 하는 방법 또한 있다. .ix 메서드는 .loc, .iloc과 마찬가지로 대괄호를 사용한다. 그러나 .ix는 pandas version 1.0.0부터는 삭제된 기능이므로 .loc으로 실습해보자.

.loc을 하기 전에 date_range가 2022-01-01에 시작하는 DataFrame을 먼저 생성하자.

In[22]:

Out[22]:

이제 .loc를 사용하여 2022년의 값들만 도출해내 보자.

In[23]:

Out[23]:

중복 또는 NaN 색인을 갖는 시계열

매초/분/일 등으로 들어오는 시계열 데이터 구조에서는 보기 힘들 수 있지만, 특정 타임스템프에 중복으로 들어오는 시계열 데이터가 있을 수 있다. 이때 우리는 is_unique 속성을 확인하여 어떤 색인이 유일한지, 유일하지 않은지 확인할 수 있다. Is_unique를 실행하기 전 Series를 먼저 생성하자. 앞서 우리는 리스트 형태의 데이터를 생성한 후 Series를 만들었는데, 이번에는 pandas.DatetimeIndex를 이용하여 데이터를 생성하는 방법을 알아보자. Pandas.DatetimeIndex의 성질 중 하나는 튜플과 같이 value 수정이 불가능하다는 점이다.

In[24]:

Out[24]:

이제 is_unique 속성을 확인하여 색인이 유일한지 알아보자.

In[25]:

Out[25]:

Is_unique로 색인이 유일하지 않음을 알았으니, 각 날짜별로 색인이 몇 개가 중복되는지 확인해보자.

In[26]:

Out[26]:

In[27]:

Out[27]:

만약 어떤 색인이 있는지 확인하여 중복 여부를 판단하는 작업이 귀찮다면, groupby의 level=0(단일 단계 인덱싱)을 사용할 수 있다.

In[28]:

Out[28]:

In[29]:

Out[29]:

시계열은 규칙적으로 데이터(날짜, 수치 등)가 들어올 수 있지만, 일반적으로 pandas에서는 불규칙적으로 들어오는 것으로 간주한다. 따라서, pandas에는 리샘플링, 빈도 등에 관한 도구들이 존재한다. 그 중 한 예로 resample이라는 메서드로 우리는 타임스템프에 대한 빈도 변환을 할 수 있다.

ts를 1/1/2022부터 일 빈도로 6개의 datetime이라 정의하자. 그 후 series를 만들어 2일씩 값을 묶어 더해보자.

In[30]:

Out[30]:

In[31]:

Out[31]:

In[32]:

Out[32]:

앞에서 살펴보았던 padas.date_range를 사용하면 특정한 빈도(frequency)로 pandas.DatetimeIndex를 생성한다는 것을 눈치챘을 것이다. date_range는 기본적으로 일별 타임스템프를 생성하는데, 시작하는 날짜나 끝나는 날짜만 파라미터로 지정했을 때에는 생성할 기간(periods)을 정해줘야만 한다.

In[33]:

Out[33]:

In[34]:

Out[34]:

Pandas documentation에서 확인할 수 있는 time series offset aliases를 통해 자유롭게 작업할 수 있다.

Date Offset	Frequency String	Description
Day	‘D’	달력상의 일
Hour	‘H’	매 시간
Minute	‘T’ or ‘min’	매 분
Second	‘S’	매 초
Milli	‘L’ or ‘ms’	밀리초
Micro	‘U’ or ‘us’	마이크로초
Nano	‘N’	나노초
BDay or BusinessDay	‘B’	매 영업일
MonthEnd	‘M’	월 마지막 일
MonthBegin	‘MS’	월 시작일
BusinessMonthEnd	‘BM’	월 영업 마감일
BusinessMonthBegin	‘BMS’	월 영업 시작일
Week	‘W’	요일, ex) W-MON, W-TUE, …
WeekOfMonth	‘WOM’	월별 주차와 요일, ex) WOM-2WED : 매월 둘째 주 수요일
…

(출처: pandas documentation, https://pandas.pydata.org/docs/user_guide/timeseries.html)

WOM을 이용하여 2022/1/1부터 2022/12/31 사이에 매월 둘째 주 수요일만을 도출해내보자.

In[35]:

Out[35]:

Pandas.period 클래스를 사용하면 정해진 빈도에 따라 기간을 자유롭게 이동시킬 수 있다. 아래 예제에서 나오는 ‘A-JAN’, ‘A-FEB’, … 의 형식은 주어진 월의 마지막 날을 의미한다.

In[36]:

Out[36]:

In[37]:

Out[37]:

In[38]:

Out[38]:

이렇게 Period 객체를 만들어 정수를 더하거나 빼며 계산할 수 있다.

Pandas.PeriodIndex 클래스를 사용하여 문자열 배열 또한 객체화 할 수 있다. Period_range 함수를 이용하면 기간 범위를 생성할 수 있는데, period_range를 먼저 살펴보고 PeriodIndex 클래스로 인덱스를 만들어보자.

In[39]:

Out[39]:

In[40]:

Out[40]:

이제 문자열로 이루어진 value들로 PeriodIndex 클래스를 생성해보자. 아래 예제에서 나오는 ‘Q-JAN’, ‘Q-FEB’, … 의 형식은 지정된 월을 연도의 마감으로 한다. 많은 회사 또는 기관에서는 분기로 연도의 시작이나 끝을 정하는데, 2022년의 첫번째 분기가 2021에 시작하였을 때 이 frequency를 사용하면 된다.

In[41]:

Out[41]:

Period의 빈도는 asfreq 메서드를 통해 변환할 수 있다. 먼저 freq=’A-JAN’, ‘A-‘FEB’, … 로 설정한 후, 연간 빈도를 원간 빈도로 변환해보자.

In[42]:

Out[42]:

In[43]:

Out[43]:

이렇게 월간 빈도로 변환한 후 시작과 끝 월을 확인할 수 있다. 만약 A-JUN 빈도일 때 2022년 7월은 2023년 기간에 속하게 된다.

타임스템프를 Period로, Period를 타임스템프로 변환하기

먼저, date_range를 사용하여 타임스템프로 색인된 Series를 만들어보자. 다음 우리는 to_period 메서드를 사용하여 Period로 변환할 수 있다.

In[44]:

Out[44]:

In[45]:

Out[45]:

In[46]:

Out[46]:

To_period()에는 새로운 빈도를 직접 지정하여 기간의 중복여부와 관계없이 값을 반환할 수 있다.

Date_range로는 일 단위의 빈도로 Series 객체를 생성한 후, Period로 변환할 때는 월 빈도로 변경해보자.

In[47]:

Out[47]:

지금까지는 타임스탬프를 Period로 변환하는 것에 대해 알아보았는데, 이제 반대로 Period를 타임스탬프로 변환하는 것에 대해 알아보자. to_timestamp 메서드를 사용하면 간단하게 변환할 수 있다. 위 예제 중 ts_period를 다시 타임스탬프로 변환해보자.

In[48]:

Out[48]:

시계열의 빈도를 변환하는 과정을 우리는 리샘플링(Resampling)이라 한다. 리샘플링에는 업샘플링과 다운샘플링이 있다. 업샘플링(Up-sampling)은 하위 빈도의 데이터를 상위 빈도로 집계하는 것을 일컫고, 다운샘플링(Down-sampling)은 그 반대를 말한다. 그러나 W-MON(월요일을 기준으로 한 주간)을 W-WED(수요일을 기준으로 한 주간)으로 변경하는 것은 두 범주에 들어가지 않는다. 따라서 모든 리샘플링이 업샘플링이나 다운샘플링으로만 구분되는 것은 아니다.

앞에서 잠깐 다뤘던 resample 메서드는 빈도 변환에 있어서 pandas에서 제공하는 도구 중 큰 시계열 데이터를 처리할 때 유용하게 쓰이는 메서드이다.

다운샘플링의 예를 먼저 들어보자. 앞서 말했듯이 다운샘플링은 상위 빈도의 데이터를 하위 빈도로 집계하는 것을 말한다. 만약 1분 단위로 들어오는 데이터가 있을 때, 10분 단위로 묶어서 각 그룹의 합을 집계해보자.

In[49]:

Out[49]:

이제 resample 함수를 이용하여 다운샘플링을 진행해보자.

In[50]:

Out[50]:

Resample의 파라미터 중 closed의 값에 ’right’을 넘기면 시작값을 오른쪽으로 포함시킨다. 이해하기 쉽게 20분의 데이터를 3분 단위로 묶어서 각 그룹의 합을 집계하되, closed=’right’을 지정하여 오른쪽에서부터 시작하여 결과를 도출해보자.

In[51]:

Out[51]:

위 결과와 반대로 시작 값을 왼쪽에 포함시켰을 때에는 첫 번째 그룹은 00:00:00 부터 00:03:00 까지의 값을 집계했을 것이다.

이제 업샘플링과 보간에 대해서 알아보자. 업샘플링을 하면 누락되는 데이터 값이 발생한다. 따라서 이전 값을 채워서 보간을 하는 ffill을 사용해도 되고, pandas.DataFrame.interpolate 을 사용해도 된다.