Chapter 8. 기초 시계열 분석

이번 장에서는 시계열 분석에서 자주 나오는 용어 및 알아야 할 개념들을 간단하게 정리해보고자 한다.

확률과정(Stochastic Process)

확률과정은 확률변수들의 수열이다. 즉, {Y(t), t = 0, ±1, ±2, ...}형태로 나타낼 수 있으며, 시계열 데이터를 이해하려면 Y(t) 들의 결합 확률 분포를 분석해야 한다. 왜냐하면, 일반적인 시계열 데이터는 독립이 아니기 때문에, 결합 확률 분포를 각 확률 변수의 분포들로 분해할 수 없기 때문이다. 하지만, 평균과 분산을 분석하면 결합 확률 분포의 많은 부분을 이해할 수 있다.

평균, 분산, 공분산, 상관계수

앞서 Chapter 1. 기초 선형대수 및 통계학에서 간단하게 소개한 개념들을 수식으로 알아보자. 평균, 분산은 해당 시점의 확률 변수들의 평균, 분산이다.

그리고 공분산, 상관계수는 다른 시점의 확률변수들과의 관련성을 나타낸다.

그리고 다음 두 가지 식은 시계열의 상관성을 분석할 때 자주 쓰이므로 잘 알아두자.

White Noise

백색 잡음 과정은 아무런 패턴 없이, 무작위적으로 진동하는 확률과정이다. 즉, 다음을 만족하는 확률과정이다. 개발한 모형이 제대로 모델링 했는 지 분석할 때, 잔차가 white noise를 따르는 지 확인해야 한다. 더 이상 모델에 추가해야 할 패턴이 데이터에 없다는 의미이기 때문이다.

위의 식에서 iid란, identical and independent의 약어로 white noise끼리는 독립적이며(서로 선형/비선형적 관계가 없다) 서로 같은 분포를 따름을 의미한다.

White Noise [출처]: https://velog.io/@euisuk-chung/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D%EC%8B%9C%EA%B3%84%EC%97%B4-AR-MA-ARMA-ARIMA%EC%9D%98-%EB%AA%A8%EB%93%A0-%EA%B2%83-%EA%B0%9C%EB%85%90%ED%8E%B8

백색 잡음 과정의 평균, 분산, 공분산은 다음과 같다. 평균과 분산이 매 시점마다 일정하고, 공분산은 0임을 알 수 있다.

실제로 그래프를 보더라도, 대부분의 데이터가 0 근처의 값을 갖는다. 분산도 일정해서 값이 변동하더라도 일정 값 안에서 진동한다.

Random Walk

Random Walk는 현 시점 데이터는 이전 시점 데이터에 현재 무작위 오차가 더해져서 생성됐다고 판단될 때 쓸 수 있는 확률 과정이다. 즉, 다음 두 식과 동일하다.

Random Walk 과정의 평균, 분산, 공분산은 다음과 같다.

식을 해석해보면 평균은 0으로 일정하며, 분산은 시점 t가 커질수록 커진다. 그리고 시차가 작을수록 높은 선형 상관을 보이지만, 커질수록 상관은 낮아진다. 실제로 아래 그래프를 보면, 시점이 1000으로 갈수록 분산이 커져 평균인 0에서 멀어지는 것을 알 수 있다. 후에 배우겠지만, Random Walk는 비정상 시계열이다.

Random Walk [출처]: https://machinelearningmastery.com/gentle-introduction-random-walk-times-series-forecasting-python/

시계열 데이터의 특징

정상성(Stationarity)

정상성은 시계열 분석에서 핵심적인 개념이다. 데이터가 정상성을 만족하지 않으면, 시계열은 비정상 시계열(Non-Stationary Time Series)이 되며 시계열 분석을 수행할 수 없다. 정상성을 만족하지 않는 데이터는 정상성을 만족하도록 전처리를 해야 분석을 수행할 수 있다. 정상성의 개념은 크게 두 가지가 있다. 첫 번째는 Strict Stationarity이다. Strict Stationarity의 정의는 다음과 같다.

시차 k 및 시점 t1,t2,...,tn 을 어떻게 선택하더라도 결합 확률 분포 가 항상 일정해야 한다는 뜻이다. 그래야 관측된 부분 시계열만을 이용해서 전체 확률 과정에 대한 추론을 할 수 있기 때문이다. 하지만, strict stationarity를 보이는 것이 쉽지 않으므로 이와 비슷하지만 수학적으로 약화된 weak stationarity 가정이 생겼다. Weak stationarity는 다음 두 조건을 만족하면 성립한다.

평균이 일정하고, 공분산이 시차에만 의존하면 weak stationarity 시계열이다. 일반적으로 말하는 stationarity는 weak stationarity를 의미한다. 대표적인 정상 시계열은 백색 잡음 과정이다.

트렌드와 계절성, 주기

트렌드는 시계열이 단/장기적으로 보이는 추세를 의미하며, 계절성은 일정한 빈도를 가지며 반복적으로 나타나는 패턴을 의미한다. 반면, 주기는 일정한 빈도를 가지지 않고 반복적으로 나타나는 패턴을 의미한다. 아이스크림 판매량 같은 경우는 일반적으로 여름에 높고 겨울에 낮을 것이므로 1년 간격의 계절성으로 볼 수 있다. 반면, 경기 순환은 반복되지만 호황과 불황이 일정한 간격을 가지지 않아서 주기로 볼 수 있다. 시계열은 트렌드, 계절성, 주기 그리고 Random Noise의 합으로 보거나 각각으로 분해할 수 있다.

XAIOps 의 장기 부하 예측 모델들은 하나의 단일 모형을 쓰지 않고, 시계열을 각각의 성분으로 분해한 다음 각 성분별로 모형을 만들어서 예측 후 다시 종합하는 방식을 사용하고 있다. 각 성분을 예측할 때 회귀 분석 혹은 시계열 모형들을 활용해서 진행해도 된다.

정상 시계열(Stationary Time Series)

이동 평균 과정(Moving Average Process)

현재의 오차가 과거 오차들과 상관된다면, 아래와 같은 이동 평균 과정으로 모형화 할 수 있다.

q 가 1, 2 그리고 일반화된 k 일 때 어떤 특징을 가지는지 알아보자.

q = 1 이면 로 모델링 할 수 있고, MA(1) 확률 과정의 특징은 다음과 같다. 여기서 공분산, 상관계수는 k = 1 인 경우에만 성립하며, 그 외의 경우에는 전부 0이다.

1차 이동 평균 과정은 평균이 0으로 일정하며, 공분산이 시점에 따라 달라지지 않으므로 정상 확률 과정이다. 그리고 시차가 1인 경우에는 선형 상관이 있고 그 이후부터는 없다.

pk=0,k≤2 평균이 0인 이유는 확률 변수 Yt 는 확률 과정 {Yt} 평균을 뺀 값으로 가정하기 때문이다.q = 2 이면Yt=et−Θet−1−Θet−2로 모델링 할 수 있고, 확률 과정의 특징은 다음과 같다.

2차 이동 평균 과정 MA(2) 도 평균이 0으로 일정하며, 공분산이 시점에 의존하지 않기 때문에 정상 확률 과정이다. 다만, 이전과 달리 시차가 2 인 경우에도 선형 상관이 있고 그 이후부터는 없다.

q = k 인 경우를 추측해보자. 평균이 0, 공분산은 시점에 의존하지 않으므로 정상 확률 과정일 것이다. 그리고 시차가 k 인 경우까지는 선형 상관이 있고, k 이후부터는 없을 것으로 추측할 수 있다. q = k 인 MA(K) 확률 과정의 특징은 다음과 같다. 증명은 위의 방식과 동일하게 진행하면 된다.

이동 평균 [출처]: https://otexts.com/fppkr/MA.html

자기 회귀 과정(Auto Regressive Process)

자기 회귀 과정은 현재 값이 과거 p 시점 이전의 데이터들의 영향을 받는다고 판단될 때 사용할 수 있다. 수식으로 표현하면 다음과 같다.

1차 자기 회귀 과정을 살펴보자. 는 백색 잡음 과정이며, 현 시점의 오차는 과거 데이터와 독립이라고 가정한다. p = 1 인 경우는 다음과 같다.

AR(1) 확률 과정의 특징은 다음과 같다.

이동 평균 과정과 달리 자기 회귀 과정에서는 시차가 1보다 커져도 자기 상관이 있는 것을 알 수 있다. 그리고 이동 평균 과정과 달리 자기 회귀 과정은 특정 조건을 만족해야 정상성을 만족한다. 식을 재귀적으로 무한히 쓰면, 현재 값은 과거 시점의 오차들의 가중합이다.

Yt=et+Φet−1+Φ2et−2+...위의 식은 선형 확률 과정(General Linear Process)이며,∑j=1∞Φ2j가 수렴해야 정상 확률 과정이 된다는 것이 알려져 있다. 이 식을 만족하는 범위는−1≤ϕ≤1이다. 그렇지 않으면, 가장 최근 데이터보다 더 과거 시점 데이터의 가중치가 커서 논리적으로 타당하지 않은 모형이 되기 때문이다.

AR(2)인 경우에는−1≤ϕ2≤1,−1≤ϕ1+ϕ2≤1,−1≤ϕ2−ϕ1≤1이라는 세 가지 식을 모두 만족해야 정상 시계열이 되며, 3차 이상은 복잡해서 생략한다.

자기회귀 모델 [출처]: https://otexts.com/fppkr/AR.html

AR 모형 같은 경우는 과거 시점의 값들이 현재 시점에 연쇄적으로 영향을 주기 때문에, 특정 시점 값끼리 상관을 측정하려면 중간 시점의 영향력을 제거하고 비교해야 한다. 이를 측정한 함수가 부분 자기 상관 함수이다. 부분 자기 상관 함수

ϕkk는 다음과 같다.

즉, 중간 시점의 값들은 주어진 값으로 보고 Yt와 Yt−k사이의 변동성만 계산한 것이다.

ϕkk를 계산하는 구체적으로 계산하는 방법은 다음과 같다.

선형 회귀 분석을 이용해서 Y_t 에 영향을 주는Yt−1,Yt−2,...,Yt−k+1의 영향력을 제거하고Yt−k가 Yt−1,Yt−2,...,Yt−k+1에 끼친 영향력을 제거한 다음에 구한 Yt와Yt−k의 상관이다. AR(1)모형과 MA(1) 모형의 부분자기상관함수는 각각 다음과 같다. ϕ11=1로 가정한다.

자기 상관 함수는 AR 모형이 조금씩 줄어들고, MA 모형은 q 시차가 지나면 전부 0 이었다. 반대로 부분 자기 상관 함수는 AR 모형이 p 시차가 지나면 전부 0이지만, MA 모형은 조금씩 줄어든다.

가역성(invertibility)

AR 모형은 MA 모형의 차수를 무한하게 늘린 확률 과정으로 볼 수 있다. 역으로 MA 모형도 AR 모형 형태로 나타낼 수 있으면, MA 모형이 가역적이다고 말한다. et=Yt+Θ(et−1)을 재귀적으로 쓰면, 다음과 같아진다.

AR 형태로 풀면, 다음과 같다.

가역성을 만족하려면, -1 <Θ< 1 이어야 한다. 그렇지 않으면, 가장 최근 관측값이 더 과거 관측값보다 더 작은 가중치를 갖게 되기 때문이다.

자기 회귀 이동 평균(Auto Regressive Moving Average) 과정

자기 회귀 이동 평균 과정은 자기 회귀 과정과 이동 평균 과정의 조합으로 데이터를 설명하는 것이다. 각 과정의 차수에 따라서 ARMA(p, q) 라고 표현한다. ARMA(1, 1) 과정은 다음과 같다.

ARMA(1, 1)의 자기 상관 함수는 ϕ,θ에 의존하며 AR처럼 ϕ 에 따라 점차 감소하는 것을 알 수 있으며, 정상성을 만족하는 조건은 -1 <ϕ< 1 이다.

ARMA(p, q) 는 일반적으로 정상성과 가역성을 만족시켜야 한다.

비정상(Non-Stationarity) 시계열

시계열 데이터가 항상 정상성을 만족할 수는 없다. 비정상 시계열은 어떤 특징을 가지며, 어떻게 전처리하고 모델링하는지 알아보자.

AR(1) 과정에서 정상성을 만족하려면, -1 < ϕ < 1이어야 한다. 이를 만족하지 않는 경우 어떻게 되는지 확인해보자. 비정상 AR(1) 과정인 Yt=3Yt−1+et 을 생각해보자. 식을 재귀적으로 풀어보면, 다음과 같아진다.

현재 값은 과거 오차들의 가중 합이지만, 더 과거 시점의 오차가 현재 값에 더 큰 영향을 주면서 시계열은 발산하게 된다.

Yt 의 특성은 다음과 같다.

Y0=0 이라고 가정하자.

시간이 지날수록 분산이 점점 커지는 것을 알 수 있으며, k가 어느 정도 커져도 자기상관이 1에 가까운 값임을 알 수 있다. 만약ϕ=1이면, 이미 언급한 Random Walk 과정이 된다.

차분(Differencing)

차분은 비정상 시계열을 정상 시계열로 만드는 방법 중 하나이다. 시계열이 Yt=Mt+etwhereMt=Mt−1+εt형태로 이루어졌다고 하자. Yt 는 Random Walk Mt 에 영향을 받는 비정상 시계열이다. 1차 차분한 시계열 ∇Yt는 다음과 같다.

시계열 ∇Yt의 Auto Correlation 은−12+(σε2/σe2)로 계산된다. 상관이 시점에 의존하지 않으므로, 차분하면 정상 시계열이 되는 것을 알 수 있다.

과대 차분(Over-differencing)

차분을 하면 정상 시계열로 만들 수 있지만, 필요 이상의 차분을 하게 되면 모형에 문제를 일으키게 된다. Random Walk 모델 Yt=Yt−1+et 를 생각해보자. Random Walk 모델을 1차 차분한 ∇Yt 는 white noise 가 되어 정상 시계열이다. Random Walk 를 2차 차분하면 ∇2(Yt)=et−et−1 형태의 1차 이동 평균 과정이 된다. 1차 차분으로 정상성을 이미 만족시켰으므로, 굳이 차분을 한 번 더 할 필요가 없다. 2차 차분을 하면 오히려 불필요한 이동 평균 모형의 모수를 추정해야 하며, 이동 평균 모형의 가역성이 깨질 수도 있다. 차분은 보통 1회, 최대 2회 정도면 충분하다.

자기 회귀 누적 이동 평균(ARIMA) 모형

d번 차분한 시계열이 ARMA(p, q)를 따르게 되면, 원 시계열은 ARMA(p, d, q)를 따르게 된다. ∇dYt=ϕ1∇dYt−1+ϕ2∇dYt−2+...+ϕp∇dYt−p+et−Θ1et−1−...−Θqet−q 로 쓸 수 있다.

예측(Forecasting)

현재 시점 t로부터 p시점 뒤의 예측값 Yt^ (p) 는 다음처럼 정의할 수 있다. Yt^(p)=E(Yt+p|Y1,Y2,...,Yt) 조건부 기댓값을 쓰는 이유는 수학적으로 예측 오차를 가장 최소화하기 때문이다. 확률 과정은 다양한 경로를 보일 수 있는데, 과거 값은 여러 경로 중 하나가 실현된 것이므로 그 자체에 정보가 있다고 볼 수 있다. 이 정보를 사용해서 미래를 예측하는 것이 직관적으로도 타당하다. 재귀적으로 예측값을 구해서 목표 시점의 예측값을 계산한다.

AR(1)

이제부터 Yt 의 평균이 0이 아니라고 가정하자. 그렇다면, Yt 를 쓰면 다음과 같아진다. 위에서 소개한 AR(1) 과정의 평균은 0으로 가정했기 때문이다.