02. Autoregressive Model(1)

오늘은 자기회귀모형(autoregressive model, AR)에 대해 알아보려고 한다.

 

우선 AR모델의 정의는 다음과 같다

 

Def 2.1 시계열 \( x_t \)가 \( \varepsilon_t \sim WN(0, \sigma _{\varepsilon}^2) \)에 대해 \( x_t = \phi _0 + \phi_1 x_{t-1} +\phi_2 x_{t-2} + \cdots + \phi_p x_{t-p} + \varepsilon_t \)를 만족할 때, \( x_t \)가 차수가 \( p \)인 AR모델을 따른다고 하고, \( x_t \sim AR(p) \)로 표시한다.

즉, 자기회귀모형이란 그 이름에서 알 수 있듯 시점 \( t \)에서의 정보는 이전 \( p \)만큼의 정보들로 표현된다는 것을 의미한다.

 

AR모델에 대해 이전 \( p \)만큼의 정보를 알고 있을 때, 시점 \( t \)에서의 정보의 조건부 기댓값을 다음과 같이 정의할 수 있다.

 

\[ E(x_t | x_{t-1}, \ldots ,x_{t-p}) = \phi_0 + \phi_1 x_{t-1} + \phi_2 x_{t-2} + \cdots + \phi_p x_{t-p}. \]

 

즉 최근 \( p \)만큼의 정보가 시점 \( t \)에서의 값의 기댓값을 결정한다는 것이다.

 

Def 2.2 시계열 \( x_t \)에 대하여 \( Lx_t = x_{t-1} \)을 만족하는 \(L \)을 lag-연산자라고 한다.

lag-연산자 \( L \)은 다음과 같은 성질을 갖는다.

 

(a) \( L^2 x_t = L \cdot Lx_t = Lx_{t-1} = x_{t-2} \),

 

(b) \( L^j x_t = x_{t-j} \),

 

(c) \( L^0 = 1 \),

 

(d) \( L^{-1} x_t = x_{t+1} \),

 

(e) 상수 \( a \)에 대하여 \( La = a \).

 

위에서 정의한 lag-연산자를 이용하여 Def 2.1의 식을 다음과 같이 다시 적을 수 있다.

 

$ x_t - \phi_1 x_{t-1} -\phi_2 x_{t-2} - \cdots - \phi_p x_{t-p} = (1-\phi_1 L -\phi_2 L^2 -\cdots -\phi_p L^p )x_t $

 

$~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~=\phi(L)x_t$

 

$~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~= \phi _0  + \varepsilon_t$

 

이때 $\phi (L)$을 characteristic function(char. ft.)라고 한다.

 

이렇게 부르는 이유는 다음 정리를 통해 알 수 있다.

 

Thm 2.4 Char. ft. $ \phi (z)= 1- \phi_1 z-\phi_2 z^2 - \cdots - \phi_p z^p =0 $의 모든 복수수 해의 크기가 1보다 크면 $x_t$의 $AR(p)$모델은 정상성을 갖는다.

즉 Thm 2.4에 따르면, char. ft.을 통해 AR모델의 정상성 여부를 확인할 수 있게 된다.

 

간단하게 다음의 꼴을 갖는 AR(1) 모델을 살펴보자.

 

$$ x_t = \phi_0 + \phi_1 x_{t-1} + \varepsilon_t ~~where~~\varepsilon_t \sim WN(0, \sigma^2).$$

 

Char. ft. $\phi(L)=1-\phi_1 z$이고, 이 Char. ft.의 해는 $z = \phi_1^{-1}$이므로

 

$ |z| = |\phi_1^{-1}| = 1/|\phi_1| >1 $이거나 $|\phi_1|<1$이면 $x_t$의 AR(1) 모델은 정상성을 갖는다.

 

.

 

이번에는 AR(p) 모델의 형태를 살짝 바꾸려고 한다.

 

우리는 Def 2.1에서 AR(p) 모델을 다음과 같이 정의했다.

 

$$ x_t = \phi _0 + \phi_1 x_{t-1} +\phi_2 x_{t-2} + \cdots + \phi_p x_{t-p} + \varepsilon_t \tag{1}$$

 

위의 AR(p) 모델이 정상성을 갖는다고 가정하고 $E(x_t ) = \mu $라고 하자.

 

식 (1)의 양변에 기댓값을 취해주면 다음과 같다.

 

$$ \mu = \phi_0 + \phi_1 \mu + \cdots + \phi_p \mu. $$

 

위 식을 다시 $\phi_0$에 대해 정리해주면

 

$$  \phi_0 = (1 - \phi_1 - \cdots - \phi_p)\mu. \tag{2}  $$

 

이제 위의 식 (2)를 식 (1)에 대입해주면

 

$$ x_t - \mu = \phi_1 (x_{t-1} - \mu) + \cdots + \phi_p (x_{t-p} -\mu) + \varepsilon_t . \tag{3}$$

 

식 (3)의 양변에 $ x_{t-k} - \mu $를 곱해주고 $E[(x_{t-k} - \mu) \varepsilon_t]=0$을 이용해주면

 

$$  E[(x_{t} - \mu)(x_{t-k} - \mu)] = \phi_1 E[(x_{t-1} - \mu)(x_{t-k} - \mu)] + \cdots + \phi_p E[(x_{t-p} - \mu)(x_{t-k} - \mu)]. $$

 

위 식을 다시 써주면

 

$$  \gamma_k = \phi_1 \gamma_{k-1} + \cdots + \phi_p \gamma_{k-p}.  $$

 

즉 정상성을 갖는 시계열 $x_t$의 AR(p) 모델에서 ACF는 다음과 같은 관계를 만족한다.

 

$$  \rho_k = \phi_1 \rho_{k-1} + \phi_2 \rho_{k-2} + \cdots + \phi_p \rho_{k-p}~~for~~k \geq p.   $$

.

 

오늘은 AR모델의 정의와 char. ft.을 이용하여 정상성을 판단하는 법, AR 모델에서 ACF의 관계식에 대해 알아보았다.

 

식 (3)은 이후 ARMA 모델에서 자주 사용할 형태이므로 기억해두면 좋을 것 같다.

 

다음 포스트에서는 AR(1) 모델에 대한 좀 더 자세한 내용과 AR 모델을 통해 예측하는 방법을 알아보려고 한다.

 

오늘은 여기까지.