왜 전통적 기술적 분석은 복잡한 시장에서 실패할까?

퀀트 트레이딩 분야에서 우리는 종종 이런 의문에 부딪힙니다: 단순 이동평균선이나 RSI에 기반한 전략이 어떤 시장 환경에서는 뛰어난 성과를 내지만, 다른 기간에는 잦은 실패를 겪는 이유는 무엇일까? 그 답은 금융 시계열의 복잡성에 있습니다. 이들은 자기상관성을 가질 뿐만 아니라, 시간에 따라 변하는 변동성 특성도 지니고 있습니다.

오늘 분석할 이 전략은 AR(2) 자기회귀 모델과 GARCH(1,1) 조건부 이분산 모델을 교묘하게 결합하여 통계적 관점에서 이 문제를 해결하려고 시도합니다. 이는 단순한 기술적 지표의 중첩이 아니라, 금융 시계열의 본질적 특성에 대한 깊은 탐구입니다.

AR(2) 모델은 가격의 기억 효과를 어떻게 포착하는가?

전략의 핵심은 AR(2) 자기회귀 모델의 적용에 있습니다. 자기회귀란 무엇일까? 간단히 말해, 과거의 자신을 사용하여 미래의 자신을 예측하는 것입니다. AR(2) 모델은 현재 수익률이 이전 두 기간의 수익률로 선형적으로 표현될 수 있다고 가정합니다:

            
            
            
r_t = φ₁ × r_{t-1} + φ₂ × r_{t-2} + ε_t

코드에서는 Yule-Walker 방정식을 통해 계수 φ₁과 φ₂를 구합니다:

            pinescript
            
            
c0 = calcAutoCovariance(returns, 0, lengthReg) // 시차 0 자기공분산
c1 = calcAutoCovariance(returns, 1, lengthReg) // 시차 1 자기공분산
c2 = calcAutoCovariance(returns, 2, lengthReg) // 시차 2 자기공분산
phi1 = (c1 * c0 - c2 * c1) / denominator // 첫 번째 자기회귀 계수
phi2 = (c2 * c0 - c1 * c1) / denominator // 두 번째 자기회귀 계수

이 방법의 장점은 주관적 판단에 의존하지 않고, 데이터가 스스로 '말하게' 하여 가격 시계열에 내재된 규칙성을 발견한다는 점입니다.

GARCH 모델은 왜 시장 위험을 더 잘刻画할 수 있는가?

AR 모델만으로는 충분하지 않습니다. 금융 시장의 변동성은 일정하지 않기 때문입니다. 우리 모두 '변동성 군집' 현상을 알고 있습니다 – 큰 변동은 큰 변동을 동반하는 경향이 있고, 평온한 기간은 더 오래 지속되는 경향이 있습니다.

GARCH(1,1) 모델은 바로 이러한 특성을刻画하기 위한 것입니다:

            
            
            
σ²_t = ω + α × ε²_{t-1} + β × σ²_{t-1}

코드의 구현 논리는 이를 명확히 보여줍니다:

            pinescript
            
            
omega = (1 - adjustedAlpha - adjustedBeta) * longTermVar
garchVariance := omega + adjustedAlpha * math.pow(arResidual[1], 2) + adjustedBeta * garchVariance[1]

여기서 핵심 통찰은: 현재 조건부 분산이 이전 기간의 잔차 제곱(단기 충격)뿐만 아니라 이전 기간의 조건부 분산(장기 지속성)에도 의존한다는 것입니다. 매개변수 α는 단기 충격의 영향을 제어하고, β는 변동성의 지속성을 제어합니다.

전략의 거래 로직은 위험-수익 균형을 어떻게 실현하는가?

AR 예측과 GARCH 변동성 추정을 바탕으로 전략은 동적 신뢰 구간을 구축합니다:

            pinescript
            
            
upperReturnBand = arReturnPredict + stdevFactor * garchStd
lowerReturnBand = arReturnPredict - stdevFactor * garchStd

거래 신호 생성 로직은 평균 회귀 사상을 반영합니다:

• 가격이 하한 밴드를 하회하면 매수 (longSignal = rawPrice < lowerPriceBand)
• 가격이 상한 밴드를 상회하면 매도 (shortSignal = rawPrice > upperPriceBand)

이 설계의 교묘한 점은: 신뢰 구간의 폭이 시장 변동성에 따라 동적으로 조정된다는 것입니다. 변동성이 높은 기간에는 구간이 넓어져 거래 빈도가 줄어들고, 변동성이 낮은 기간에는 구간이 좁아져 거래 기회가 늘어납니다.

실제 적용 시 주의해야 할 핵심 문제는 무엇인가?

1. 모델 안정성 검증
코드에는 중요한 안정성 검사가 포함되어 있습니다:

            pinescript
            
            
if stabilityCheck >= 0.99 or math.abs(phi2) >= 0.99
    scaleFactor = 0.95 / math.max(stabilityCheck, math.abs(phi2) + 0.01)

이는 AR 모델의 정상성을 보장하여 발산하는 예측 결과를 방지합니다.

2. 매개변수 수렴성 제약
GARCH 모델은 α + β < 1을 요구하여 장기 분산의 존재를 보장합니다:

            pinescript
            
            
if sumParam >= 0.999
    scale = 0.99 / sumParam

3. 필터링 메커니즘의 필요성
전략은 RSI 필터 옵션을 제공하며, 이는 실제 응용에서 중요합니다. 순수 통계 모델은 시장의 추세적 특성을 무시할 수 있으며, 기술적 지표의 추가는 추가 확인 신호를 제공할 수 있습니다.

전략의 한계와 개선 방향

이 전략은 이론적으로 우아하지만, 실제 적용 시 여전히 고려해야 할 사항이 있습니다:

데이터 빈도 선택: AR-GARCH 모델은 다양한 주기에서 성능 차이가 큽니다. 고빈도 데이터는 더 많은 정보를 제공하지만 더 많은 노이즈도 도입합니다.

매개변수의 시간 가변성: 현재 구현은 AR과 GARCH 매개변수가 추정 창 내에서 일정하다고 가정하지만, 실제 시장 구조는 변할 수 있습니다.

거래 비용의 영향: 통계적 차익거래 전략은 일반적으로 높은 거래 빈도를 필요로 하며, 수수료와 슬리피지 비용을 무시할 수 없습니다.

맺음말: 퀀트 트레이딩에서 통계 모델링의 가치

이 AR-GARCH 전략은 금융 모델링에서 현대 통계학의 강력한 힘을 보여줍니다. 단순한 기술적 지표의 조합이 아니라 금융 시계열의 통계적 특성에 대한 깊은 탐구입니다.

퀀트 트레이더에게 이러한 전략을 이해하는 가치는 직접 적용뿐만 아니라 통계적 사고로 시장을 분석하는 능력을 기르는 데 있습니다. AI와 머신러닝이 대세인 오늘날에도 이러한 고전적 통계 모델은 시장을 이해하고 전략을 구축하는 중요한 기초입니다.