مدل خودهمبسته

در آمار و پردازش سیگنال، مدل خود همبسته (به انگلیسی: Autoregressive model)، نوعی از فرایند تصادفی است که غالباً جهت مدلسازی و پیش‌بینی انواع مختلفی از پدیده‌های طبیعی و اجتماعی به کار می‌رود.

تعریف

عبارت (AR(p به مدل خودهمبستهٔ مرتبهٔ p اشاره دارد و به صورت زیر تعریف می‌شود:

$X_{t}=c+\sum _{i=1}^{p}\varphi _{i}X_{t-i}+\varepsilon _{t}\,$

که $\varphi _{1},\ldots ,\varphi _{p}$ پارامترهای مدل،$c$ عدد ثابت و $\varepsilon _{t}$ نوفه سفید می‌باشد. عددثابت $c$ در بسیاری از مواقع جهت سادگی حذف می‌شود. یک مدل خودهمبسته می‌تواند به صورت خروجی یک فیلتر پاسخ ضربه با قطب‌های نامحدود که ورودی آن نوفهٔ سفید است، در نظرگرفته شود.

اعمال برخی محدودیت‌ها بر پارامترهای این مدل، برای فرایند مانا بودن آن الزامی است. برای مثال فرایند (AR(۱ با φ_۱| ≥ ۱| مانا نخواهد بود. به صورت کلی‌تر، برای اینکه مدل (AR(p مانا باشد، ریشه‌های چندجمله‌ای $\textstyle z^{p}-\sum _{i=1}^{p}\varphi _{i}z^{p-i}$ باید درون دایرهٔ واحد قرار گیرند، یعنی برای هر ریشهٔ $z_{i}$ باید داشته باشیم: $z_{i}$|<۱|.

مثال، یک فرایند (AR(۱

یک فرایند (AR(۱ به صورت زیر داریم:

$X_{t}=c+\varphi X_{t-1}+\varepsilon _{t}\,$

که $\varepsilon _{t}$ نوفه‌ی سفید با میانگین صفر و واریانس $\sigma _{\varepsilon }^{2}$ می‌باشد. (توجه کنید که زیرنویس $\varphi _{1}$ کنارگذاشته شده‌است.) این فرایند ماناست در صورتی‌که $|\varphi |<1$، زیرا در آن صورت مشابه خروجی یک فیلتر پایدار که وردی آن نوفهٔ سفید است، می‌باشد. اگر $|\varphi |\geq 1$ در آنصورت $X_{t}$ واریانس نامحدود خواهد داشت، و بنابراین مانا نخواهد بود. در نتیجهٔ فرض $|\varphi |<1$، میانگین (${\mbox{E}}(X_{t}$ برای تمام مقادیر $t$ یکسان خواهد بود. با قراردادن میانگین برابر $\mu$ خواهیم داشت:

${\mbox{E}}(X_{t})={\mbox{E}}(c)+\varphi {\mbox{E}}(X_{t-1})+{\mbox{E}}(\varepsilon _{t})\Rightarrow \mu =c+\varphi \mu +0$

و در نتیجه:

$\mu ={\frac {c}{1-\varphi }}$

به صورت خاص اگر $c=0$، در آن صورت میانگین برابر صفر خواهد بود. نشان داده می‌شود که واریانس برابر خواهد بود با:

${\textrm {var}}(X_{t})=E(X_{t}^{2})-\mu ^{2}={\frac {\sigma _{\varepsilon }^{2}}{1-\varphi ^{2}}}$

که $\sigma _{\varepsilon }$ واریانس $\varepsilon _{t}$ می‌باشد. اتوکواریانس برابر خواهد بود با:

$B_{n}=E(X_{t+n}X_{t})-\mu ^{2}={\frac {\sigma _{\varepsilon }^{2}}{1-\varphi ^{2}}}\,\,\varphi ^{|n|}$

تابع اتوکواریانس با ثابت زمانی $\tau =-1/\ln(\varphi )$ تنزیل می‌یابد. (برای اثبات کافی است $B_{n}$ به صورت $B_{n}=K\varphi ^{|n|}$ نوشته شود. توجه کنید که در این صورت خواهیم داشت: $\varphi ^{|n|}=e^{|n|\ln \varphi }$)

تابع چگالی طیفی، تبدیل فوریه تابع اتوکواریانس خواهد بود. در شرایط گسسته، تبدیل فوریه گسسته زمان تابع اتوکواریانس برابر خواهد بود با:

$\Phi (\omega )={\frac {1}{\sqrt {2\pi }}}\,\sum _{n=-\infty }^{\infty }B_{n}e^{-i\omega n}={\frac {1}{\sqrt {2\pi }}}\,\left({\frac {\sigma _{\varepsilon }^{2}}{1+\varphi ^{2}-2\varphi \cos(\omega )}}\right)$

این عبارت به علت ساختار گسستهٔ $X_{j}$، متناوب است، که در عبارت کسینوسی مخرج خود را نشان می‌دهد.

اگر فرض کنیم که زمان نمونه‌برداری ($\Delta t=1$) نسبت به ثابت زمانی ($\tau$) خیلی کوچک‌تر باشد، می‌توانیم از تقریب پیوستهٔ $B_{n}$ استفاده کنیم: $B(t)\approx {\frac {\sigma _{\varepsilon }^{2}}{1-\varphi ^{2}}}\,\,\varphi ^{|t|}$ که فرم لورنتزین تابع چگالی طیفی را نتیجه می‌دهد:

$\Phi (\omega )={\frac {1}{\sqrt {2\pi }}}\,{\frac {\sigma _{\varepsilon }^{2}}{1-\varphi ^{2}}}\,{\frac {\gamma }{\pi (\gamma ^{2}+\omega ^{2})}}$

که $\gamma =1/\tau$ فرکانس زاویه‌ای متناسب با ثابت زمانی $\tau$ می‌باشد. نمایش دیگر برای $X_{t}$ از طریق جایگزین کردن $X_{t-1}$ با $c+\varphi X_{t-2}+\varepsilon _{t-1}$ در فرمول اصلی $X_{t}$ بدست می‌آید. با $N$ بار تکرار این جایگزینی خواهیم داشت:

$X_{t}=c\sum _{k=0}^{N-1}\varphi ^{k}+\varphi ^{N}X_{t-N}+\sum _{k=0}^{N-1}\varphi ^{k}\varepsilon _{t-k}$

با میل کردن N به سمت بینهایت، $\varphi ^{N}$ به صفر میل کرده و خواهیم داشت:

$X_{t}={\frac {c}{1-\varphi }}+\sum _{k=0}^{\infty }\varphi ^{k}\varepsilon _{t-k}$

در آن صورت $X_{t}$ به صورت مجموعه‌ای از جملات اخلال به علاوهٔ میانگین ثابت درمی‌آید. در واقع این نمایش معادل یک میانگین متحرک از مرتبهٔ بینهایت، $MA(\infty )$ خواهد بود. اگر $\varepsilon _{t}$ یک فرایند گوسی باشد، $X_{t}$ نیز فرایند گوسی خواهد بود. در حالات دیگر، قضیه حد مرکزی بیان می‌کند که $X_{t}$، زمانی‌که $\varphi$ مقداری نزدیک به یک داشته باشد، به صورت تقریبی توزیع نرمال خواهد داشت.

محاسبهٔ پارامترهای AR

مدل (AR(p با معادلهٔ زیر داریم:

$X_{t}=\sum _{i=1}^{p}\varphi _{i}X_{t-i}+\varepsilon _{t}\,$

یک تناظر مستقیم میان پارامترهای $\varphi _{1},\ldots ,\varphi _{p}$ و تابع کواریانس فرایند وجود دارد، این تناظر می‌تواند به گونه‌ای معکوس شود که پارامترها از روی تابع خودهمبستگی (که از کواریانس‌ها بدست می‌آید) تعیین و محاسبه شوند. این محاسبه از طریق حل معادلات یول-واکر انجام می‌شود:

$\gamma _{m}=\sum _{k=1}^{p}\varphi _{k}\gamma _{m-k}+\sigma _{\varepsilon }^{2}\delta _{m,0}$

که با p + 1، m = 0, ... , p معادله خواهیم داشت. $\gamma _{m}$ تابع خودهمبستگی Xو $\sigma _{\varepsilon }$ انحراف معیار فرایند جملهٔ اخلال ورودی و $\delta _{m,0}$ تابع دلتای کرونکر، ضربهٔ کرونکر، است.

از آنجا که قسمت آخر معادله، $\delta _{m,0}$، تنها در زمانی‌که m = ۰ باشد، غیر صفر است، معادله غالباً از طریق نمایش ماتریس برای m> 0 حل می‌شود، در این صورت خواهیم داشت:

${\begin{bmatrix}\gamma _{1}\\\gamma _{2}\\\gamma _{3}\\\vdots \\\end{bmatrix}}={\begin{bmatrix}\gamma _{0}&\gamma _{-1}&\gamma _{-2}&\dots \\\gamma _{1}&\gamma _{0}&\gamma _{-1}&\dots \\\gamma _{2}&\gamma _{1}&\gamma _{0}&\dots \\\vdots &\vdots &\vdots &\ddots \\\end{bmatrix}}{\begin{bmatrix}\varphi _{1}\\\varphi _{2}\\\varphi _{3}\\\vdots \\\end{bmatrix}}$

برای m = ۰ داریم:

$\gamma _{0}=\sum _{k=1}^{p}\varphi _{k}\gamma _{-k}+\sigma _{\varepsilon }^{2}$

که به اما اجازه می‌دهد $\sigma _{\varepsilon }^{2}$ را حل کنیم.

معادلات بالا، معادلات یول-واکر، از طریق جایگزین کردن کواریانس‌های نظری با مقادیر تخمین زده شده، یک مسیر برای تخمین پارامترهای مدل (AR(p فراهم می‌کنند. یک راه برای محاسبهٔ کواریانس‌های تخمین زده شده استفاده از برازش حداقل مربعات، رگرسیون خطی، مقادیرX_t بر p مقدار قبلی خود می‌باشد.

استخراج

معادلهٔ معرف فرایند (AR(p:

$X_{t}=\sum _{i=1}^{p}\varphi _{i}\,X_{t-i}+\varepsilon _{t}.\,$

با ضرب هر دو طرف معادله در X_t − m و گرفتن امید انتظاری خواهیم داشت:

$E[X_{t}X_{t-m}]=E\left[\sum _{i=1}^{p}\varphi _{i}\,X_{t-i}X_{t-m}\right]+E[\varepsilon _{t}X_{t-m}].$

بنابر تعریف تابع خودهمبستگی داریم: $E[X_{t}X_{t-m}]=\gamma _{m}$. مقادیر جملهٔ اخلال از یکدیگر مستقل بوده و X_t − m به ازای m> 0، مستقل از ε_t است، یعنی برای m> 0 داریم:، E[ε_tX_t − m] = ۰. برای m = ۰:

$E[\varepsilon _{t}X_{t}]=E\left[\varepsilon _{t}\left(\sum _{i=1}^{p}\varphi _{i}\,X_{t-i}+\varepsilon _{t}\right)\right]=\sum _{i=1}^{p}\varphi _{i}\,E[\varepsilon _{t}\,X_{t-i}]+E[\varepsilon _{t}^{2}]=0+\sigma _{\varepsilon }^{2},$

برای m ≥ ۰ داریم:

$\gamma _{m}=E\left[\sum _{i=1}^{p}\varphi _{i}\,X_{t-i}X_{t-m}\right]+\sigma _{\varepsilon }^{2}\delta _{m}.$

بعلاوه داریم:

$E\left[\sum _{i=1}^{p}\varphi _{i}\,X_{t-i}X_{t-m}\right]=\sum _{i=1}^{p}\varphi _{i}\,E[X_{t}X_{t-m+i}]=\sum _{i=1}^{p}\varphi _{i}\,\gamma _{m-i},$

از جایگذاری معادلهٔ بالا در معادلهٔ $\gamma _{m}$، معادلات یول-واکر تولید می‌شود، برای m ≥ ۰:

$\gamma _{m}=\sum _{i=1}^{p}\varphi _{i}\gamma _{m-i}+\sigma _{\varepsilon }^{2}\delta _{m}.$

برای m <0 داریم:

$\gamma _{m}=\gamma _{-m}=\sum _{i=1}^{p}\varphi _{i}\gamma _{|m|-i}+\sigma _{\varepsilon }^{2}\delta _{m}.$

منابع

• Mills, Terence C. Time Series Techniques for Economists. Cambridge University Press, 1990.
• Percival, Donald B. and Andrew T. Walden. Spectral Analysis for Physical Applications. Cambridge University Press, 1993.
• Pandit, Sudhakar M. and Wu, Shien-Ming. Time Series and System Analysis with Applications. John Wiley & Sons, Inc. , 1983.
• G. Udny Yule On a Method of Investigating Periodicities in Disturbed Series, with Special Reference to Wolfer's Sunspot Numbers Philosophical Transactions of the Royal Society of London, Ser. A, Vol. 226, (1927) 267--298.
• Gilbert Walker On Periodicity in Series of Related Terms, Proceedings of the Royal Society of London, Ser. A, Vol. 131, (1931) 518--532.