فرایند دیریکله سلسله‌مراتبی

فرایند دیریکله سلسله مراتبی یا HDP در آمار و یادگیری ماشینی یک مدل در احتمالات بیزی و آمار ناپارامتری است که قابلیت‌های بسیاری در خوشه بندی داده‌ها دارد. این مدل از فرایند دیریکله برای هر دسته از داده‌ها استفاده می‌کند که دارای یک توزیع پایه مشترک هستند که آن نیز به نوبهٔ خود از یک فرایند دیریکله انتخاب شده‌است. این مدل این امکان را می‌دهد تا بعضی از شاخه دارای اشتراک‌هایی با هم داشته باشند.

مدل

این مدل مخصوص داده‌هایی است که دارای گروه‌بندی هستند، مانند آنچه در مدل عناوین وجود دارد، یعنی داده‌هایی که دارای گروه‌های مختلف هستند. یعنی مجموعه‌ای از فایل‌های متنی که هر کدام تشکیل شده از کیفی از کلمات هستند. گروه‌ها با $j=1,...J$ مشخص می‌شوند که هرگروه تشکیل شده از داده‌های $x_{j1},...x_{jn}$ است.

در HDP توزیع پایه را با $H$ نشان می‌دهیم که توزیع پیشین روی داده هاست و پارامتر تراکم که مقدار خوشه‌ها را کنترل می‌کند. گروه $j$ -ام با $G_{j}$ مشخص می‌شوند که توسط فرایند دیریکله بدست می‌آید: ${\begin{aligned}G_{j}|G_{0}&\sim \operatorname {DP} (\alpha _{j},G_{0})\end{aligned}}$ که در آن $\alpha _{j}$ پارامتر تراکمی مربوط به گروه مربوط است و $G_{0}$ توزیع پایه مشترک بین تمام گروه هاست که خود یک فرایند دیریکله است ${\begin{aligned}G_{0}&\sim \operatorname {DP} (\alpha _{0},H)\end{aligned}}$ با پارامتر $\alpha _{0}$ و توزیع پایه $H$. به ازای هر داده $x_{ji}$ یک متغیر پنهان $\theta _{ji}$: در نظر می‌گیریم.

${\begin{aligned}\theta _{ji}|G_{j}&\sim G_{j}\\x_{ji}|\theta _{ji}&\sim F(\theta _{ji})\end{aligned}}$

می‌دانیم که نمونه برداری از فرایند دیریکله در حقیقت مقادیری هستند که دارای مجموع یک هستند؛ لذا می‌توان $G_{0}$ را به صورت زیر نشان داد:

${\begin{aligned}G_{0}&=\sum _{k=1}^{\infty }\pi _{0k}\delta _{\theta _{k}^{*}}\end{aligned}}$ که تشکیل شده از بی‌نهایت مقدار است و مجموع جرم‌های $\pi _{0k}$ برابر با یک است. خود $G_{0}$ نیز به نوبهٔ خود توزیع پایه برای فرایند دیریکله مربوط به خوشه هاست. یعنی هر $G_{j}$ دارای توزیع پایه $G_{0}$ هستند که فرم زیر نوشته می‌شوند:

${\begin{aligned}G_{j}&=\sum _{k=1}^{\infty }\pi _{jk}\delta _{\theta _{k}^{*}}\end{aligned}}$

${\begin{aligned}x_{ji}|G_{j}&\sim \sum _{k=1}^{\infty }\pi _{jk}F(\theta _{k}^{*})\end{aligned}}$

کاربردها

این مدل در حقیقت یک نوع تعمیم غیرپارامتری از تخصیص پنهان دیریکله است. در این مدل در حقیقت، هر گروه، یک متن است و هر خوشه یک عنوان است، طوری‌که هر متن در حقیقت مخلوطی از تعدادی عنوان است. این مدل همچنین جزئی اساسی در ساختار مدل مخفی مارکوف بینهایت است که در آن تعداد حالت‌های مخفی بی‌نهایت است و از روی داده‌های یادگرفته می‌شود (نسخه غیر-پارامتری مدل مخفی مارکوف)

تعمیم

می‌توان HDP را در جهت‌های مختلفی تعمیم داد. می‌توان فرایند دیریکله را با فرایند پیتمن-یور جایگزین کرد که فرایند پیتمن-پور سلسله مراتبی بدست خواهد آمد. سلسله مراتب در مدل می‌توان چندین مرتبه باشد.