مدل‌‌های انتشاری

مدل‌های انتشاری (به انگلیسی: Diffusion Models) در یادگیری ماشینی، دسته‌ای از مدل‌های متغیر پنهان (به انگلیسی: Latent Variable Models) هستند. این مدل‌ها نوعی زنجیره مارکوف هستند که با استفاده از استنباط بیزی تغییراتی آموزش داده می‌شوند. هدف مدل‌های انتشاری، یادگیری ساختار پنهان یک مجموعه داده با مدل‌سازی روشی است که در آن نقاط داده در فضای پنهان (به انگلیسی: latent space) منتشر می‌شوند. در بینایی ماشین، این یعنی یک شبکه عصبی آموزش داده می‌شود تا با یادگیری معکوس فرایند انتشاری، با شروع از نویز گاوسی به تصاویر اصلی برسد.

تاریخچه

مدل‌های انتشاری در سال ۲۰۱۵ با ایده‌گرفتن از ترمودینامیک غیرتعادلی معرفی شدند.

ایده

مدل‌های انتشاری خانواده‌ای از مدل‌های مولد احتمالی هستند که به تدریج داده‌ها را با اضافه‌کردن نویز تخریب می‌کنند، سپس یادمی‌گیرند که این فرایند را برای تولید نمونه معکوس کنند. یک مدل انتشاری از دو زنجیره مارکوف استفاده می‌کند: یک زنجیره مستقیم که داده‌ها را به‌تدریج به نویز تبدیل می‌کند و یک زنجیره معکوس که نویز را به داده تبدیل می‌کند. اولی معمولاً با هدف تبدیل هر توزیع داده‌ای به یک توزیع پیشین ساده (مثلاً گاوسی استاندارد) به صورت دستی طراحی می‌شود، در حالی که زنجیره مارکوف دوم با یادگیری هسته‌های انتقال توسط شبکه‌های عصبی عمیق، اولی را معکوس می‌کند.

جزئیات

فرایند انتشار مستقیم

با داشتن یک نقطه داده نمونه‌برداری‌شده از یک توزیع داده واقعی ${\textstyle \mathbf {x} _{0}\sim q(\mathbf {x} )}$، فرایند انتشار مستقیم (به انگلیسی: forward diffusion process) را این‌گونه تعریف می‌کنیم که در آن مقدار کمی نویز گاوسی را در $T$ گام به نمونه ورودی اضافه می‌کنیم تا نمونه‌های نویزدار ${\textstyle \mathbf {x} _{1},\dots ,\mathbf {x} _{T}}$ تولید شود. اندازه گام‌ها توسط یک برنامه واریانس ${\textstyle \{\beta _{t}\in (0,1)\}_{t=1}^{T}}$ کنترل می‌شود.

$q(\mathbf {x} _{t}\vert \mathbf {x} _{t-1})={\mathcal {N}}(\mathbf {x} _{t};{\sqrt {1-\beta _{t}}}\mathbf {x} _{t-1},\beta _{t}\mathbf {I} )\quad q(\mathbf {x} _{1:T}\vert \mathbf {x} _{0})=\prod _{t=1}^{T}q(\mathbf {x} _{t}\vert \mathbf {x} _{t-1})$

نمونه داده به تدریج ویژگی‌های قابل مشاهده خود را با بزرگتر شدن گام $t$ از دست می‌دهد. درنهایت وقتی $T\to \infty$، $\mathbf {x} _{T}$ معادل یک توزیع گاوسی همسان‌گرد خواهد شد.

یک ویژگی خوب فرایند فوق این است که می‌توانیم $\mathbf {x} _{t}$ را در هر گام دلخواه $t$ به صورت فرم بسته زیر با فرض $\alpha _{t}=1-\beta _{t}$ و ${\bar {\alpha }}_{t}=\prod _{i=1}^{t}\alpha _{i}$ محاسبه کنیم:

${\begin{aligned}\mathbf {x} _{t}&={\sqrt {\alpha _{t}}}\mathbf {x} _{t-1}+{\sqrt {1-\alpha _{t}}}{\boldsymbol {\epsilon }}_{t-1}&{\boldsymbol {\epsilon }}_{t-1},{\boldsymbol {\epsilon }}_{t-2},\dots \sim {\mathcal {N}}(\mathbf {0} ,\mathbf {I} )\\&={\sqrt {\alpha _{t}\alpha _{t-1}}}\mathbf {x} _{t-2}+{\sqrt {1-\alpha _{t}\alpha _{t-1}}}{\bar {\boldsymbol {\epsilon }}}_{t-2}&{\bar {\boldsymbol {\epsilon }}}_{t-2}{\text{ merges two Gaussians}}\\&=\dots \\&={\sqrt {{\bar {\alpha }}_{t}}}\mathbf {x} _{0}+{\sqrt {1-{\bar {\alpha }}_{t}}}{\boldsymbol {\epsilon }}\\q(\mathbf {x} _{t}\vert \mathbf {x} _{0})&={\mathcal {N}}(\mathbf {x} _{t};{\sqrt {{\bar {\alpha }}_{t}}}\mathbf {x} _{0},(1-{\bar {\alpha }}_{t})\mathbf {I} )\end{aligned}}$

توجه کنید که وقتی دو توزیع نرمال با واریانس‌های مختلف، ${\textstyle {\mathcal {N}}(\mathbf {0} ,\sigma _{1}^{2}\mathbf {I} )}$ و ${\textstyle {\mathcal {N}}(\mathbf {0} ,\sigma _{2}^{2}\mathbf {I} )}$ ادغام می‌کنیم، توزیع جدید ${\mathcal {N}}(\mathbf {0} ,(\sigma _{1}^{2}+\sigma _{2}^{2})\mathbf {I} )$ خواهد بود. در رابطه بالا انحراف معیار برابر خواهد بود با: $${\sqrt {(1-\alpha _{t})+\alpha _{t}(1-\alpha _{t-1})}}={\sqrt {1-\alpha _{t}\alpha _{t-1}}}$$

فرایند انتشار معکوس

اگر بتوانیم فرایند بالا را معکوس کنیم و از $q(\mathbf {x} _{t-1}\vert \mathbf {x} _{t})$ نمونه‌برداری کنیم، می‌توانیم نمونه واقعی را از ورودی نویز گاوسی $\mathbf {x} _{T}\sim {\mathcal {N}}(\mathbf {0} ,\mathbf {I} )$ دوباره ایجاد کنیم. توجه کنید که اگر $\beta _{t}$ به اندازه کافی کوچک باشد، $q(\mathbf {x} _{t-1}\vert \mathbf {x} _{t})$ نیز گوسی خواهد بود. متأسفانه، ما نمی‌توانیم $q(\mathbf {x} _{t-1}\vert \mathbf {x} _{t})$ را به راحتی تخمین بزنیم زیرا برای این کار باید از کل مجموعه‌داده استفاده کنیم، بنابراین باید مدلِ $p_{\theta }$ را برای تقریب این احتمالات شرطی به منظور اجرای فرایند انتشار معکوس یاد بگیریم.

$p_{\theta }(\mathbf {x} _{0:T})=p(\mathbf {x} _{T})\prod _{t=1}^{T}p_{\theta }(\mathbf {x} _{t-1}\vert \mathbf {x} _{t})\quad p_{\theta }(\mathbf {x} _{t-1}\vert \mathbf {x} _{t})={\mathcal {N}}(\mathbf {x} _{t-1};{\boldsymbol {\mu }}_{\theta }(\mathbf {x} _{t},t),{\boldsymbol {\Sigma }}_{\theta }(\mathbf {x} _{t},t))$

احتمال شرطی معکوس زمانی قابل حل است که روی $\mathbf {x} _{0}$ شرط شود:

$q(\mathbf {x} _{t-1}\vert \mathbf {x} _{t},\mathbf {x} _{0})={\mathcal {N}}(\mathbf {x} _{t-1};\color {blue}{\tilde {\boldsymbol {\mu }}}(\mathbf {x} _{t},\mathbf {x} _{0}),\color {red}{{\tilde {\beta }}_{t}}\mathbf {I} )$

با اعمال قاعده بیز داریم:

${\begin{aligned}q(\mathbf {x} _{t-1}\vert \mathbf {x} _{t},\mathbf {x} _{0})&=q(\mathbf {x} _{t}\vert \mathbf {x} _{t-1},\mathbf {x} _{0}){\frac {q(\mathbf {x} _{t-1}\vert \mathbf {x} _{0})}{q(\mathbf {x} _{t}\vert \mathbf {x} _{0})}}\\&\propto \exp {\Big (}-{\frac {1}{2}}{\big (}{\frac {(\mathbf {x} _{t}-{\sqrt {\alpha _{t}}}\mathbf {x} _{t-1})^{2}}{\beta _{t}}}+{\frac {(\mathbf {x} _{t-1}-{\sqrt {{\bar {\alpha }}_{t-1}}}\mathbf {x} _{0})^{2}}{1-{\bar {\alpha }}_{t-1}}}-{\frac {(\mathbf {x} _{t}-{\sqrt {{\bar {\alpha }}_{t}}}\mathbf {x} _{0})^{2}}{1-{\bar {\alpha }}_{t}}}{\big )}{\Big )}\\&=\exp {\Big (}-{\frac {1}{2}}{\big (}{\frac {\mathbf {x} _{t}^{2}-2{\sqrt {\alpha _{t}}}\mathbf {x} _{t}\color {blue}{\mathbf {x} _{t-1}}\color {black}{+\alpha _{t}}\color {red}{\mathbf {x} _{t-1}^{2}}}{\beta _{t}}}+{\frac {\color {red}{\mathbf {x} _{t-1}^{2}}\color {black}{-2{\sqrt {{\bar {\alpha }}_{t-1}}}\mathbf {x} _{0}}\color {blue}{\mathbf {x} _{t-1}}\color {black}{+{\bar {\alpha }}_{t-1}\mathbf {x} _{0}^{2}}}{1-{\bar {\alpha }}_{t-1}}}-{\frac {(\mathbf {x} _{t}-{\sqrt {{\bar {\alpha }}_{t}}}\mathbf {x} _{0})^{2}}{1-{\bar {\alpha }}_{t}}}{\big )}{\Big )}\\&=\exp {\Big (}-{\frac {1}{2}}{\big (}\color {red}{({\frac {\alpha _{t}}{\beta _{t}}}+{\frac {1}{1-{\bar {\alpha }}_{t-1}}})}\mathbf {x} _{t-1}^{2}-\color {blue}{({\frac {2{\sqrt {\alpha _{t}}}}{\beta _{t}}}\mathbf {x} _{t}+{\frac {2{\sqrt {{\bar {\alpha }}_{t-1}}}}{1-{\bar {\alpha }}_{t-1}}}\mathbf {x} _{0})}\mathbf {x} _{t-1}\color {black}{+C(\mathbf {x} _{t},\mathbf {x} _{0}){\big )}{\Big )}}\end{aligned}}$

با توجه به تابع چگالی توزیع گاوسی، میانگین و واریانس را می‌توان به صورت زیر به‌دست‌آورد:

${\begin{aligned}{\tilde {\beta }}_{t}&=1/({\frac {\alpha _{t}}{\beta _{t}}}+{\frac {1}{1-{\bar {\alpha }}_{t-1}}})=1/({\frac {\alpha _{t}-{\bar {\alpha }}_{t}+\beta _{t}}{\beta _{t}(1-{\bar {\alpha }}_{t-1})}})=\color {green}{{\frac {1-{\bar {\alpha }}_{t-1}}{1-{\bar {\alpha }}_{t}}}\cdot \beta _{t}}\\{\tilde {\boldsymbol {\mu }}}_{t}(\mathbf {x} _{t},\mathbf {x} _{0})&=({\frac {\sqrt {\alpha _{t}}}{\beta _{t}}}\mathbf {x} _{t}+{\frac {\sqrt {{\bar {\alpha }}_{t-1}}}{1-{\bar {\alpha }}_{t-1}}}\mathbf {x} _{0})/({\frac {\alpha _{t}}{\beta _{t}}}+{\frac {1}{1-{\bar {\alpha }}_{t-1}}})\\&=({\frac {\sqrt {\alpha _{t}}}{\beta _{t}}}\mathbf {x} _{t}+{\frac {\sqrt {{\bar {\alpha }}_{t-1}}}{1-{\bar {\alpha }}_{t-1}}}\mathbf {x} _{0})\color {green}{{\frac {1-{\bar {\alpha }}_{t-1}}{1-{\bar {\alpha }}_{t}}}\cdot \beta _{t}}\\&={\frac {{\sqrt {\alpha _{t}}}(1-{\bar {\alpha }}_{t-1})}{1-{\bar {\alpha }}_{t}}}\mathbf {x} _{t}+{\frac {{\sqrt {{\bar {\alpha }}_{t-1}}}\beta _{t}}{1-{\bar {\alpha }}_{t}}}\mathbf {x} _{0}\\\end{aligned}}$

می‌دانیم که $\mathbf {x} _{0}={\frac {1}{\sqrt {{\bar {\alpha }}_{t}}}}(\mathbf {x} _{t}-{\sqrt {1-{\bar {\alpha }}_{t}}}{\boldsymbol {\epsilon }}_{t})$ و با جایگذاری در عبارات بالا خواهیم داشت:

${\begin{aligned}{\tilde {\boldsymbol {\mu }}}_{t}&={\frac {{\sqrt {\alpha _{t}}}(1-{\bar {\alpha }}_{t-1})}{1-{\bar {\alpha }}_{t}}}\mathbf {x} _{t}+{\frac {{\sqrt {{\bar {\alpha }}_{t-1}}}\beta _{t}}{1-{\bar {\alpha }}_{t}}}{\frac {1}{\sqrt {{\bar {\alpha }}_{t}}}}(\mathbf {x} _{t}-{\sqrt {1-{\bar {\alpha }}_{t}}}{\boldsymbol {\epsilon }}_{t})\\&=\color {black}{{\frac {1}{\sqrt {\alpha _{t}}}}{\Big (}\mathbf {x} _{t}-{\frac {1-\alpha _{t}}{\sqrt {1-{\bar {\alpha }}_{t}}}}{\boldsymbol {\epsilon }}_{t}{\Big )}}\end{aligned}}$

تابع هزینه برای آموزش فرایند انتشاری

برای تقریب توزیع احتمال شرطی در فرایند انتشار معکوس $p_{\theta }(\mathbf {x} _{t-1}\vert \mathbf {x} _{t})={\mathcal {N}}(\mathbf {x} _{t-1};{\boldsymbol {\mu }}_{\theta }(\mathbf {x} _{t},t),{\boldsymbol {\Sigma }}_{\theta }(\mathbf {x} _{t},t))$ نیاز به یادگیری یک شبکه عصبی داریم. درواقع می‌خواهیم ${\boldsymbol {\mu }}_{\theta }$ را آموزش دهیم که ${\tilde {\boldsymbol {\mu }}}_{t}={\frac {1}{\sqrt {\alpha _{t}}}}{\Big (}\mathbf {x} _{t}-{\frac {1-\alpha _{t}}{\sqrt {1-{\bar {\alpha }}_{t}}}}{\boldsymbol {\epsilon }}_{t}{\Big )}$ را پیش‌بینی کند. از آن‌جایی که $\mathbf {x} _{t}$ به‌عنوان ورودی مدل هنگام آموزش داده می‌شود، می‌توانیم با تغییر عبارت نویز گاوسی ${\boldsymbol {\epsilon }}_{t}$ را از ورودی در گام $t$ پیش‌بینی کنیم:

${\begin{aligned}{\boldsymbol {\mu }}_{\theta }(\mathbf {x} _{t},t)&=\color {black}{{\frac {1}{\sqrt {\alpha _{t}}}}{\Big (}\mathbf {x} _{t}-{\frac {1-\alpha _{t}}{\sqrt {1-{\bar {\alpha }}_{t}}}}{\boldsymbol {\epsilon }}_{\theta }(\mathbf {x} _{t},t){\Big )}}\\\ \rightarrow \mathbf {x} _{t-1}&={\mathcal {N}}(\mathbf {x} _{t-1};{\frac {1}{\sqrt {\alpha _{t}}}}{\Big (}\mathbf {x} _{t}-{\frac {1-\alpha _{t}}{\sqrt {1-{\bar {\alpha }}_{t}}}}{\boldsymbol {\epsilon }}_{\theta }(\mathbf {x} _{t},t){\Big )},{\boldsymbol {\Sigma }}_{\theta }(\mathbf {x} _{t},t))\end{aligned}}$

پس تابع هزینه برای کمینه کردن اختلاف از ${\tilde {\boldsymbol {\mu }}}$ به صورت زیر خواهد بود:

${\begin{aligned}L_{t}&=\mathbb {E} _{\mathbf {x} _{0},{\boldsymbol {\epsilon }}}{\Big [}{\frac {1}{2\|{\boldsymbol {\Sigma }}_{\theta }(\mathbf {x} _{t},t)\|_{2}^{2}}}\|\color {blue}{{\tilde {\boldsymbol {\mu }}}_{t}(\mathbf {x} _{t},\mathbf {x} _{0})}-\color {green}{{\boldsymbol {\mu }}_{\theta }(\mathbf {x} _{t},t)}\|^{2}{\Big ]}\\&=\mathbb {E} _{\mathbf {x} _{0},{\boldsymbol {\epsilon }}}{\Big [}{\frac {1}{2\|{\boldsymbol {\Sigma }}_{\theta }\|_{2}^{2}}}\|\color {blue}{{\frac {1}{\sqrt {\alpha _{t}}}}{\Big (}\mathbf {x} _{t}-{\frac {1-\alpha _{t}}{\sqrt {1-{\bar {\alpha }}_{t}}}}{\boldsymbol {\epsilon }}_{t}{\Big )}}-\color {green}{{\frac {1}{\sqrt {\alpha _{t}}}}{\Big (}\mathbf {x} _{t}-{\frac {1-\alpha _{t}}{\sqrt {1-{\bar {\alpha }}_{t}}}}{\boldsymbol {\boldsymbol {\epsilon }}}_{\theta }(\mathbf {x} _{t},t){\Big )}}\|^{2}{\Big ]}\\&=\mathbb {E} _{\mathbf {x} _{0},{\boldsymbol {\epsilon }}}{\Big [}{\frac {(1-\alpha _{t})^{2}}{2\alpha _{t}(1-{\bar {\alpha }}_{t})\|{\boldsymbol {\Sigma }}_{\theta }\|_{2}^{2}}}\|{\boldsymbol {\epsilon }}_{t}-{\boldsymbol {\epsilon }}_{\theta }(\mathbf {x} _{t},t)\|^{2}{\Big ]}\\&=\mathbb {E} _{\mathbf {x} _{0},{\boldsymbol {\epsilon }}}{\Big [}{\frac {(1-\alpha _{t})^{2}}{2\alpha _{t}(1-{\bar {\alpha }}_{t})\|{\boldsymbol {\Sigma }}_{\theta }\|_{2}^{2}}}\|{\boldsymbol {\epsilon }}_{t}-{\boldsymbol {\epsilon }}_{\theta }({\sqrt {{\bar {\alpha }}_{t}}}\mathbf {x} _{0}+{\sqrt {1-{\bar {\alpha }}_{t}}}{\boldsymbol {\epsilon }}_{t},t)\|^{2}{\Big ]}\end{aligned}}$

در مقاله نشان داده شده‌است که آموزش مدل انتشاری با تابع هزینه زیر بهتر انجام می‌شود:

${\begin{aligned}L_{t}^{\text{simple}}&=\mathbb {E} _{t\sim [1,T],\mathbf {x} _{0},{\boldsymbol {\epsilon }}_{t}}{\Big [}\|{\boldsymbol {\epsilon }}_{t}-{\boldsymbol {\epsilon }}_{\theta }(\mathbf {x} _{t},t)\|^{2}{\Big ]}\\&=\mathbb {E} _{t\sim [1,T],\mathbf {x} _{0},{\boldsymbol {\epsilon }}_{t}}{\Big [}\|{\boldsymbol {\epsilon }}_{t}-{\boldsymbol {\epsilon }}_{\theta }({\sqrt {{\bar {\alpha }}_{t}}}\mathbf {x} _{0}+{\sqrt {1-{\bar {\alpha }}_{t}}}{\boldsymbol {\epsilon }}_{t},t)\|^{2}{\Big ]}\end{aligned}}$

و تابع هزینه نهایی به صورت $L_{\text{simple}}=L_{t}^{\text{simple}}+C$ خواهد بود ($C$ یک مقدار ثابت مستقل از $\theta$ است).

محدودیت‌ها

فرایند نمونه‌گیری از DDPM با دنبال‌کردن زنجیره مارکوف فرایند انتشار معکوس بسیار کند است، زیرا تعداد گام‌ها $T$ می‌تواند تا یک یا چند هزار مرحله باشد. در گفته شده «به عنوان مثال، نمونه‌گیری ۵۰ هزار عکس با اندازه ۳۲ × ۳۲ از یک DDPM حدود ۲۰ ساعت طول می‌کشد، اما انجام این کار با یک GAN روی یک پردازنده گرافیکی Nvidia 2080 Ti کمتر از یک دقیقه زمان می‌برد.»

کاربرد

بینایی ماشین

مدل‌هایی انتشاری برای تولید، بخش‌بندی، فراتفکیک‌پذیری، تغییر و تعمیر (به انگلیسی: inpainting) تصاویر به کار می‌روند. همچنین در تولید ویدئو، تشخیص ناهنجاری، تحلیل تصاویر پزشکی و بینایی سه‌بعدی کاربرد دارد.

پردازش زبان‌های طبیعی

مدل‌های انتشاری همچنین برای تولید و ترجمه متن استفاده می‌شوند.

جستارهای وابسته

• زنجیره مارکوف
• استنباط بیزی تغییراتی
• خودرمزگذار متغیر