قضیه دی فینیتی

طبق قضیه دی فینیتی اگر دنباله‌ای بینهایت از متغیرهای تصادفی دودوییِ تعویض پذیر باشد آنگاه احتمال مشترک هر زیردنباله از دنباله اصلی مخلوطی از متغیرهای تصادفی برنولیِ مستقل با توزیع یکسان (IID) خواهد بود.

تعریف ریاضی

اگر $X_{1},X_{2},X_{3},\cdots$ دنباله‌ای بینهایت و تعویض پذیر از متغیرهای تصادفی دودویی باشد آنگاه یک توزیع پیشین منحصر به فرد که در معادله پایین آن را $\pi (\cdot )$ می‌نامیم وجود خواهد داشت که احتمال مشترک هر زیردنباله، مخلوطی از متغیرهای تصادفی برنولیِ مستقل با توزیع یکسان (IID) با توزیع پیشین $\pi (\cdot )$ خواهد بود:

${\begin{aligned}p(X_{1}=x_{1},X_{2}=x_{2},...,X_{n}=x_{n})&=\int \prod _{i=1}^{n}p(x_{i}|\theta )\,\pi \left(\theta \right)d\left(\theta \right)\\&=\int \left(\prod _{i=1}^{n}\theta ^{x_{i}}\times (1-\theta )^{1-x_{i}}\right)\,\pi \left(\theta \right)d\left(\theta \right)\\&=\int \left(\theta ^{\left({\sum _{i=1}^{n}x_{i}}\right)}\times \left(1-\theta \right)^{\left(n-{\sum _{i=1}^{n}x_{i}}\right)}\right)\,\pi \left(\theta \right)d\left(\theta \right).\end{aligned}}$

در معادله خط پیشین $p(x_{i}|\theta )$ دارای توزیع برنولی است.

مثال

گلدان پلیا یک نمونه کلاسیک تعویض پذیری است. فرض کنید ما یک گلدان داریم که حاوی $\gamma$ توپ سفید و $\alpha$ توپ سیاه است. هر بار یک توپ را کاملاً به صورت تصادفی از گلدان برمی‌داریم رنگ آن را را ثبت کرده و توپ را به همراه یک توپ دیگر به همان رنگ به گلدان برمی‌گردانیم. هر بار که یک توپ جدید از گلدان برمی‌داریم یک متغیر تصادفی به اسم $X_{i}$ برای رنگ توپ تعریف می‌کنیم. $X_{i}=1$ اگر رنگ توپ سیاه باشد و در غیر اینصورت $X_{i}=0$. هر چه تعداد متغیرهای تصادفی قبل از $X_{i}$ که یک هستند بیشتر باشد، احتمال اینکه $X_{i}$ نیز یک شود بیشتر خواهد شد، چه که توپ‌های سیاه بیشتری به گلدان اضافه شده‌اند. از این رو این متغیرها نسبت به هم مستقل نیستند، اما همان‌طور که در پایین نشان خواهیم داد این متغیرها تعویض‌پذیرند.

فرض کنیم که $n$ بار از گلدان توپ برداریم، و از این $n$ دفعه $k$ بار توپ سیاه و $n-k$ بار توپ سفید دیده باشیم. بار اول تعداد توپ‌های گلدان $\gamma +\alpha$ است، بار دوم این تعداد $\gamma +\alpha +1$ خواهد بود الی آخر. پس در دفعه $i$ ام، تعداد توپ‌های ما $\gamma +\alpha +i-1$ خواهد بود. حال فرض کنیم که تمام توپ‌های سیاه را قبل از توپ‌های سفید دیده باشیم، احتمال این رویداد عبارت پایین می‌شود:

${\frac {\alpha }{\gamma +\alpha }}\times {\frac {\alpha +1}{\gamma +\alpha +1}}\times \cdots \times {\frac {\alpha +k-1}{\gamma +\alpha +k-1}}\times {\frac {\gamma }{\gamma +\alpha +k}}\times {\frac {\gamma +1}{\gamma +\alpha +k+1}}\cdots {\frac {\gamma +n-k-1}{\gamma +\alpha +n-1}}$

حال باید ثابت کنیم که اگر ترتیب توپ‌های سیاه و سفید به صورت دلخواه عوض شوند تغییری در احتمال نهائی پیش نخواهد آمد. همان‌طور که در خط بالا می‌بینیم مخرج کسرها با تغییر ترتیب توپ‌ها تغییر نخواهد کرد، همیشه در دور $i$ام مخرج کسر ما $\gamma +\alpha +i-1$ خواهد بود، زیرا در این دور این تعداد توپ در گلدان است. اگر $j$امین توپ سیاه را در دور $t$ ببینم احتمال $X_{t}=1$ با ${\frac {\alpha +j-1}{\gamma +\alpha +t-1}}$ برابر خواهد بود، یعنی صورت احتمال با $\alpha +j-1$ برابر خواهد شد. با استدلالی مشابه می‌توان صورت احتمال برای توپ‌های سفید را هم محاسبه کرد. ازین رو احتمال نهائی با عبارت پایین برابر خواهد شد (حاصلضرب مخرج‌ها در حاصلضرب صورتها برای توپ‌های سیاه در حاصلضرب صورتها برای توپ‌های سفید):

${\begin{aligned}p(X_{1}=x_{1},X_{2}=x_{2},...,X_{n}=x_{n})&={\frac {\prod _{i=1}^{k}\left(\alpha +i-1\right)\times \prod _{i=1}^{n-k}\left(\gamma +i-1\right)}{\prod _{i=1}^{n}\left(\gamma +\alpha +i-1\right)}}\\&={\frac {\left(\alpha +k-1\right)!\times \left(\gamma +n-k-1\right)!\times \left(\alpha +\gamma -1\right)!}{\left(\alpha -1\right)!\times \left(\gamma -1\right)!\left(\alpha +\gamma +n-1\right)!}}\end{aligned}}$

این احتمال به ترتیب دیدن توپ‌های سیاه و سفید مربوط نمی‌شود و فقط به تعدا کل توپ‌های سفید و تعداد کل توپ‌های سیاه بستگی دارد.

طبق قضیه دی فینیتی برای این دنباله باید یک توزیع پیشین منحصر به فرد وجود داشته باشد که احتمال مشترک آن را مخلوطی از احتمالات برنولی کند. می‌توان نشان داد که این توزیع پیشین، توزیع بتا با پارامترهای $\beta \left(\cdot ;\,\gamma ,\,\alpha \right)$ است. در قضیه دی فینیتی اگر $\pi (\cdot )$ را با $\beta \left(\cdot ;\,\gamma ,\,\alpha \right)$ جایگزین کنیم به معادله قبلی می‌رسیم:

${\begin{aligned}p(X_{1}=x_{1},X_{2}=x_{2},...,X_{n}=x_{n})&=\int \theta ^{\left({\sum _{i=1}^{n}x_{i}}\right)}\times \left(1-\theta \right)^{\left(n-{\sum _{i=1}^{n}x_{i}}\right)}\,\beta \left(\theta ;\alpha ,\,\gamma \right)d\left(\theta \right)\\&=\int \theta ^{\left({\sum _{i=1}^{n}x_{i}}\right)}\times \left(1-\theta \right)^{\left(n-{\sum _{i=1}^{n}x_{i}}\right)}\,{\dfrac {(\alpha +\gamma -1)!}{(\alpha -1)!\,(\gamma -1)!}}\theta ^{\gamma -1}(1-\theta )^{\alpha -1}d\left(\theta \right)\\&=\int \theta ^{\left({\gamma -1+\sum _{i=1}^{n}x_{i}}\right)}\times \left(1-\theta \right)^{\left(n+\alpha -1-{\sum _{i=1}^{n}x_{i}}\right)}\,{\dfrac {(\alpha +\gamma -1)!}{(\alpha -1)!\,(\gamma -1)!}}d\left(\theta \right)\\&=\int \theta ^{\left({\gamma +k-1}\right)}\times \left(1-\theta \right)^{\left(n-k-1+\alpha \right)}\,{\dfrac {(\alpha +\gamma -1)!}{(\alpha -1)!\,(\gamma -1)!}}d\left(\theta \right)\\&={\dfrac {(\alpha +\gamma -1)!}{(\alpha -1)!\,(\gamma -1)!}}\int \theta ^{\left({\gamma +k-1}\right)}\times \left(1-\theta \right)^{\left(n-k+\alpha -1\right)}\,d\left(\theta \right)\\&={\dfrac {(\alpha +\gamma -1)!}{(\alpha -1)!\,(\gamma -1)!}}{\dfrac {\Gamma (\alpha +n-k)\Gamma (\gamma +k)}{\Gamma (\alpha +\gamma +n)}}\\&={\dfrac {\left(\alpha +k-1\right)!\times \left(\gamma +n-k-1\right)!\times \left(\alpha +\gamma -1\right)!}{\left(\alpha -1\right)!\times \left(\gamma -1\right)!\left(\alpha +\gamma +n-1\right)!}}\end{aligned}}$

در این معادله $k=\sum _{i=1}^{n}x_{i}$.