Θεώρημα Μπέυζ

Στη θεωρία πιθανοτήτων και στη στατιστική, το θεώρημα Μπέυζ (αγγλικά: Bayes) ή νόμος Μπέυζ ή κανόνας Μπέυζ, σχετίζει την τρέχουσα πιθανότητα με την αρχική πιθανότητα. Είναι σημαντικό στο μαθηματικό χειρισμό της υπό συνθήκη πιθανότητας.

Όταν εφαρμόζεται, οι πιθανότητες που χρησιμοποιούνται στο θεώρημα Μπέυζ μπορεί να έχουν διαφορετικές ερμηνείες. Σε μία από αυτές τις ερμηνείες, το θεώρημα χρησιμοποιείται άμεσα ως μέρος μιας συγκεκριμένης προσέγγισης της στατιστικής συμπερασματολογίας. Ειδικότερα, με την Μπεϋζιανή πιθανότητα, το θεώρημα εκφράζει το πως μια υποκειμενική άποψη θα πρέπει αναλογικά να αλλάξει οδηγώντας στην απόδειξη: αυτή είναι η συμπερασματολογία κατά Μπέυζ, η οποία είναι θεμελιώδους σημασίας στη στατιστική κατά Μπέυζ. Ωστόσο, το θεώρημα κατά Μπέυζ έχει εφαρμογές σε ένα ευρύ φάσμα υπολογισμών που αφορούν πιθανότητες, όχι μόνο στην κατά Μπέυζ συμπερασματολογία.

Το θεώρημα Μπέυζ πήρε το όνομα του έτσι από τον βρετανό κληρικό Τόμας Μπέυζ (1701–1761), ο οποίος πρώτος έδειξε τον τρόπο που χρησιμοποιούνται τα νέα στοιχεία για την ανανέωση των εκάστοτε πεποιθήσεων. Αυτό αναπτύχθηκε περαιτέρω από τον Πιερ Σιμόν Λαπλάς, ο οποίος πρώτος δημοσίευσε τη μοντέρνα διατύπωση το 1812 στο βιβλίο του Théorie analytique des probabilités. Ο Χάρολντ Τζέφρις (Harold Jeffreys) έθεσε τον αλγόριθμο του Μπέυζ και την διατύπωση του Λαπλάς σε αξιωματική βάση. Ο Τζέφρις έγραψε πως το θεώρημα Μπέυζ "είναι στη θεωρία πιθανοτήτων όπως αντίστοιχα το Πυθαγόρειο θεώρημα στη Γεωμετρία ".

Ορισμός θεωρήματος

Το θεώρημα Μπέυζ ορίστηκε μαθηματικά ως η ακόλουθη εξίσωση:.

$\operatorname {P} (A|B)={\frac {\operatorname {P} (B|A)\cdot \operatorname {P} (A)}{\operatorname {P} (B)}},$

όπου A και B είναι γεγονότα.

• P(A) και P(B) είναι οι πιθανότητες των A και B που είναι ανεξάρτητα μεταξύ τους.
• P(A | B), η υπό συνθήκη πιθανότητα, είναι η πιθανότητα του A δεδομένου του B να είναι αληθής.
• P(B | A), είναι η πιθανότητα του B δεδομένου του A να είναι αληθής.

Εισαγωγικό παράδειγμα

Το σύνολο της παραγωγής ενός εργοστασίου παράγεται από τρεις μηχανές. Οι τρεις μηχανές ευθύνονται για το 20%, 30%, και 50% της παραγωγής, αντίστοιχα. Το όριο των ελαττωματικών αντικειμένων που παράγεται είναι: για την πρώτη μηχανή, 5%; για τη δεύτερη μηχανή, 3%; για την τρίτη μηχανή, 1%. Αν ένα αντικείμενο επιλέγεται τυχαία από το σύνολο της παραγωγής και βρεθεί να είναι ελαττωματικό, ποια είναι η πιθανότητα να έχει παραχθεί από την τρίτη μηχανή?

Η λύση είναι η ακόλουθη. Έστω A_i δηλώνουμε το γεγονός ότι το αντικείμενο που επιλέχθηκε τυχαία είχε παραχθεί από την i μηχανή (για i = 1,2,3). Έστω B δηλώνουμε το γεγονός ότι το αντικείμενο που επιλέχθηκε τυχαία είναι ελαττωματικό. Τότε γνωρίζουμε τα ακόλουθα:

$P(A_{1})=0.2,\qquad P(A_{2})=0.3,\qquad P(A_{3})=0.5$

Αν το αντικείμενο παράχθηκε από τη μηχανή A₁, τότε η πιθανότητα να είναι ελαττωματικό είναι 0.05 δηλαδή, P(B | A₁) = 0.05. Συνεπώς, έχουμε

$P(B|A_{1})=0.05,\qquad P(B|A_{2})=0.03,\qquad P(B|A_{3})=0.01.$

Για να απαντήσουμε το ερώτημα, πρέπει πρώτα να βρούμε P(B). Αυτό μπορεί να γίνει με τον ακόλουθο τρόπο:

$P(B)=\sum P(B|A_{i})P(A_{i})=(0.05)(0.2)+(0.03)(0.3)+(0.01)(0.5)=0.024$

Ως εκ τούτου 2.4% από τη συνολική παραγωγή του εργοστασίου είναι ελαττωματική.

Δηλώσαμε το B πως προέκυψε, και θέλουμε να υπολογίσουμε τη δεσμευμένη πιθανότητα του A₃. Από το θεώρημα του Μπέυζ

$P(A_{3}|B)={\frac {P(B|A_{3})P(A_{3})}{P(B)}}={\frac {(0.01)(0.50)}{(0.024)}}={\frac {5}{24}}$

Δεδομένου ότι το αντικείμενο είναι ελαττωματικό, η πιθανότητα να παράχθηκε από την τρίτη μηχανή είναι μόνο 5/24. Αν και η τρίτη μηχανή παράγει το μισό από τη συνολική παραγωγή, παράγει ένα πολύ μικρότερο ποσοστό από τα ελαττωματικά αντικείμενα. Ως εκ τούτου, το ότι γνωρίζουμε πως το αντικείμενο που επιλέχθηκε ήταν ελαττωματικό μας δίνει τη δυνατότητα να αντικαταστήσουμε την αρχική πιθανότητα P(A₃) = 1/2 με τη μικρότερη δεσμευμένη πιθανότητα P(A₃ | B) = 5/24.

Ερμηνείες

Παρόμοια συλλογιστική μπορεί να χρησιμοποιηθεί για να δείξουμε ότι ${\begin{smallmatrix}P({\bar {A}}\mid B)\,=\,{\frac {P(B\mid {\bar {A}})\,P({\bar {A}})}{P(B)}}\end{smallmatrix}}$ κλπ.

Η ερμηνεία του θεωρήματος Μπέυζ εξαρτάται από την ερμηνεία της πιθανότητας αποδίδεται με τους όρους. Οι δύο κύριες ερμηνείες περιγράφονται παρακάτω.

Ερμηνεία κατά Μπέυζ

Στην ερμηνεία κατά Μπέυζ, η πιθανότητα μετρά τον βαθμό αλήθειας. Το θεώρημα του Bayes τότε συνδέει το βαθμό αλήθειας σε μια πρόταση πριν και μετά τον υπολογισμό των δεδομένων. Για παράδειγμα, ας υποθέσουμε ότι πιστεύεται με 50% βεβαιότητα ότι ένα νόμισμα είναι δύο φορές πιο πιθανόν να προσγειωθεί η πλευρά της κεφαλής απ' ό,τι η πλευρά των γραμμάτων. Αν το νόμισμα ριχθεί πολλές φορές και παρατηρηθεί, ότι ο βαθμός αλήθειας μπορεί να αυξηθεί, μειωθεί ή παραμείνει ίδιος εξαρτάται από τα αποτελέσματα.

Για πρόταση A και δεδομένα B,

• P(A), η αρχική, είναι ο αρχικός βαθμός αλήθειας στο A.
• P(A | B), η δεσμευμένη, είναι ο βαθμός αλήθειας έχοντας υπολογίσει προηγουμένως για το B.
• το πηλίκο P(B | A)/P(B) παρουσιάζει την υποστήριξη B προβλέποντας το A.

Για περισσότερες πληροφορίες για την εφαρμογή του θεωρήματος Μπέυζ ως προς την ερμηνεία της πιθανότητας κατά Μπέυζ, κοίταξε συμπερασματολογία κατά Μπέυζ.

Ερμηνεία με συχνότητα

Εικονογράφηση της ερμηνείας συχνοτήτων με δενδροδιαγράμματα. Το θεώρημα Μπέυζ συνδέει τις δεσμευμένες πιθανότητες και αντίστροφα.

Στη ερμηνεία με συχνότητα, η πιθανότητα μετρά τo ποσοστό αποτελεσμάτων. Για παράδειγμα, ας υποθέσουμε πως ένα πείραμα εκτελείται πολλές φορές. P(A) το ποσοστό των αποτελεσμάτων με ιδιότητα A, και P(B) αυτό με ιδιότητα B. P(B | A) είναι το ποσοστό των αποτελεσμάτων με ιδιότητα B εκτός των αποτελεσμάτων με ιδιότητα A, και P(A | B) το ποσοστό αυτών με A εκτός από αυτών με B.

Ο ρόλος του θεωρήματος Μπέυζ είναι η καλύτερα ορατή με δενδροδιαγράμματα, όπως φαίνεται στα δεξιά. Τα δύο δενδροδιαγράμματα ποσοστών με τα ίδια αποτελέσματα από A και B σε αντίθεση, για να ληφθούν οι πιθανότητες αντίστροφα. Το θεώρημα του Μπέυζ χρησιμεύει ως σύνδεσμος μεταξύ αυτών των διαφορετικών ποσοστών.

Μορφές

Γεγονότα

Απλή Μορφή

Για γεγονότα A και B, υπό την προϋπόθεση P(B) ≠ 0,

$P(A\mid B)={\frac {P(B\mid A)\,P(A)}{P(B)}}\cdot \,$

Σε πολλές εφαρμογές, για παράδειγμα συμπερασματολογία κατά Μπέυζ, το γεγονός B ορίζεται στη συζήτηση, και θέλουμε να εξετάσουμε το αντίκτυπο του να έχει παρατηρηθεί στην πραγματικότητα στα διάφορα πιθανά γεγονότα A. Σε αυτή την περίπτωση ο παρονομαστής της τελευταίας έκφρασης, η πιθανότητα του να δώσει απόδειξη B είναι σταθερό, αυτό που θέλουμε να υπολογίσουμε είναι το A. Το θεώρημα Μπέυζ μας δείχνει ότι οι δεσμευμένες πιθανότητες είναι ανάλογες του αριθμητή:

$P(A\mid B)\propto P(A)\cdot P(B\mid A)\$ (αναλογικότητα Α για δεδομένο Β).

Σύμφωνα με τα λεγόμενα: δεσμευμένη πιθανότητα είναι ανάλογη της αρχικής πιθανότητας.

Αν τα γεγονότα A₁, A₂, ..., είναι ξένα και ανεξάρτητα π.χ., ένα από αυτά είναι βέβαιο ότι θα συμβεί, αλλά δεν μπορούν δύο να συμβούν ταυτόχρονα, και γνωρίζουμε τις πιθανότητες τους μέχρι την αναλογία, τότε μπορούμε να καθορίζουμε την σταθερά αναλογίας χρησιμοποιώντας το γεγονός ότι οι πιθανότητες τους πρέπει να αθροίζουν στο ένα. Για παράδειγμα, για δοσμένο γεγονός A, το γεγονός A το ίδιο και το συμπληρωματικό του ¬A είναι ξένα και ανεξάρτητα. Για να βρεθεί η σταθερά της αναλογίας c έχουμε

$P(A\mid B)=c\cdot P(A)\cdot P(B\mid A)\$ και $P(\neg A\mid B)=c\cdot P(\neg A)\cdot P(B\mid \neg A)\cdot$

Προσθέτοντας τους δύο αυτούς τύπους συμπεραίνουμε ότι

$c={\frac {1}{P(A)\cdot P(B\mid A)+P(\neg A)\cdot P(B\mid \neg A)}}.$

Εναλλακτικός τύπος

Μια άλλη μορφή του θεωρήματος Μπέυζ είναι γενικά υπολογίσιμη όταν εξετάζουμε δύο διαγωνίσιμες καταστάσεις ή υποθέσεις είναι:

$P(A\mid B)={\frac {P(B\mid A)\,P(A)}{P(B\mid A)P(A)+P(B\mid \neg A)P(\neg A)}}\cdot$

Για μια επιστημολογική ερμηνεία:

Για "αιτία" A και "αποτέλεσμα" B,

• P(A), η αρχική πιθανότητα, είναι να πραγματοποιηθεί το A.
• P(−A), είναι η αντίστοιχη πιθανότητα του να μην πραγματοποιηθεί το A: 1 − P(A) = P(−A)
• P(B | A), η δεσμευμένη πιθανότητα ή πιθανότητα, είναι να πραγματοποιηθεί το γεγονός B ("αποτέλεσμα"), δοσμένου ότι έχει συμβεί το A ("αιτία") είναι αληθής.
• P(B | -A), η δεσμευμένη πιθανότητα ή πιθανότητα, είναι να πραγματοποιηθεί το γεγονός B ("αποτέλεσμα"), δοσμένου ότι δεν έχει συμβεί το γεγονός A ("αιτία").
• P(A | B), η δεσμευμένη πιθανότητα, είναι η πιθανότητα του A αφού ληφθεί υπόψη το B για το ίδιο και το αντίθετο του A.

Εκτεταμένη μορφή

Συχνά, σε ένα διαμερισμό {A_j} για το δειγματοχώρο, ο χώρος του γεγονότος δίνεται ή γίνεται αντιληπτός σε ότι αφορά για P(A_j) και P(B | A_j). Είναι τότε χρήσιμο να υπολογίσουμε P(B) χρησιμοποιώντας το νόμο της ολικής πιθανότητας:

$P(B)={\sum _{j}P(B\mid A_{j})P(A_{j})},$

$\Rightarrow P(A_{i}\mid B)={\frac {P(B\mid A_{i})\,P(A_{i})}{\sum \limits _{j}P(B\mid A_{j})\,P(A_{j})}}\cdot$

Στην ειδική περίπτωση όπου το A είναι μια δυαδική μεταβλητή:

$P(A\mid B)={\frac {P(B\mid A)\,P(A)}{P(B\mid A)P(A)+P(B\mid \neg A)P(\neg A)}}\cdot$

Τυχαίες μεταβλητές

Διάγραμμα που απεικονίζει την έννοια του θεωρήματος Μπέυζ όπως εφαρμόζεται σε ένα χώρο γεγονότων που παράγονται από συνεχείς τυχαίες μεταβλητές X και Y. Σημειώστε ότι υπάρχει ένα παράδειγμα του θεωρήματος Μπέυζ για κάθε σημείο στο χώρο. Στην πράξη, αυτές οι περιπτώσεις μπορούν να παραμετροποιηθούν γράφοντας τις καθορισμένες πυκνότητες πιθανότητες ως μια συνάρτηση των x και y.

Σκεφτείτε έναν δειγματοχώρο Ω που παράγεται από δύο τυχαίες μεταβλητές X και Y. Κατ' αρχήν, το θεώρημα του Μπέυζ εφαρμόζεται για τα γεγονότα A = {X = x} και B = {Y = y}. Ωστόσο, οι όροι γίνονται 0 στα σημεία που μια μεταβλητή έχει πεπερασμένη πυκνότητα πιθανότητα. Για να παραμείνει χρήσιμο, το θεώρημα Μπέυζ μπορεί να διατυπώνονται ως προς τις σχετικές πυκνότητες (βλέπε Προέλευση).

Απλή μορφή

Αν X είναι συνεχές και Y είναι απαριθμητή (διακριτή),

$f_{X}(x\mid Y=y)={\frac {P(Y=y\mid X=x)\,f_{X}(x)}{P(Y=y)}}.$

Αν X είναι διακριτή και Y είναι συνεχές,

$P(X=x\mid Y=y)={\frac {f_{Y}(y\mid X=x)\,P(X=x)}{f_{Y}(y)}}.$

Αν και οι δύο X και Y είναι συνεχείς,

$f_{X}(x\mid Y=y)={\frac {f_{Y}(y\mid X=x)\,f_{X}(x)}{f_{Y}(y)}}.$

Εκτεταμένη μορφή

Διάγραμμα που απεικονίζει το πως ένας χώρος ενός γεγονότος που παράγεται από συνεχείς τυχαίες μεταβλητές X και Y είναι συχνά αντιληπτός.

Ένας συνεχής χώρος γεγονότος είναι συχνά αντιληπτός από την άποψη των όρων του αριθμητή. Είναι τότε χρήσιμο για την εξάλειψη του παρονομαστή να χρησιμοποιηθεί ο νόμος της ολικής πιθανότητας. Για f_Y(y), αυτό γίνεται ολοκλήρωμα:

$f_{Y}(y)=\int _{-\infty }^{\infty }f_{Y}(y\mid X=\xi )\,f_{X}(\xi )\,d\xi .$

Κανόνας του Μπέυζ

Ο κανόνας του Μπέυζ είναι το θεώρημα Μπέυζ σε αποδόσεις.

$O(A_{1}:A_{2}\mid B)=O(A_{1}:A_{2})\cdot \Lambda (A_{1}:A_{2}\mid B)$

όπου

$\Lambda (A_{1}:A_{2}\mid B)={\frac {P(B\mid A_{1})}{P(B\mid A_{2})}}$

καλείται ο παράγοντας Μπέυζ ή ο λόγος πιθανότητας και οι αποδόσεις μεταξύ των δύο γεγονότων είναι απλά ο λόγος των πιθανοτήτων των δύο γεγονότων. Έτσι

$O(A_{1}:A_{2})={\frac {P(A_{1})}{P(A_{2})}},$

$O(A_{1}:A_{2}\mid B)={\frac {P(A_{1}\mid B)}{P(A_{2}\mid B)}},$

Έτσι ο κανόνας λέει ότι οι δεσμευμένες αποδόσεις είναι οι αρχικές αποδόσεις του παράγοντα Μπέυζ, ή με άλλα λόγια, δεσμευμένη είναι ανάλογη της αρχικής πιθανότητας.

Καταγωγή

Για γεγονότα

Το θεώρημα του Μπέυζ μπορεί να προέρχεται από τον ορισμό της δεσμευμένης πιθανότητας:

$P(A\mid B)={\frac {P(A\cap B)}{P(B)}},{\text{ if }}P(B)\neq 0,\!$

$P(B\mid A)={\frac {P(A\cap B)}{P(A)}},{\text{ if }}P(A)\neq 0,\!$

$\Rightarrow P(A\cap B)=P(A\mid B)\,P(B)=P(B\mid A)\,P(A),\!$

$\Rightarrow P(A\mid B)={\frac {P(B\mid A)\,P(A)}{P(B)}},{\text{ if }}P(B)\neq 0.$

Για τυχαίες μεταβλητές

Για δύο συνεχείς τυχαίες μεταβλητές X και Y, το θεώρημα του Μπέυζ μπορεί να προέρχεται αναλόγως από τον ορισμό της υπό όρους πυκνότητας:

$f_{X}(x\mid Y=y)={\frac {f_{X,Y}(x,y)}{f_{Y}(y)}}$

$f_{Y}(y\mid X=x)={\frac {f_{X,Y}(x,y)}{f_{X}(x)}}$

$\Rightarrow f_{X}(x\mid Y=y)={\frac {f_{Y}(y\mid X=x)\,f_{X}(x)}{f_{Y}(y)}}.$

Ιστορία

Το θεώρημα του Bayes οφείλει το ονομά του στον Reverend Thomas Bayes (1701-1761), ο οποίος μελέτησε το πώς να υπολογιστεί μια κατανομή για την πιθανότητα παραμέτρου διωνυμικής κατανομής (σε σύγχρονη ορολογία). Αδημοσίευτο χειρόγραφο του Bayes επιμελήθηκε από τον Richard Price προτού διαβαστεί στο Royal Society μετά τον θανατό του.Ο Price βοήθησε να εκδοθεί ένα δοκίμιο για το τεράστιο έργο του Bayes για την επίλυση ενός προβλήματος στο δόγμα των πιθανοτήτων (1763), το οποίο εμφανίστηκε στο Philosophical Transactions, και περιέχει το Θεώρημα Bayes .Επίσης ο Price έγραψε μια εισαγωγή για το έγγραφο το οποίο προσφέρει μερικές από τις φιλοσοφικές βάσεις της Bayesian στατιστικής. Το 1765 εξελέγη Μέλος της Βασιλικής Εταιρείας, σε αναγνώριση του έργου του για την κληρονομιά που άφησε πίσω του .

Ο Γάλλος μαθηματικός Πιέρ Σιμόν Λαπλάς αναπαρήγαγε και να επέκτεινε τα αποτελέσματα του Bayes το 1774, προφανώς μη γνωρίζοντας το έργο του Bayes. Ο Stephen Stigler το 1983 εισηγήθηκε ότι το θεώρημα του Bayes ανακαλύφθηκε από τον Nicholas Saunderson κάποιο χρονικό διάστημα πριν από Bayes αλλά η ερμηνεία αυτή αμφισβητήθηκε .

Ο Martyn Hooper και ο Σαρόν McGrayne υποστήριξαν ότι η συνεισφορά του Richard-Price ήταν σημαντική.