Niech E¹Æ będzie pewnym niepustym zbiorem - w dalszym ciągu będziemy go nazywać przestrzenią zdarzeń elementarnych. Elementy eÎE będziemy nazywać zdarzeniami elementarnymi.
W E wyróżniamy pewną rodzinę S jego podzbiorów, spełniającą pewne warunki (omówione poniżej), które stwierdzają że S jest tak zwanym s-ciałem (lub inaczej: s-algebrą) podzbiorów przestrzeni E. Elementy A należące do S (AÎS) nazywamy zdarzeniami losowymi lub po prostu - zdarzeniami. (Tak więc, w szczególności, zdarzenia losowe są podzbiorami zbioru E, zaś elementami zdarzeń losowych są zdarzenia elementarne.) Warunki definicji s-ciała możemy nieco nieściśle wyrazić stwierdzeniem, że na zdarzeniach możemy dokonywać operacji sumy, iloczynu, różnicy, dopełnienia, a także sumy i iloczynu przeliczalnej ilości zdarzeń i w wyniku nadal otrzymujemy zdarzenia. Dokładnie, S nazywamy s-ciałem podzbiorów przestrzeni E, jeżeli
(i) SÍ2E, tzn. AÍE gdy AÎS;
(ii) ÆÎS;
(iii) Jeżeli AiÎS dla i=1,2,3,... oraz A=A1ÈA2ÈA3È... (suma przeliczalnej ilości zdarzeń), to AÎS.
(iv) Jeżeli AÎS, to A’ =E\AÎS
Jeżeli zbiór E jest skończony lub przeliczalny, to za S przyjmujemy na ogół rodzinę wszystkich podzbiorów przestrzeni E (S=2E). Jeżeli E jest zbiorem nieprzeliczalnym, to okazuje się, że aby w ogóle można było określić pewną funkcję prawdopodobieństwa (czyli tzw. miarę unormowaną) P na S, S nie może się składać ze wszystkich - lecz jedynie z niektórych podzbiorów przestrzeni E (zwanych niekiedy podzbiorami mierzalnymi). Ważnym, lecz nietrywialnym przykładem jest s-ciało zbiorów Borelowskich na prostej - jest to najmniejsze s-ciało zbiorów, do którego należą wszystkie przedziały otwarte (a w konsekwencji, wszystkie zbiory otwarte, a więc i wszystkie zbiory domknięte, dalej - przeliczalne przecięcia zbiorów otwartych, przeliczalne sumy zbiorów domkniętych itd.).
P - funkcja prawdopodobieństwa (miara unormowana) jest funkcją P:S®, spełniającą następujące warunki (stwierdzające w istocie, że P jest miarą unormowaną):
(i) P:S®, czyli P jest określone na zdarzeniach (czyli zbiorach A należących do S) i 0£P(A)£1 dla każdego AÎS;
(ii) P(Æ)=0
(iii) Jeżeli AiÎS dla i=1,2,3,... przy czym AiÇAj=Æ dla i¹j (zbiory Ai są parami rozłączne), to P(A1ÈA2ÈA3È...)= P(A1)+P(A2)+P(A3)+... (przeliczalna addytywność prawdopodobieństwa dla zbiorów parami rozłącznych)
(iv) P(E)=1.
Własności s-ciała (s-algebry) S oraz funkcji prawdopodobieństwa P.
S - rodzina zdarzeń losowych (s-ciało) P - prawdopodobieństwo (miara unormowana) na S
1. SÍ2E, tzn. AÍE gdy AÎS 1. P:S®, tzn. dla AÎS, 0£P(A)£1
2. ÆÎS (Æ - zdarzenie niemożliwe) 2. P(Æ)=0
3. EÎS (E - zdarzenie pewne) 3. P(E)=1
4. Jeżeli AiÎS (i=1,2,3,...), to A1ÈA2ÈA3È... ÎS 4’. Jeżeli AiÎS (i=1,2,3,...), to A1ÇA2ÇA3Ç... ÎS W szczególności, własności 4 i 4’ zachodzą dla skończonego ciągu zbiorów. 4. Jeżeli AiÎS (i=1,2,3,...), to P(A1ÈA2ÈA3È...)£ P(A1)+P(A2)+P(A3)+... Uwaga. P(A1ÈA2)=P(A1)+P(A2)-P(A1ÇA2); P(A1ÈA2ÈA3)= P(A1)+P(A2)+P(A3)+ -P(A1ÇA2)-P(A2ÇA3)-P(A3ÇA1)+P(A1ÇA2ÇA3)
5. Oczywiście, własność 4 zachodzi w szczególności dla zbiorów parami rozłącznych. „Na odwrót”, sumę dowolnego ciągu Ai można przedstawić w postaci sumy ciągu zbiorów parami rozłącznych Bi , gdzie B1=A1, B2=A2\A1 , B3=A3\(A1ÈA2) itd. 5. Gdy AiÎS (i=1,2,3,...) są parami rozłączne, tzn. AiÇAj=Æ dla i¹j, to P(A1ÈA2ÈA3È...) = P(A1)+P(A2)+P(A3)+... (w istocie po prawej stronie występuje suma szeregu nieskończonego)
6. Gdy AiÎS (i=1,2,3,...) oraz A1ÍA2ÍA3Í... (ciąg wstępujący), to P(A1ÈA2ÈA3È...)=lim P(An) ; 6’ Gdy AiÎS (i=1,2,3,...) oraz A1ÊA2ÊA3Ê... (ciąg zstępujący), to P(A1ÇA2ÇA3Ç...)=lim P(An) .
7. Jeżeli AÎS, to A’ = E \ AÎS 7. P(A’) = 1-P(A)
8. A,BÎS, to A \ BÎS 8. P(A) - P(B) £ P(A \ B)
9. A, BÎS, AÍB, to P(A) £ P(B).
Definicja prawdopodobieństwa warunkowego: niech P(B)>0, BÎS
P(A|B)=P(AÇB)/P(B) (AÎS).
Tak więc P(AÇB)=P(A|B)P(B) (także P(AÇB)=P(B|A)P(A), jeżeli P(A)>0)
Wzór na prawdopodobieństwo całkowite, wzór Bayesa:
Jeżeli Aj ÎS (i=1,2,...,n) są parami rozłączne, P(Ai)>0 i A1ÈA2È... ÈAn=E oraz BÎS, to
P(B)=P(B|A1)P(A1)+ P(B|A2)P(A2)+...+ P(B|An)P(An).
Ponadto wtedy
P(Ak|B)=P(B|Ak)P(Ak)/P(B),
gdzie P(B) jest dane poprzednim wzorem.
Zmienne losowe.
Niech X:E®R lub X:E®RÈ{-¥,+¥} (tzw. rozszerzona funkcja rzeczywista, tzn. mogąca przyjmować także wartości -¥ oraz +¥). Mówimy, że funkcja X jest zmienną losową, jeżeli
(i) Dla każdego przedziału P, zbiór {eÎE:X(e)ÎP} jest zdarzeniem losowym, czyli należy do rodziny S; w szczególności, jest określone prawdopodobieństwo tego zbioru, tzn. prawdopodobieństwo, że zmienna losowa przyjmie wartość z przedziału P : P({eÎE:X(e)ÎP}), oznaczane w skrócie przez P(XÎP).
(ii) P({X = -¥})=P({X = +¥})=0
Będziemy zajmować się tylko zmiennymi losowymi dwóch następujących typów (choć istnieją zmienne, które nie są żadnego z tych typów):
a) typu skokowego: zmienna, przyjmująca skończoną lub przeliczalną ilość wartości, powiedzmy xi z prawdopodobieństwami odpowiednio pi (suma wszystkich pi jest równa 1);
b) typu ciągłego: zmienna, dla której istnieje tzw. funkcja gęstości (krótko: gęstość) f, tzn. funkcja taka, że 1) f³0; 2) dla dowolnych a, b, P(a£X£b)= . Na to, aby funkcja f była gęstością pewnej zmiennej losowej X potrzeba i wystarcza, aby f była nieujemna i .
Dystrybuanta zmiennej losowej jest to funkcja F:(-¥,+¥)®R, określona przez warunek F(x)=P(X
