Full The Mathematics of Coding Theory 1st Edition Paul Garrett Ebook All Chapters

Full download ebook at ebookgate.
com
The Mathematics of Coding Theory 1st Edition

Paul Garrett
https://ebookgate.com/product/the-mathematics-of-
coding-theory-1st-edition-paul-garrett/
Download more ebook from https://ebookgate.com

More products digital (pdf, epub, mobi) instant
download maybe you interests ...
The Theory of Information and Coding 2nd Edition

Mceliece
https://ebookgate.com/product/the-theory-of-information-and-
coding-2nd-edition-mceliece/
Advances in coding theory and crytography 1st Edition

T. Shaska
https://ebookgate.com/product/advances-in-coding-theory-and-
crytography-1st-edition-t-shaska/
The foundations of mathematics in the theory of sets

1st Edition John P. Mayberry
https://ebookgate.com/product/the-foundations-of-mathematics-in-
the-theory-of-sets-1st-edition-john-p-mayberry/
Arithmetic Geometry and Coding Theory AGCT 2003 1st

Edition Yves Aubry
https://ebookgate.com/product/arithmetic-geometry-and-coding-
theory-agct-2003-1st-edition-yves-aubry/
Transforming Children s Services Social Work
Neoliberalism and the Modern World 1st Edition Paul
Michael Garrett
https://ebookgate.com/product/transforming-children-s-services-
social-work-neoliberalism-and-the-modern-world-1st-edition-paul-
michael-garrett/
Lattice Coding for Signals and Networks A Structured

Coding Approach to Quantization Modulation and
Multiuser Information Theory Zamir R.
https://ebookgate.com/product/lattice-coding-for-signals-and-
networks-a-structured-coding-approach-to-quantization-modulation-
and-multiuser-information-theory-zamir-r/
Information Theory and Coding 1st Edition Dr.

Muralidhar Kulkarni & Dr. Shivaprakash K S
https://ebookgate.com/product/information-theory-and-coding-1st-
edition-dr-muralidhar-kulkarni-dr-shivaprakash-k-s/
Non representational Theory 1st Edition Paul Simpson
https://ebookgate.com/product/non-representational-theory-1st-
edition-paul-simpson/
Channel Coding in Communication Networks From Theory to

Turbo Codes 1st edition Edition Alain Glavieux
https://ebookgate.com/product/channel-coding-in-communication-
networks-from-theory-to-turbo-codes-1st-edition-edition-alain-
glavieux/
Copyright ©2004 by Pearson Education
The Mathematics of Coding Theory by Paul Garrett
ISBN 0-13-101967-8
Copyright © 2004 by Prentice-Hall. Inc.
Ali right reserved.
Contents
Preface . . . . . . . . . . . . . . . . '; . . . . . . xi
1 Probability . . . . . . 1
1.1 Set.s and functions 1
1.2 COllnting . . . . .... 5
1.3 Prdiminary idea..'i of probability 8
1.4 More formal view of probability 13
1.5 Random variables, expected values, variance 20
1.6 Markov's inequality, Chebysheff's inequality 27
1.7 Law of Large Numbers . . . . . . . . . 27
2 Information 33
2.1 Uncertainty, acquisition of information 33
2.2 Definition of entropy . . . '. . . . . 37
3 , Noiseless Coding ....... . 44

3.1 Noiseless coding . . . . . . . 44
3.2 Kraft and McMillan inequalities 48
3.3 Noiseless coding th<,'orem 51
3.4 Huffman encoding 54
4 Noisy Coding . . . ~' . . . 61

4.1 Noisy chaimels 61
4.2 Bxample; par~ty cheeks 63
4.3 Decoding from a noisy channel 66
4.4 Chanuel capacity 67
4.5 Noisy eoding theorem 71
5 Cyclic Redundancy Checks . . . . 82

5.1 The finite field with 2 elements 82
5.2 Polynomials over GF(2). .'. . 83
5.3 Cyclic redundancy checks '(CRCs) 86
5.4 What errors docs a CRC catch? 88
vii
viii Contents
6 The Integers ..... . 93
6.1 The reduction algorithm 93
6.2 Divisibility 96
6.3 Factorization into primes 99
6.4 A failure of unique factorization 103
6.5 The Euclidean Algorithm 105
6.6 Equivalence relations 108
6.7 The integers modulo m 111
6.8 The finite field Zip for p prime 115
6.9 Fermat's Little Theorem 117
6.10 Euler's theorem 118
6.11 Facts about primitive roots 120
6.12 Euler's criterion' 121
6.13 Fast modular exponentiation 122
6.14 Sun-Ze's theorem. 124
6.15 Euler's phi-function. 128
7 Permutations and Interleavers 134

7.1 Permutations of sets 134
7.2 ShufHes 139
7.3 . Block iIiterleavers 141
8 Groups 145
8.1 Groups 145
8.2 Subgroups. 147
8.3 Lagrange's Theorem 148
8.4 Index of a subgroup 150
8.5 Laws of exponents 151
8.6 Cyclic subgroups, orders, exponents 153
8.7 Euler's Theorem 154
8.8 Exponents of groups 155
8.9 Group homomorphisms 156
8.10 Finite cyclic groups . 158
8.1'1 Roots, powers 161
9 Rings and Fields 167

9.1 rungs. 167
9.2 Ring homomorphisms . 171
9.3 Fields. 175
10 Polynomials 178
10.1 Polynomials 178
10.2 Divisibility 181
10.3 Factoring and irreducibility 184
10.4 Euclidean algorithm for polynomials 187
10.5 Unique factorization of polynomials 189
Contents be
11 Finite Fields . .... 192

11.1 Making fields 192
11.2 Examples of field extensions 195
11.3 Addition mod P 197
11.4 Multiplication mod P 197
11.5 Multiplicative inverses mod P 197
12 Linear Codes . . . 200

12.1 An ugly example 200
12.2 A better approach 203
12.3 An inequality from the other side. 204
12.4 The Hamming binary [7,4] code 205
12.5 Some linear algebra 208
12.6 Row reduction: a review 211
12.7 Linear codes 218
12.8 Dual codes, syndrome decoding 222
13 Bounds for Codes . . . ... 228

13.1 . Hamming (sphere-packing) bound 228
13.2 Gilbert-Varshamov bound 230
13.3 Singleton bound 232
14 More on Linear Codes 234

14.1 Minimum distances in linear codes 234
14.2 Cyclic codes 235
15 Primitive Roots . . . ... 240

15.1 Primitive elements in finite fields 240
15.2 Characteristics of fields 241
15.3 Multiple factors in polynomials 243
15.4 Cyclotomic polynomials . 246
15.5 Primitive elements in finite fields: proofs 251
15.6 Primitive roots in Zjp 252
15.7 Primitive roots in Zjpe 253
15.8 Counting primitive roots 256
15.9 Non-existence of primitive roots 257
15.10 An algorithm to find primitive roots 258
16 Primitive Polynomials . . . . . . . 260

16.1 Definition of primitive polynomials 260
16.2 Examples mod 2 261
16.3 Testing for primitivity 264
16.4 Periods of LFSRs 267
16.5 Two-bit errors in CRCs 272
x Contents
17 RS and BCH Codes . . . . . . . . . . 276

17.1 Vandermonde determinants . . . . . 277
17.2 Variant check matrices for cyclic codes 280
17.3 Reed-Solomon codes 282
17.4 Hamming codes 285
17.5 BCH codes 287
18 . Concatenated Codes . 297
18.1 Mirage codes 297
18.2 Concatenated codes 301
18.3 Justesen codes 303
18.4 Some explicit irreducible polynomials 306
19 More on Rings and Fields .... 309
19.1 Ideals in commutative rings 309
19.2 Ring homomorphisms . . 313
19.3 Quotient rings . . . . . 317
19.4 Maximal ideals and fields 318
19.5 Field extensions . . . . 318
19.6 The Frobenius automorphism 321
19.7 Counting irreducibles 329
19.8 Counting primitives 331
20 Curves and Codes . . . . 335
20.1 Plane curves 335
20.2 Singularities of curves 339
20.3 Projective plane curves 342
20.4 Curves in higher dimensions 348
20.5 Genus, divisors, linear systems 348
20.6 Geometric Goppa codes 353
20.7 The Tsfasman-Vladut-Zink-Ihara bound 354
Appendix: Stirling's Formula 356
Appendix: Linear Algebra· 360

A.l Basics 360
A.2 Dimension . . . 363
A.3 Homomorphisms and duals 365
A.4 Scalar products . . . . . 372
A.5 Vandermonde determinants 374
Appendix: Polynomials 378
Bibliography . 384
Select Answers .. 386
Index . . . . 393
Preface
This book is intended to be accessible to undergraduate students with two
years of typical mathematics experience, most likely meaning calculus with a little
linear algebra and differential equations. Thus, specifically, there is no assumption
oLa background inabstr&;t algebra or number theory, nor of probability, nor of
linear algebra. All these things are introduced and developed to a degree sufficient
to address the issues at hand.
We will address the fundamental problem of transmitting information ef-
fectively and accurately. The specific mode of transmission does not really play
a role in our discussion. On the other hand, we should mention that the importance
of the iSsues of efficiency and accuracy has increased largely due to the advent of
the internet and, even more so, due to the rapid development of wireless communi-
cations. For this reason it makes sense to think of networked computers or wireless
devices as archetypical fundamental practical. examples.
The underlying concepts of information and information content of data
make sense independently of computers, and are relevant in looking at the operation
of natural languages such as English, and of other modes of operation by which
people acquire and process data.
The issue of efficiency is the obvious one: transmitting information costs time,
money, and bandwidth. It is important to use as little as possible of each of these
resources. Data compression is one way to pursue this efficiency. Some well
known examples of compression schemes are commonly used for graphics: GIFs,
JPEGs, and more recently PNGs. These clever file format schemes are enormously
more efficient in terms of filesize than straightforward bitmap descriptions of graph-
ics files; There are also general-purpose compression schemes, such as gzip, bzip2,
ZIP, etc.
The issue of accuracy is addressed by detection and correction of errors
that occur during transmission or storage of data. The single most important
practical example is the TCP lIP protocol, widely used on the internet: one basic
aspect of this is that if any of the packets composing a message is discovered to be
mangled or lost, the packet is simply retransmitted. The detection of lost packets
is based on numbering the collection making up a given message: The detection
of mangled packets is by use of 16-bit checksums in the headers of IP and TCP
packets. We will not worry about the technical details of TCP lIP here,· but only
note that email and many other types of internet traffic depend upon this protocol,
which makes essential use of rudimentary error-detection devices.
And it is a fact of life that dust settles on CD-ROMs, static permeates network
lines, etc. That is, there is noise in all communication systems. Human natural
languages have evolved to include sufficient redundancy so that usually much
less than 100% of a message need be received to be properly understood. Such
xi
xii Preface
redundancy must be designed into CD-ROM and other data storage protocols to
achieve similar robustness.
There are other uses for detection of changes in data: if the data in question is
the operating system of your computer, a change not initiated by you is probably
a sign of something bad, either failure in hardware or software, or intrusion by
hostile agents (whether software or wetware). Therefore, an important component.
of systems security is implementation of a suitable procedure to det.ect alterations
in critical files.
In pre-internet times, various schemes were used to reduce the bulk of commu-
nication without losing the content: this influenced the design of the telegraphic
alphabet, traffic lights, shorthand, etc. With the advent of the telephone and ra-
dio, these matters became even more significant. Communication with exploratory
spacecraft having very limited resources available in deep space is a dramatic ex-
ample of how t.he need for efficient and accurate transmission of information has
increased in our recent. history.
In this course we will begin with the model of communication and information
made explicit by Claude Shannon in the' 1940's, after some preliminary forays by
Hartley and others in the preceding decades.
Many things are omitted due to lack of space and time. In spite of their
tremendous importance, we do not mention convolutional codes at all. This is
partly because there is less known about them mathematically. Concatenated codes
are mentioned only briefly. Finally, we also omit any discussion of the so-called
turbo codes. Thrbo codes have been recently developed experimentally. Their
remarkably good behavior, seemingly approaching the Shannon bound, has led to
the conjecture that they are explicit solutions to the fifty-year old existence results
of Shannon. However, at this time there is insufficient understanding of the reasons
for their good behavior, and for this reason we will not attempt to study them here.
We do give a very brief introduction to geometric Goppa codes, attached to
algebraic curves, which are a natural generalization of Reed-Solomon codes (which
we discuss), and which exceed the Gilbert-Varshamov lower bound for performance.
The exercises at the ends of the chapters are mostly routine, with a few more
difficult exercises indicated by single or double asterisks. Short answers are given
at the end of the book for a good fraction of the exercises, indicated by '(ans.)'
following the exercise.
I offer my sincere thanks to the reviewers of the notes that became this volume.
They found many unfortunate errors, and offered many good ideas about improve-
ments to the text. While I did not choose to take absolutely all the advice given, I
greatly appreciate the thought and energy these people put into their reviews: John
Bowman, University of Alberta; Sergio Lopez, Ohio University; Navin Kashyap,
University of California, San Diego; James Osterburg, University of Cincinnati;
LeRoy Bearnson, Brigham Young University; David Grant, University of Colorado
at Boulder; Jose Voloch, University of Texas.
Paul Garrett
garrett@math. umn. edu
http://wWw .math. umn.edu(garrett /
1
Probability
1.1 Sets and functions
1.2 Counting
1.3 Preliminary ideas of probability
1.4 More formal view of probability
1.5 Random variables, expected values, variance
1.6 Markov's inequality, Chebysheff's inequality
1. 7 Law of Large Numbers
1.1 Sets and functions

Here we review some relatively elementary but very important terminology and
concepts about sets, in a slightly abstract setting.
Naively, a set is supposed to be a collection of 'things' (?) described by
'listing' them or prescribing them by a 'rule'. Please note that this is not a precise
description, but will be adequate for most of our purposes. We can also say that a
set is an unordered list of different things.
There are standard symbols for some often-used sets:
<P = {} = empty set = set with no elements

z the integers
Q the rational numbers
R = the real numbers
C = the complex numbers
A set described by a list is something like
s= {1,2,3,4,5,6,7,8}
1
2 Chapter 1 Probability
which is the set of integers greater than 0 and less than 9. This set can also be
described by a rule like
S = {1,2,3,4,5,6, 7,8} = {x: x is an integer and 1::S; x::S; 8}
This follows the general format and notation
{x: x has some property}
If x is in a set S, then write xES or S 3 x, and say that x is an element of S.

Thqs, a,set is the collection of all its elements (although this remark only explains
the language). It is worth noting that the ordering of a listing has no effect on a set,
and if in the listing of elements of a set an element is repeated, this has no effect.
For example,
{I, 2, 3} = {I, 1, 2, 3} = {3, 2, I} = {I, 3, 2, 1}
A subset T of a set S is a set all of whose elements are elements of S. This
is written T c S or S :) T. So always S c S and ¢> C S. If T c S and T -:f:. cP
and T -:f:. S, then T is a proper subset of S. Note that the empty set is a subset of
every set. For a subset T of a set S, the complement of T (inside S) is
T C = S - T = {s E S : s It T}
Sets can also be elements of other sets. For example, {Q, Z, R, C} is the set
with 4 elements, each of which is a familiar set of numbers. Or, one can check that
{{1,2},{1,3},{2,3}}
is the set of two-element subsets of {I, 2, 3}.

The intersection of two sets A, B is the collection of all elements which lie in
both sets, and is denoted A n B. Two sets are disjoint if their intersection is ¢>. If
the intersection is not empty, then we may say that the two sets meet. The union
of two sets A, B is the collection of all elements which lie in one or the other of the
two sets, and is denoted A U B.
Note that, for example, 1 i {I}, and {{I}} -:f:. {I}. That is, the set {a} with
sole element a is not the same thing as the item a itself.
An ordered pair (x, y) is just that, a list of two things in which there is a
first thing, here x, and a second thing, here y. Two ordered pairs (x, y) and (x', y')
are equal if and only if x = x' and y = y'.
The (cartesian) product of two sets A, B is the set of ordered pairs (a, b)
where a E A and b E B. It is denoted A x B. Thus, while {a, b} = {b, a} might be
thought of as an unordered pair, for ordered pairs (a, b) =f (b, a) unless by chance
a=b.
In case A = B, the cartesian power A x B is often denoted A 2 • More generally,
for a fixed positive integer n, the nth cartesian power An of a set is the set of
ordered n-tuples (aI, a2,"" an) of elements ai of A.
Some very important examples of cartesian powers are those of R or Q or C, .
which arise in other contexts as well: for example, R 2 is the collection of ordered
1.1 Sets and functions 3
pairs of real numbers, which we use to describe points in the plane. And R3 is
the collection of ordered triples of real numbers, which we use to describe points in
three-space.
The power set of a set S is the set 01 subsets of S. This is sometimes denoted.
by PS. Thus,
P¢> = {¢>}
P{I,2} = {¢>, {I}, {2}, {I, 2}}
Intuitively, a function 1 from one set A to another se\ B is supposed to be

a--!rule' which assigns to each element a E A an element b = f(a) E B. This is
written as
although the latter notation gives no information about the nature of 1 in any
detail.
More rigorously, but less intuitively, we can define a function by really telling
its graph: the formal definition is that a function 1 : A - B is a subset of the
product A x B with the property that for every a E A there is a unique b E B so
that (a, b) E I. Then we would write I(a) = b.
This formal definition is worth noting at least because it should make clear that
there is absolutely no requirement that a function be described by any recognizable
or simple 'formula'.
Map and mapping are common synonyms for function.
As a silly example of the formal definition of function, let 1 : {I,3} - {2,6}
be the function 'multiply-by-two', so that 1(1) = 2 and 1(3) = 6. Then the 'official'
definition would say that really 1 is the subset of the product set {I,3} x {2,6}
consisting of the ordered pairs (1,2), (3,6). That is, formally the function 1 is the
set
1 = {(I, 2), (3, 6)}
Of course, no one usually operates this way, but it is important to have a precise
meaning underlying more intuitive usage.
A function 1 : A - B is surjective (or onto) if for every b E B there is
a E A so that I(a) = b. A function 1 : A - B is injective (or one-to-one) if
I(a) = I(a') implies a = a'. That is, 1 is injective if for every b E B there is at
most one a E A so that I(a) = b. A map is a bijection if it is both injective and
surjective.
The number of elements in a set is its cardinality. Two sets are said to have
the same cardinality if there is a bijection between them. Thus, this is a trick
so that we don't have to actually count two sets to see whether they have the same
number of elements. Rather, we can just pair them up by a bijection to achieve
this purpose.
Since we can count the elements in· a finite set in a traditional way, it is clear
that a finite set has no bijection to a proper subset 01 itsell. After all, a proper
subset has lewer elements.
By contrast, for infinite sets it is easily possible that proper subsets have bijec-
tions to the whole set. For example, the set A of all natural numbers and the set
E of even natural numbers have a bijection between them given by
n-2n
But certainly E is a proper subset of A! Even more striking examples can be

arranged. In the end, we take as the definition that a set is infinite if it has a
bijection to a proper subset of itself.
Let 1 : A - B be a function from a set A to a set B, and let 9 : B - C be a
function from the set B to a set C. The composite function 9 0 1 is defined to
be
(g 0 f)(a) = g(f(a»
for a EA.
The identity function on a non-empty set S is the function f : S - S so
that f(a) = a for all a E A. Often the identity function on a set S is denoted by
ids·
Let 1 : A - B be a function from a set A to a set B. An inverse function
9 : B - A for f (if such 9 exists at all) is a function so that (f 0 g)(b) = b for all
b E B, and also (g 0 f)(a) = a for all a E A. That is, the inverse function (if it
exists) has the two properties
10 9 = idB go1 = idA
An inverse function to 1, if it exists at all, is usually denoted 1- 1 . (This is not at

all the same as 1/ f!)
Proposition: A fwiction f : A - B from a set A to a set B has an inverse if
and only if 1 is a bijection. In that case, the inverse is unique (that is, there is only
one inverse function).
Proof" Suppose that 1 : A - B is a bijection. We define a functioh 9 : B - A
as follows. Given b E B, let a E A be an element so that 1(a) = b. Then define
g(b) = a. Do this for each b E B to define g. Note that we use the surjectivity to
know that there exists an a for each b and we use the injectivity to be sure of its
uniqueness.
To check that go 1 = idA, compute: first, for any a E A, 1(a) E B. Then
g(f(a» is, by definition, an element a' E A so that 1(a') = 1(a). Since 1 is injective,
it must be that a' = a. To check that 1 0 9 = idB, take b E B and compute: by
definition of g, g(b) is an element of A so that 1(g(b» = b. But that is (after all)
just what we want.
On the other hand, suppose that for 1 : A - B there is 9 : B - A such that
go1 = idA and fog = idB, and show that 1 is bijective. Indeed, 'if 1(a1) = 1(a2),
then apply 9 to both sides of this equality to obtain
1.2 Counting 5
This proves injectivity of f. For surjectivity, given b E B,
f(g(b)) = idB(b) = b
This completes the proof that if f has an inverse then it is a bijection. / //
1.2 Counting
Here we go through various standard elementary-but-important examples of count-
ing as preparation for finite probability computations. Of course, by 'counting' we
mean structured co~ting.
Example: Suppose we have n different things, for example the integers from 1 to
n inclusive. The question is how many different orderings or ordered listings
of these numbers are there? Rather than just tell the formula, let's quickly derive
it. The answer is obtained by noting that there are n choices for the first thing il,
then n -1 remaining choices for the second thing i2 (since we can't reuse whatever
i l was), n - 2 remaining choices for i3 (since we can't reuse i l nor i2, whatever they
were!), and so on down to 2 remaining choices for in-l and then just one choice for
in. Thus, there are
n· (n - 1) . (n - 2) .... ·2· 1
possible orderings of n distinct things. This kind of product arises often, and there
is a notation and name for it: n-factorial, denoted nt, is the product
n! = n . (n - 1) . (n - 2) .... ·2·1
It is an important and useful convention that
O! = 1
The factorial n! is defined only for non-negative integers.

Example: How many ordered k-tuples of elements can be chosen (allowing
repetition) from a set of n things? There are n possibilities for the first choice. For
each choice of the first there are n choices for the second. For each choice of the
first and second there are n for the third, and so on down to n choices for the kth
for each choice of the first through (k - 1) th. That is, altogether there are
,n x n xv ... x n' = nk
k
ordered k-tuples that can be chosen from a set with n elements.

Example: How many ordered k-tuples of distinct elements can be chosen from
a set of n things? (In a mathematical context distinct means all different from each
other.) There are n possibilities for the first choice. For each choice of the first
there are n - 1 remaining choices for the second, since the second element must
be different from the first. For each choice of the first and second there are n - 2
remaining choices for the third, since it must be different from the first and second.
This continues, to n - (k - 1) choices for the kth for each choice of the first through
(k - 1) th, since the k - 1 distinct element already chosen can't be reused. That is,
altogether there are
n x (n - 1) x (n - 2) x ... x (n - (k - 2)) x (n - (k - 1)) = n!/(n - k)!
ordered k-tuples of distinct elements that can be chosen from a set with n elements.
Example: How many (unordered!) subsets of k elements are there in a set of
n things? There are n possibilities for the first choice, n - 1 remaining choices for
the second (since the first item is removed), n - 2 for the third (since the first and
second items are no longer available), and so on down to n - (k -1) choices for the
kth. This number is n!/(n - k)!, but is not what we want, since it includes a count
of all different orders of choices, but subsets are not ordered. That is,
n'
(n _. k)! = k! x the actual number
since we saw in a previous example that there are k! possible orderings of k distinct
things. Thus, there are
n!
k! (n - k)!
choices of subsets of k elements in a set with n elements.
The number n!/k!(n - k)! also occurs often enough to warrant a name and
notation: it is called a binomial coefficient, is written
n! (n)
k! (n - k)! - k
and is pronounced 'n choose k' in light of the previous example. The name 'binomial
coefficient' is explained below in the context of the Binomial Theorem.
Example: How many disjoint pairs of 3-element and 5-element subsets are there
in a set with 10 elements? We just saw that there are (~) choices for the
first subset with 3 elements. Then the remaining part of the original set has just
10 - 3 = 7 elements, so there are (~) choices for the second subset of 5 elements.
Therefore, there are
(10) (7) = 1O! 7!

3 5
10!
7! 3! 5!2! = 3! 5! 2!
=
1O! 5!
5! 5! . 3! 2! =
(10)
5
(5)
3
1.2 Counting 7
pairs of disjoint subsets of 3 and 5 elements inside a set with 10 elements. Note
that we obtain the same numerical outcome regardless of whether we first choose
the 3-element subset or the 5-element subset.
Example: How many disjoint pairs of subsets, each with k elements, are there in
a set with n elements, where 2k ~ n? We saw that there are (~) choices for the
first subset with k elements. Then the remaining part of the original set has just
n - k elements, so there are (n ~ k) choices for the second subset of k elements.
But our counting so far inadvertently takes into account a first subset and a second
one, which is not what the question is. By now we know that there are 2! = 2
choices of ordering of two things (subsets, for example). Therefore, there are
1 (n) (n-k) 1 n! (n-k)!

"2 k k = "2 (n -k)!k! k!(n - 2k)!
n!
2 k! k!(n - 2k)!
pairs of disjoint subsets of k elements each inside a set with n elements.
Generalizing the previous: For integers n, e, k with n ~ ke, we could ask how
many families of e disjoint subsets of k elements each are there inside a set of n
elements? There are
choices for the first subset,
for the second,
for the third, up to

(n-(~-1)k)
for the eth subset. But since ordering of these subsets is inadvertently counted
here, we have to divide bye! to have the actual number of families. There is some
cancellation among the factorials, so that the actual number is
number of disjoint subsets of k elements = e! (k!)l7: _ ek)!
The Binomial Theorem asserts that

This identity shows that the binomial coefficients are integers, and is the basis for
other identities as well. This identity is proven by induction, as follows. For n = 1
the assertion is immediately verified. Assume it is true for exponent n, and prove
the corresponding assertion for exponent n + 1. Thus,
= t
k=O
(~) (xk+1yn-k + xkyn-k+l)
= xOyn+l + xn+lyO + + t ((k: 1)

k=l
+ (~)) xk yn+l-k
Thus, to prove the formula of the Binomial Theorem for exponent n + 1 we must
prove that for 1 ~ k ~ n
We do this by expressing the left-hand side in terms of binomial coefficients:
n! n! n! k n! (n - k + 1)
= (k - I)! (n - k + I)! + k! (n - k)!
= k! (n - k + I)! + -:-;--::=-----:-----:--c-:
k! (n - k + I)!
(n+l)! (n+l)
= k! (n - k + I)! = k
as claimed.
1.3 Preliminary ideas of probability

This little section moves from an intuitive version of probability toward a more
formal and mathematically useful version presented in the next section.
First, there is the conversion from the colloquial notion of the 'chance' of
something occurring to the notion of its 'probability'. While usually the 'chance' of
something happening is a percentage, a probability is a number between 0 and 1,
inclusive. The conversion rule is the following: if in colloquial English the 'chance'
of something happening is x%, then its probability is x/tOO. (This introduces no
new content.) At one extreme, if an event is 'sure' to happen, then its probability
is 1 (its chance is 100%), while at the other extreme if something is sure not to
happen then its probability is 0 (its chance is 0%).
One basic postulate about probability is that the probabilities of all the differ-
ent possible outcomes of an event or experiment should add up to 1. An analogous
1.3 Preliminary ideas of probability 9
rule is taken as true for 'chance': the sum of the percenta.ges of all possible outcomes
should be 100%.
But what is 'probability'?
Example: A 'fair coin' is presumed to have equal probabilities ('equal chances')
of landing heads-up or tails-up. Since the probability of heads is the same as the
probability of tails, and since the two numbers should add up to 1, there is no
choice but to assign the probability 1/2 to both. Further, each toss of the coin is
presumed to-have an outcome independent of other tosses before and after. That is,
there is no mechanism by which the outcome of one toss affects another. Now we
come to a property which we would assume to be roughly true: out of (for example)
10 coin tosses we expect about half to be heads and about half to be tails. We
expect that it would very seldom happen that 10 out of 10 tosses would all be
heads. Experience does bear this out. So far, in this vague language, there is no
obvious problem.
But, for example, it would be a mistake to be too aggressive, and say that we
should expect exactly half heads and half tails. Experimentation will show that out
of repeated batches of 10 coin flips, only about 1/4 of the time will there be exactly
5 heads and 5 tails. (Only once in about 210 = 1024 times will one get all heads.)
In fact, about 2/5 of the time there will be either 6 heads and 4 tails, or vice versa.
That is, a 6-4 or 4-6 distribution of outcomes is more likely than the 'expected' 5-5.
But this is not a paradox, since· upon reflection our intuition might assure us
not that there will be exactly half heads and half tails, but only approximately half
and half. And we can retell the story in a better way as follows. So what does
'approximately' mean, exactly?
In a trial of n coin flips, each flip has two possible outcomes, so there are
possible sequences of n outcomes. The assumptions that the coin is 'fair' and
that the separate coin tosses do not 'influence' each other is interpreted as saying
that each one of the 2n possible sequences of coin-toss outcomes is equally likely.
Therefore, the probability of any single sequence of n outcomes is 1/2n. Further,
for any subset S of the set A of all 2n possible sequences of outcomes, we assume
that
probability of a sequence of n tosses giving an outcome in S
number of elements in S number of elements in S
=
number of elements in A 2n
Then the probability that exactly k heads will occur out of n tosses (with
0:$ k :$ n) is computed as
probability of k heads out of n tosses
number of sequences of n heads/tails with exactly k heads

total number of sequences of n heads/tails
number of sequences of n heads/tails with exactly k heads

= ----------~--------~~~----------~-------
2n
To count the number of sequences of n heads-or-tails with exactly k heads, we may

think of this problem as that of counting the number of subsets with k elements
from a set with n elements. That is, the whole set is the set of all n flips, and the
subset is the set of flips that come up heads. This number is the binomial coefficient
n-choose-k = k! (nn!_ k)! =

(n)k
Thus, for example, the probability that exactly 5 heads come up in 10 tosses
is
( 10) (10.9.8.7.6) 252 1
5 _ 5·4·3·3·1 _ ,...,
210 - 1024 - 1024 ,..., 4
as commented jUBt above. And the probability that 6 heads and 4 tails or 4 heads
and 6 tails occur is
number of sequences of 10 with exactly 6 or exactly 4 heads

210
Perhaps not entirely surprisingly, the probability of getting exactly half heads
and half tails out of 2n flips goes down as the number of flips goes up, and in fact
goes to 0 as the number of flips goes to infinity. Nevertheless, more consistent
with our intuition, the sense that the number of heads is approximately one half is
correct. Still, i~ terms of the expression
P( exactly n heads in 2n flips) = ~J

the fact is that
lim
n ..... oo
e:)
22n
=0
It is not so easy to verify this directly, but consideration of some numerical examples
is suggestive if not actually persuasive. Quantification of the notion that the number
of heads is approximately one half is filled in a little later. by the Law of Larye
Numbers.
1.3 Preliminary ideas of probability 11
In purely numerical terms some values of the previous expression are
m/ 22
(~)/24
::::l
::::l
0.5
0.375
m/ 26
(!)/2 8
::::l
::::l
0.3125
0.2734
C5 )/212
0 1O ::::l 0.2461
(';)/2 ::::l 0.1813
cn/ 214
(~0)/220
::::l
::::l
0.1683
0~176197052002
(~~)/230 ::::l 0.144464448094
40
(:)/2 ::::l 0.12537068762
(~~)/250 ::::l 0.112275172659
(:)/260 ::::l 0.102578173009
G~)/270 ::::l 0.0950254 735405
(!g)/280 ::::l 0.0889278787739
(:0)/290 ::::l 0.0838711229887
(~)/2100 ::::l 0.0795892373872
(~~D/2200 ::::l 0.0563484790093
(~)/2300 ::::l 0.046027514419
400
d:)/2 ::::l 0.0398693019638
(~og)/2500 ::::l 0.0356646455533
(~)/2600 ::::l 0.032559931335
7OO ::::l 0.0301464332521
G:)/2
(!oog) /2800 ::::l 0.0282006650947
900
(=)/2 ::::l 0.0265887652343
C5~~) /2 1000 ::::l 0.0252250181784
Remark: We're not really answering the question 'what is probability?', but
instead we're telling how to compute it.
One attempt to be more quantitative taken in the past, but which has several
flaws, is the limiting frequency definition of probability, described as follows in
the simplest example. Let N{n} be the number of times that a head came up inn
trials. Then as n grows larger and larger we might imagine that the ratio N{n}/n
should get 'closer and closer' to the 'probability' of heads {1/2 for a fair coin}. Or,
in the language of limits, it should be that
prob a bI·l·Ity 0 f heads = 1·1m. number of heads. in .n flips

n ...... oo n
(And probably this limit really is 1/2.) But there are problems with this definition.
It's not that the assertion itself is false, but rather that this isn't a good definition
of probability from which to start. For example, either in real life Or in theOry it's
not convenient to do infinitely many flips. Second, if we try to do only finitely many
flips and approximate the probability, how many do we need to do? Third, how
do we know that every infinite sequence of trials will give the same limiting value?
There are many further objections to this as a fundamental definition, but we should
be aware of interpretations in this direction. A more supportable viewpoint would
make such limiting frequency assertions a consequence of other things, called the
Law of Large Numbers. We'll prove a special case of this a bit later.
Example: The next traditional example involves picking colored balls out of an
urn. Suppose, for example, that there are N balls in the urn, r red ones and
b = N - r blue ones, and that they are indistinguishable by texture, weight, size,
or in any way. Then in choosing a single ball from the urn we are 'equally likely'
to choose anyone of the N. As in the simpler case of coin flips, there are N
possibilities each of which is equally likely, and the probabilities must add up to 1,
so the probability of drawing any particular ball must be 1 IN. Further, it may seem
reasonable to postulate that the probability of picking out one ball from among a
fixed subset of k would be k times the probability of picking a single ball. Granting
this, with r red balls and b blue ones, we would plausibly say that the probability
is r IN that a red ball will be "chosen and biN that a blue ball will be chosen. (We
should keep iI;l mind that some subatomic particles do not behave in this seemingly
reasonable manner!) So without assigning meaning to probability, in some cases we
can still reach some conclusions about how to compute it.
We suppose that one draw (with replacement) has no effect on the next one,
so that they are independent. Let r(n) be the number of red balls drawn in a
sequence of n trials. Then, in parallel with the discussion just above, we would
presume that for any infinite sequence of trials
number of red balls drawn in n draws r
lim
n-+oo n N
But, as noted above, this should not be the definition, but rather should be a
deducible consequence of whatever definition we make.
Running this. in the opposite direction: if there are N balls in an urn, some
red and some blue, if r(n) denotes the number of red balls chosen in n trials, and if
lim r(n) = f
n--+oo n
then we would suspect that
number of red balls in the urn ~ f .N

And we would suspect that the probability of drawing a red ball in a single trial is
f, since the limiting frequency of drawing red balls is f.
But how close would this equality be? The numbers above show that it is not
very likely that a fair coin will give exactly half heads out of any number of flips,
so would we always fail to realize that we had a fair coin? Hmmm.
Again, yes, the limiting frequency intuition for probability is accurate, but isn't
adequate as a definition. We give a less intuitive definition in the next section, and
later return to limiting frequencies with the Law of Large Numbers.
1.4 More formal view of probability

Now we will remove some of the immediacy of the notion of probability, but will
replace it with greater precision.
Suppose that an experiment has possible different outcomes WI, ... ,Wn . The
collection n = {WI. ... ,wn } of all possible outcomes is the sample space. Each
possible Wi is an event. We suppose that each possible outcome Wi has a proba-
bility P(Wi) = Pi ~ 0, and
PI+P2+···+Pn=1
The function PO on 0 is (nearly) a probability measure. The sample space

together with the system of attaching probabilities to each event (the probability
measure) is a probability space. ,
Remark: Yes, a (finite) probability space is just a set with non-negative numbers
attached to its elements, that add up to 1. There is no explanation of where the
probabilities come from.
Example: Let 0 = {H, T} and assign probabilities by
P(H) = ~
1
P(T) = 2
This is the model of a fair coin.
A more general idea of event (sometimes called compound event) is any
subset A of the sample space, that is, of the set 0 = {Xl, ... , Xn} of all possible
events. In that context, the events {Xi} are sometimes called atomic events. The
probability of A is
P(A) = I: P(Xi)
xiEA
where (to repeat) the sum is over the 'points' Xi that lie in A. The function PO
extended in this fashion is really what a probability measure is. The event A
occurs if anyone of the Xi E A occurs. Thus, for A = {Xi) , ... , Xik },
As extreme cases,
1'(0) = 1
and
P(<fJ) = 0
Generally, for an event A, the event not-A is the set-theoretic complement AC =
0- A of A inside O. Then
P(not A) = P(AC) = P(O - A) == 1 - P(A)

14 Chapter 1 . Probability
For two events A and B, the event A - or - B is simply A u B, and

P(A or B) = P(A u B)
For two events A and B, the event A - and - B is An B, and
.P(A and B) = P(A n B)

Two events A and B (subsets of {Xl. ... ,xn }) are mutually disjoint or mutually
exclusive if A n B = t/>. IT two events are disjoint, then we have
P(A or B) = P(A U B) = P(A) + P(B)

Example: Let n = {ri', r2, r3, bI.~' b3, b4 , b5 , b6 , b7 } (where we imagine that the
riS are red balls and the bjs are blue balls), with
1
P(ri) = 10
. 1
P(bj ) = 10
for all i and j. This is the model of 10 balls in an urn. Then the subsets
A = {rb r2, r3} = drawing a red ball
B = {bb b2 , b3 , b4 , b5 , b6 , bd = drawing a blue ball

are 'compo~d' events, whose probabilities are computed by
. . . 1 1 1 3
P(A) = P(rI) + P(r2) + P(r3) = 10 + 10 + 10 = 10
7
P(B) = P(bI ) + P(~) + ... + P(~) = 10
We can assign these, prqba.bilities Pi by intuition, by using the .limiting fre-

quency idea, or by other means. In fact, they might be measured experimentally,
or assigned in some operational manner possibly hard to justify rigorously. Let's
repeat the limiting frequency story one more time in this situation. We imagine
that the same experiment X is conducted over and over, and that subsequent trials
are unaffected by the earlier ones, that is, they are independent trials. For n
such independent trials let n(wi) be the number of times that the event Wi occurs.
Suppose that for any infinite sequence of trials the limit
exists and is unique. Then this limiting frequency Pi should be the probability
of the event Wi.
1.4 .More formal view of probability 15
Example: Consider the experiment of drawing a ball from an urn in which there
are 3 red balls, 3 blue balls, and 4 white balls (otherwise indistinguishable). As
above, we would postulate that the probability of drawing any particular individual
ball is 1/10. (These atomic events are indeed 'mutually exclusive, because we only
draw one ball at a time.) Thus, the 'smallest' events Xl, X2, ••• ,XlO are the possible
drawings of each one of the 10 balls. Since they have equal chances of being drawn,
the probabilities Pi = P(Xi) are all the same (and add up to 1):
PI = P2 = P3 == ... = PIO
Then the ('compound') event A of 'drawing a red ball' is the subset with three
elements consisting of 'draw red ball one' ,'draw red ball two', and 'draw red ball
three'. Thus,
1 1 1 3
P(A) = 10 + 10 + 10 = 10
Let B be the event 'draw a white ball'. Then, since A and B are disjoint events,
the probability of drawing either a red ball or a white ball is the sum:
= P(A U B) = P(A) + P(B) = 10 + 1~ = 1~

3
P( drawing red or white)
This is reasonable, and argues in favor of this way of modeling.

As an example of a basic systematic computation:
Proposition: Let {1 be a finite probability space with elements WI, ... ,Wn . Let
A be a subset of the sample space {1 with probability P(A) = p. Let k :5 N be
integers with N > 0 and k ~ o. Then the probability that A occurs in exactly k of
N trials is
Proof: When N = 1, the probability that A occurs is p, and the binomial coef-
ficient G) is 1. The probability that A does not occur is 1 - p, and @ = 1 also.
The main part of the argument is an induction on N. Since the different trials are
independent, by assumption, we have
P(A occurs in k of N)
= P(A occurs in k of the first N ~ 1) . P(A does not occur in the Nth)
+ P(A occurs in k - 1 of the first N - 1) . P(A occurs in the Nth)
= (N; l)pk (1 _ p)N-I-.k x (1 _ p)

+ (~~ :)pk-l (1- x
p)N-I-(k-l) P
We want to prove that this is equal to
We can see already that the powers of p and of 1 - p will match, so it's just a matter
of proving that
which we already verified in proving the Binomial Theorem earlier. This completes
the induction and the proof. III
Let n be a probability space, and let A be a ('compound') event with P(A) > o.
Let B be another ('compound') event. Then the conditional probability
P(B given that A occurs)
is denoted P(BIA) and is computed as
P(BIA) = P(A n B)
P(A)
In effect, the phrase 'given that A occurs' means that we replace the 'universe' n
of possible outcomes by the smaller 'universe' A of possibilities, and 'renormalize'
all the probabilities accordingly.
The formula P(BIA) = P(A n B)I P(A) allows us to compute the conditional
probability in terms of the other two probabilities. In 'real-life' situations, it may
be that we know P(BIA) directly, for some other reasons. If we also know P(A),
then this gives us the formula for
P(A and B) = P(A n B)
namely
P(A n B) = P{BIA) . P{A)
Example: What is the probability that 7 heads appear in 10 flips of a fair coin
given that at least 4 heads appear? This is a direct computation of conditional
probability:
= P(7 heads and at least 4 heads)

P{7 heads I at Ieast 4 heads ) P(at least 4 heads)
P(7 heads)
P( at least 4 heads)
C~)·~
C~)
= ....,.(~=O)-+---:-;;C5=O)-+---:-;;C6=O)-+----:'C7~O)-+---:-;;C8=O)-+---:-;;C9=O)-+~G=-g)
since the requirement of 7 heads and at least 4 is simply the requirement of 7 heads.
Two subsets A, B of a probability space n are independent if
P(A n B) = P(A) . P(B)
In simple examples, it usually happens that independence of events is due to some

fairly obvious independence of 'causality'. Equivalently,
P(B) = P(B/A)
and equivalently
P(A) = P(AIB)
Example: Let n = {10, 11, ... , 99} be the collection of all integers from 10 to 99,
inclusive. Let A be the subset of nconsisting of integers x E n whose ones'-place
digit is 3, and let B be the subset of integers x E n whose tens'-place digit is 6.
Then it turns out that
P(A n B) :::;: P(A) . P(B)
so, by definition, these two ('compound') events are independent. Usually we expect
an explanation for an independence result, rather than just numerical verification
that the probabilities behave as indicated. In the present case, the point is that
there is no 'causal relation' between the one's-place and tens'-place digits in this
example.
To model repeated events in this style, we need to use the set-theoretic idea of
cartesian product: again, the cartesian product of n sets Xl,'" ,Xn is simply
the collection of all ordered n tuples (Xl!' .. , xn) (the parentheses and commas are
mandatory), where Xi E Xi. The notation is
Xl X .•. X Xn = {(Xl!'" ,Xn) : Xi E Xi, 1:::; i:::; n}

(No, we are not in any sense generalizing the notion of 'multiplication': it's just a
notation.) If all the sets Xi are the same set X, then there is a shorter notation,
xn =X X ~
.•• X X
n
suggested by exponential notation for repeated multiplication of numbers. Likewise,

xn is the nth cartesian power of the set X. Also, the word 'cartesian' is indeed
often written in lowercase rather than uppercase, despite the fact that it comes from
from Rene Descartes. The adjective is so widely used that it has been 'promoted'
to lowercase. This is a peculiar distinction common in mathematics.
To repeat the experiment modeled by a probability space n = {WI,"" Wt}
some number n times, consider the cartesian power nn of n, which (by definition)
is the collection of all ordered n-tuples of elements of n. We assign probabilities by
18 Chapter 1 . Probability
for any n-tuple (Wi!, Wi2' . .. ,Win). It's not hard to check that with this probability
measure nn is a probability space. Further, even for 'compound' events AI, ... , An
in n, it's straightforward to show that
where Al x ... x An is the cartesian product of the AiS and naturally sits inside
the cartesian product n x ... x n = nn.
The idea is to imagine that (Wi"Wi2' ..• ,Win) is the event that Wi, occurs on the
first trial, Wi2' on the second, and so on until Win occurs on the nth. Implicit in this
model is the idea that later events are independent of earlier ones. Otherwise that
manner of assigning a probability measure on the cartesian power is not appropriate!
Example: Let n = {H, T} with P(H) = 1/2 and P(T) = 1/2, the fair-coin-
flipping model. To model flipping a fair coin 10 times, one approach is to look at n lO ,
which is the set of all 100tuples of values which are either heads or tails. Each such
10-tuple is assigned the same probability, 1/210 • Now consider the ('compound')
event
A = exactly 7 heads in 10 flips
This subset of n10 consists of all (ordered!) l(}.tuples with exactly 7 heads values
among them, and (by definition) the probability of A is the number of such mul-
tiplied by 1/210 , since each such 'atomic' event has probability 1/210 • Thus, to
compute P(A) we need only count the number of elements of A. It is the number
of ways to choose 7 from among 10 things, which is the binomial coefficient e~).
Thus,
P(7 heads in 10 flips) = P(A) = C;) . 2!O
Example: Let n = {TI, bI,~} with P(TI) = P(bd = P(~) = 1/3, modeling a
red ball and two blue balls in an urn. To model drawing with replacement 5 times,
one approach is to look at n5 , which is the set of all 5-tuples of values either TI, bb
or~. Each such 5-tuple is assigned the same probability, 1/35 . Now consider the
('compound') event
A = exactly 3 blues in 5 draws (with replacement)
This subset of n5 consists of all (ordered!) 5-tuples with exactly 3 bl or b2 val-

ues among them, and (by definition) the probability of A is. the number of such
multiplied by 1/35 , since each such 'atomic' event has probability 1/35 . Thus, to
compute P(A) we could count the number of elements of A. But we can be a bit
more clever. Let Ao be the subset Ao = {bl'~} of n corresponding to drawing a
blue ball in a single draw. Then P(A o} = 2/3, and A is the set of all 5-tuples in
which exactly 3 elements of Ao appear. As noted above, the probability measure
on the product space n assures that (for example)
P(A o x Ao x Ao x {TI} x {TI}) = P(Ao) .P(Ao).P(Ao).P(rl) .P(Tl) = (~) 3. (~) 2

Note that the numerical value does not depend on the exact location of the Aos and
the rIS, but only on the number of them. Thus, the number of ways to choose the
3 locations of the Ao element from among the 5 places is the binomial coefficient
(~). Thus,
P(3 blues in 5 draws) = P(A) = G) .(~)3. (~) 2

Remark: All our examples so far are finite probf:\.bility spaces, meaning the obvi-
ous thing, that there are only finitely many elements of the set, so only finitely-many
'atomic' events. This restriction is not really terribly confining, and already gives
ample opportunity to illustrate many fundamental phenomena, but nevertheless we
might want to see how to treat some infinite probability spaces.
Example: Suppose we take n to be the interval 10, 1] of real numbers and that
we want every real number in that interval to be equally probable to be selected.
If we try to assign values P(x) to x E [0,1] since they are all equal, but infinitely
many must add up to 1, we find ourselves in an impossible situation. Instead, we
give up on the idea of assigning a probability to every subset A of n' = 10,1], and
give up on the too-naive idea that
P(A) = L P(x)
xEA
and instead only assign probabilities to a restricted class of subsets. For example,
we might assign
P([a, b]) = b - a
for any subinterval la, b] of 10, 1], and then define
for disjoint collections of intervals [ai, bi]. This is a start, but we need more. In
fact, for a collection of mutually disjoint intervals
indexed by positive integers, we can compute the probability of the union by the
obvious formula
(A collection indexed by the positive integers iscallEid countable.) We could also

compute the probability measure of the complement
{WEn:w¢A}
of a set A in the reasonable manner, by
P(not A) = 1 - P(A)
Further, we can repeat these two types of operations, taking countable unions of
disjoint sets, and taking complements, making ever more complicated sets whose
probability measure is definable in this example. (The totality of sets created has
a name: it is the collection of Borel sets in [O,lJ.) To know that these processes
really define a probability measure requires proof!
Example: A more important example for our immediate applications is
0= {infinite sequences (Sl,S2,S3,"')}
where all the symbols Si lie in some fixed set 0 0 , Analogous to the previous example,
we restrict our attention initially to cylinders (also called cylindrical sets), which
means sets of the form
S(8}, S2, .•. , sn)
= { sequences (SI' 82,"" Sn, Sn+1,"'): where St is arbitrary for t >n }

where the length n of the specified initial segment can vary from cylinder set to
cylinder set. As in the previous example, we can then assign probability measures
to countable unions U: 1 Ai of disjoint sets Ai by
Assign probabilities to the complement AC = {w EO: w ~ A} by
We can repeat these processes indefinitely, making ever more complicated subsets
to which we can assign a probability measure.
1.5 Random variables, expected values, variance

The idea of expected value of an uncertain 'experiment' or 'test' or 'trial' exists
in colloquial language already, but must be made more precise for mathematical
use. In many cases an intuitive version matches very well with the more formal one,
but one must be cautious. Likewise, the variance of a random variable indicates
roughly how much the actual values differ from the expected value, but we can be
more precise.
A random variable X is a real-valued function X on a probability space 0
(with implicit probabUity measure PO).
Remark: It is possible to consider complex-valued or vector-valued random vari-
ables X, or any kind of values that can be added together and multiplied by real
numbers, but for our purposes real-valued ones will suffice.
Remark: Yes, due to tradition at least, instead of the 'f' otherwise often used
for functions, an 'X' is used, perhaps to be more consonant with the usual use of x
for a (non-random?) 'variable'. Further, there is a tradition that makes the values
of X be labeled 'Xi' (in conflict with the calculus tradition).
For a possible value X of X, we extend the notation by writing
P(X = x) = P({w En: X(w) = x})
That is, the probability that X = x is defined to be the probability of the subset
of n on which X has the value x.
The expected value of such a random variaole on a probability space n =
{Wl,' .. ,wn } is defined to be
Of course, we may imagine that after a 'large' number of independent trials

with outcomes Wi" Wi2' ... , WiN the avemge value
will be 'close to' E(X). But in fact we can prove such a thing, rather than just
imagine that it's true: again, it is a Law of Large Numbers.
The simplest models for the intuitive content of this idea have their origins
in gambling. For example, suppose Alice and Bob ('A' and 'B') have a fair coin
(meaning heads and tails both have probability 0.5) and the wager is that if the
coin shows heads Alice pays Bob a dollar, and if it shows tails Bob pays Alice a
dollar. Our intuition tells us that this is fair, and the expected value computation
n
corroborates this, as follows. The sample space is = {wo,wd (index '0' for ¥ads
and '1' for tails), with each point having probability 0.5. LetfX be the random
variable which measures Alice's gain (or loss):
X(Wo) = -1 X(wt} = +1
Then the expected value of X, Alice's expected gain, is
E(X) = 0.5· (-1) + 0.5· (+1) = 0
In general, a fair wager is one such that everyone's expected gain is O. (What's
the point of it then? Probably that perceptions of probabilities can differ, and that
some people like pure gambling.)
It is important to notice that an expected value is more sophisticated than the
most naive idea of 'average'. For example, suppose we choose an integer at random
in the range 1-10 and square it. With equal probabilities assigned, the expected
value of the square is
It is not true that we can take the average of 0-10 first (namely, 5) and square it
(getting 25) to obtain the expected value.
Proposition: Let X and Y be two random variables on a sample space n =
{WI. ... ,wn }, with probabilities P(Wi) = Pi. The sum random variable X + Y is
defined in the natural way as
Then
E(X + Y) = E(X)+ E(Y)
Proof: This is a direct computation from the definition:
E(X + Y) = L Pi (X(wd + Y(Wi))

i
= L Pi X(Wi) + L Pi Y(wd) = E(X) + E(Y)

i
III
Proposition: Let X be a random variable on a sample space n = {WI. ... , wn },
with probabilities P(Wi) = Pi. Let c be a constant. The random variable eX is
defined in the natural way as
Then
E(cX) = e· E(X)
Proof: This is a direct computation from the definition:
E(eX) = L Pi eX (Wi) = e L Pi X(Wi) = e· E(X)

i
III
Let n be a sample space. Let X and Y be random variables on n. The product
random variable XY is defined on the sample space n in the reasonable way:
(XY)(W) = X(w) Y(w)
These two random variables X and Y are independent random variables if for
every pair x, y of possible values of X, Y, we have
P(X = x and Y = y) =, P(X =x) . P(Y = y)

(This definition of independence is really just a paraphrase of the earlier definition

of independence of events, applied to several implicitly defined events.)
The following assertion is not generally true without the hypothesis of inde-
pendence. We give an example of this after the proof.
Proposition: For two independent random variables X, Y on a sample space n,
the expected value ofthe product is the product of the expected values:
E(XY) = E(X) . E(Y)
Proof: The definition of the expected value of the product is
E(XY) = L P(w)XY(w}
wEn
By the definition of XY, this is
L P(w)X(w) Y(w)
wEn
To prove the proposition gracefully it is wise to use the notation introduced above:
let x range' over possible values of X and let y range over possible values of Y.
Then we can rewrite the expected value by grouping according to values of X, and
Y: it is
L LP(w)X(w) Y(w)
x,Y w
where for fixed (x,'y) the inner sum is <>ver w so that
X(w) = x and Y(w) = y
Then: use the new notation to rewrite this as
= L P(X = x and Y ='y)xy

x,Y
The assumption ,of independence is exactly that
P(X =x and Y = y) = P(X ::;: x) . P(Y = y)

so the expression becomes
L P(X=x)P(Y=y)xy
x,Y
which we can now separate as a product
= L P(X = x)x L P(Y = y)y = E(X)· E(Y)

x y
III
Remark: If X and Y are not independent the conclusion of the previous proposi-
tibn may be faIse. For example, let X and Y both be the number of heads obtained
in a single flip of a fair coin. Then XY = X = Y, and we compute that
E(X) = E(Y) = E(XY) = P(head) . 1 + P(tail) . 0 = ~ . 1 + ~ ·0 = ~

2 2 2
Then
1 1 1 1
E(XY) = "2 =I 4 = "2 . "2 = E(X) . E(Y)
An important case of independent random variables arises when several in-
n
dependent trials are conducted (with the same 'experiment'). Let be a sample
space. Consider N independent trials. Consider the product
ON =0 x '" x 0
..
N
consisting of ordered N-tuples of elements from O. Let Xi be a random variable

on ON whose value only depends upon the outcome of the ith trial. Then for i =I j
the two random variables Xi and Xj are independent.
The variance (72(X) of a random variable X with expected value J.L = E(X)
is the expected value of the random variable (X - J.L)2:
The (non-negative) square root (7 of the variance (72 is the stand~d deviation
ofX.
Finally, we compute the expected value and variance for the binomial distri-
bution. That is, fix a positive integer n, fix a real number p in the range 0 $ p $ 1,
and let 0 be the probability space consisting of all ordered n-tuples of O's and 1's,
with
P(a particular sequence with iI's and n - i O's) = pi (1 _ p)n-i
Let X be the random variable on 0 defined by
X(a sequence of nO's and l's) = number of l's in the sequence
Then from earlier examples we know that
P(X = i) = { (7) p'o'(1 - p)n-i (for 0 $ i $ n)

(otherwise)
Proposition: With the random variable X as just above

E(X) =pn
(72(X) = p(l - p)n

Remark: The expected value assertion is certainly intuitively plausible, and there
are also easier arguments than what we give below, but it seems reasonable to warm
up to the variance computation by a similar but easier computation of the expected
value.
Proof: This computation will illustrate the use of generating functions to evaluate
naturally occurring but complicated looking expressions. Let q = 1 - p.
First, let's get an expression for the expected value of X: from the definition,
An astute person who remembered the binomial theorem might remember that it
asserts exactly that the analogous summation without the factor i in front of each
term is simply the expanded form of (p + q)n:
This is encouraging! The other key point is to notice that if we differentiate the
latter expression with respect to p, without continuiIig to re<J.uire q = 1 - p, we get
The left-hand side is nearly the desired expression, but we're missing a power of p
throughout. To remedy this, multiply both sides of the equality by p, to obtain
Once again requiring that p + q = 1, this siInplifies to give the expected value.
To compute the variance, we first do some formal computations: let J.L be E(X).
Then
u 2(X) = E«X - J.L?) = E (X2 - 2J.LX + J.L2) = E(X2) - 2J.L E(X) + J.L2
= E(X2) - 2J.L . J.L + J.L2 = E(X2) - J.L2
So to compute the variance of X the thing we need to compute is E(X2)
n
E(X2) = L P(X = k) . k 2
k=O
26 . Chapter 1 . Probability
As usual, there are (z) ways to have exactly -k 1's, and each way 'Occurs with
probability pkqn-k. Thus,
This is v~ry similar to the expression that occurred above in cOIuputing the
expected value,· but now we have the extra factor i 2 i~ front of each term instead
of i. But of course we might repeat the trick we used above and see what happens:
since
(). .
p-p' = ip'
()p
then by repeating it we have
Thus, in the expression for E(X2), compute
~
L- . (n) i 2p'qn-.
' . = ~
L- (n). () (). .
p--:-' p~p'qn-:.
i=O ~ i=O ~ 8P 8p
() () (n).
=p- ' p - ~
8p
L-
8p i=O ~
Pi qn- i = p()- ' p()- (.p+q )n
8p ()p
since after getting the i 2 out from inside the sum we can recogru~ the. binomial
expansion. Taking derivatives gives . . . ,
Using p + q = 1 gives
E(X2) = p(n + p. n(n - 1»
So then
= p(l- p)n
This finishes t.hecomputation of the variance of a binomial distribution. ///
Remark: The critical or skeptical reader might notice that there's something
suspicious about differentiating with respect to p in the above arguments, as if p and
. q were independent variables, when in fact p+q = 1. Indeed, if apers6n' had decided .
that p was a constant, then they might feel inhibited about differentiating with
respect to it at all. But, in fact, there is no imperative to invoke the relationship
p + q = 1 unt.il after the differentiation, so the computation is legitimate.
1.7 Law of Large Numbers 27
1.6 Markov's inequality, Chebysheff's inequality

Among other things, this section is the technical preparation to prove a special
case of the Law of Large Numbers, which roughly asserts that in the long run the
outcomes of a random event don't stray too far from the expected value (mean), in
a sense relative to the variance. To reduce visual clutter, we may suppress some
parentheses, writing EX for E(X) and q2 X for q2(X), and 80 on.
Theorem: (Markov's Inequality) Let X be a real-valued random variable, and let
f be a non-negative-valued function on R. Fix a > o. Then
P(f(X) ~ a) ~ Ef(X)
a
ProDI: Let X be the function
X(t) = {~ (if f(t)

(if f(t)
~
< a)
a)
Then
f(X) ~ a· X(X)
Note that the expected value of the random variable X(X) is simply the probability
that f(X) ~ a:
EX(X) =L P(X(X) = x)·x = P(X(X) = O)·O+P(X(X) = 1)·1 = P(f(X) ~. a)
by the definition of x. Taking the expected value of both sides of this and using
f(X) ~ a· X(X) gives
E f(X) ~ a· EX(X) = a· P(f(X) ~ a)
by the previous observation. III
Corollary: (ChebyshefJ's Inequality) Let X be a real-valued random variable. Fix
e > o. Then
P(IX - E(X)I ~ e) ~ q2;
g
Prool: This follows directly from the Markov inequality, with f(X) = (X _E(X»2
and a = g2. III
1.7 Law of Large Numbers

A Law of Large Numbers was first proven for the special case of binomial distribu-
tions (coin-tossing with a not-necessarily fair coin) by Borel in 1909. The general
case was treated by Kolmogorov in 1933. Although 1909 and 1933 may seem dis-
tant now, many mathematicians had been interested in these questions since abOut
1600 because of applications to gambling, so it is in fact a bit strange that the Law
of Large Numbers was put on firm ground so late. We'll just treat the binomial
distribution case here.
Fix a real number p in the range 0 S PSI, and put q = 1 - p. These will
be unchanged throughout this section. Let n be a positive integer, which will be
thought of as increasing. Let On be the probability space consisting of all ordered
n-tuples of O's and 1's, with
P(a sequence with i Is and n - i Os) = pi (1 _ p)i
Let Xn be the random variable on On defined by
Xn(sequence of n Os and Is) = number of Is in the sequence
Then from earlier examples we know that
(for 0 SiS n, 0 otherwise). We earlier computed the expected value EXn = pn.
We also computed the variance
The following assertion is a very simple example of what can be said:

Theorem: (Weak Law of Large Numbers) Let Xn be the random variable just
above. Let c > 0 be an arbitrarily small positive real number. Then
lim P(IXn - E(Xn)1 ~ c . n) = 0

n-+oo
Proof: We will obtain this by making a good choice of the parameter in Cheby-
chefl"'s inequality. We know from computations above that E(Xn) = p. n and
0"2(Xn) = p(1 - p)n. Chebychefl"'s inequality asserts in general that
1
P (IX - E(X)I > to"(X)) < t 2
where O"(X) is the variance of X, which here gives
P (IXn - p. nl > t . Vp(1 - p) . v'n) < t~

Now take c .
t= .v'n
Vp(l- p)
to obtain
P(lXn - p. nl ; c· n) < p(1 - p)
n ·c2
The right-hand side certainly goes to 0 as n goes to infinity, so we're done. //1
Exercises· 29
Exercises
1.01 How many elements are in the set {I, 2, 2, 3, 3, 4, 5}? How many are in the
set {I, 2, {2}, 3, {3}, 4, 5}? In {I, 2, {2, 3}, 3, 4, 5}? (ans.)
1.02 Let A = {I, 2, 3, 4, 5} and B = {3,4, 5, 6, 7}. List (without repetition) the
elements of the sets Au B, An B, and of {x E A : x f/. B}. (ans.)
1.03 List all the elements of the power set (set of subsets) of {I,2,3}. (ans.)
1.04 Let A = {I, 2, 3} and B = {2,3}. List (without repetition) all the elements
of the cartesian product set A x B. (ans.)
1.05 How many different ways are there to order the set {I, 2, 3, 4}? (ans.)
1.06 How many choices of 3 things from the list 1,2,3, ... ,9, 10 are there? (ans.)
1.07 How many subsets of {I, 2, 3, 4,5,6, 7} are there with exactly 4 elements?
(ans.)
1.08 How many different choices are there of an unordered pair of distinct numbers
from the set {I, 2, ... ,9, 1O}? How many choices of ordered pair are there?
(ans.) .
1.09 How many functions are there from the set {I, 2, 3} to the set {2, 3, 4, 5}?
(ans.)
1.10 How many injective functions are there from {I,2,3} to {I,2,3,4}? (ans.)
1.11 How many injective functions are there from {I, 2, 3} to {I, 2, 3, 4, 5}?
1.12 How many surjective functions are there from {I,2,3,4} to {I,2,3}? (ans.)
1.13 How many surjective functions are there from {I,2,3,4,5} to {I,2,3,4}?
1.14 How many surjective functions are there from {I, 2, 3, 4, 5} to {I, 2, 3}?
1.15 Prove a formula for the number injective functions from an m-element set
to an n-element set.
1.16 (*) Let S(m, n) be the number of surjective functions from an m-element
set to an n-element set (with m ~ n). Prove the recursive formula
S(m,n) = nm - ~
n-l (
7. )
S(m,i)
1.17 Show that if I : A ~ Band 9 : B ~ C are functions with inverses, then

go I has an inverse, and this inverse is I-log-I.
1.18 Show that for a surjective function 1 : A ~ B there is a right inverse g,
meaning a function 9 : B ~ A so that log = idB (but not necessarily
go 1 = idA.)
1.19 Show that for an injective function 1 : A ~ B there is a left inverse g,
meaning a function 9 : B ~ A so that 9 0 1 = idA (but not necessarily
log= idB.)
1.20 Verify that the sum of all binomial coefficients (~) with 0 ::; k ::; n is 2n.
(ana.)
1.21 Verify that the sum of expressions (_l)k (~) with 0 ::; k ::; n is O.
1.22 How many subsets of all sizes are there of a set 8 with n elements? (ana.)
1.23 How many pairs are there of disjoint subsets A, B each with 3 elements
inside the set {1,2,3,4,5,6, 7,8}? (ana.)
1.24 Give a bijection from the collection 2Z of even integers to the collection Z
of all integers. ( ana.)
1.25 Give a bijection from the collection of all integers to the collection of non-
negative integers. ( ana. )
1.26 (*) Give a bijection from the collection of all positive integers to the collection
of all rational numbers.
1.27 (**) This illustrates a hazard in a too naive notion of a rule for forming a
set. Let 8 be the set of all sets which are not an element of themselves.
That is, let
8 = { sets x: x ¢ x}
Is 8 E 8 or is 8 ¢ 8? (Hint: Assuming either that 8 is or isn't an element
of itself leads to a contradiction. What's going on?)
1.28 What is the probability of exactly 3 heads out of 10 flips of a fair coin?
(ana.)
1.29 What is the probability that there will be strictly more heads than tails out
of 10 flips of a fair coin? Out of 20 flips? ( ana.)
1.30 If there are 3 red balls and 7 blue balls in an urn, what is the probability
that in two trials two red balls will be drawn? (ans.)
1.31 If there are 3 red balls and 7 blue balls in an urn, what is the probability
that in 10 trials at least 4 red balls will be drawn?
1.32 Prove that
1
1 + 2 + 3 + 4 + ... + (n -1) + n = 2n(n + 1)
1.33 A die is a small cube with numbers 1-6 on its six sides. A roll of two dice
has an outcome which is the sum of the upward-facing sides of the two, so
is an integer in the range 2-12. A die is fair if anyone of its six sides is as
likely to come up as any other. What is the probability that a roll of two
fair dice will give either a '7' or an '8'? What is the probability of a '2'?
1.34 What is the probability that there will be fewer than (or exactly) N heads
out of 3N flips of a fair coin?
1.35 (*) You know that in a certain house there are two children, but you do
not know their genders. You know that each child has a 50-50 chance of
Exercises 31
being either gender. When you go to the door and knock, a girl answers the
door. What is the probability of the other child being a boy? (False hint:
out of the 4 possibilities girl-girl, girl-boy, boy-girl, boy-boy, only the first
3 occur since you know there is at least one girl in the house. Of those 3
possibilities, in 2/3 of the cases in addition to a girl there is a boy. So (?) if
a girl answers the door then the probability is 2/3 that the other child is a
boy.) (Comment: In the submicroscopic world of elementary particles, the
behavior of the family of particles known as bosons is contrary to the correct
macroscopic principle illustrated by this exercise, while fermions behave in
the manner indicated by this exercise.)
1.36 The Birthday Paradox: Show that the probability is greater than 1/2 that,
out of a given group of 24 people, at least two will have the same birthday.
1.37 (*) The Monty Hall paradox You are in a game show in which contestants
choose one of three doors, knowing that behind one of the three is a good
prize, and behind the others nothing of any consequence. After you've chosen
one door, the gameshow host (Monty Hall) always shows you that behind
one of the other doors there is nothing and offers you the chance to change
your selection. Should you change? (What is the probability that the prize
is behind the door you did not initially choose? What is the probability that
the prize is behind the other closed door?)
1.38 (**) Suppose that two real numbers are chosen 'at random' between 0 and
1. What is the probability that their sum is greater than I? What is the
probability that their product is greater than 1/2?
1.39 If there are 3 red balls in an urn and 7 black balls, what is the expected
number of red balls to be drawn in 20 trials (replacing whatever ball is
drawn in each trial)? (ans.)
1.40 What is the expected number of consecutive heads as a result of tossing a
fair coin? (ana.)
1.41 What is the expected number of coin flips before a head comes up (with a
fair coin)?
1.42 What is the expected number of coin flips before two consecutive heads come
up?
1.43 What is the expected distance between two 'e's in a random character stream
where "e's occur 11% of the time?
1.44 What is the expected distance between two 'ee's in a random character
stream where "e's occur 11% of the time?
1.45 Let X be the random variable defined as 'the number of heads in 10 flips
of a fair coin.' The sample space is all 210 different possible sequences of
outcomes of 10 flips. The expected value of X itself is 5. What is the
expected value of the random variable (X - 5)2?
1.46 (*) What is the expected number of coin flips before n consecutive heads
come up?
1.47 (*) Choose two real numbers 'at random' from the interval [0,1]. What is
the expected value of their sum? product?
1.48 Compute the variance of the random variable which tells the result of the
roll of one fair die.
1.49 Compute the variance of the random variable which tells the sum of the
result of the roll of two fair dice.
1.50 Compute the variance of the random variable which tells the sum of the
result of the roll of three fair dice.
1.51 (*) Compute the variance of the random variable which tells the sum of the
result of the roll of n fair dice.
1.52 (*) Consider a coin which has probability p of heads. Let X be the random
variable which tells how long before 2 heads in a row come up. What is the
variance of X?
1.53 Gracefully estimate the probability that in 100 flips of a fair coin the number
of heads will be at least 40 and no more than 60. (ans.)
1.54 Gracefully estimate the probability that in 1000 flips of a fair coin the num-
ber of heads will be at least 400 and no more than 600. (ans.)
1.55 Gracefully estimate t.he probability t.hat in 10,000 flips of a fair coin the
number of heads will be at least. 4000 and no more than 6000. ( ans.)
1.56 With a coin that has probability only 1/10 of coming up heads, show that
the probabilit.y is less than 1/9 that in 100 flips the number of heads will be
more than 20. (ans.)
1.57 With a coin that has probability only 1/10 of coming up heads, show that
the probability is less than 1/900 that in 10,000 flips the number of heads
will be less than 2000.
2
Information
2.1 Uncertainty, acquisition of information

2.2 Definition of entropy
The words uncertainty, information, and redundancy all have some in-
tuitive content. The term entropy from thermodynamics may suggest a related
notion, namely a degree of disorder. We can make this more precise, and in our
context we will decide that the three things, uncertainty, information, and entropy,
aU refer to roughly the same thing, while redundancy refers to lack of uncertainty.
Noiseless coding addresses the issue of organizing information well for trans-
mission, by adroitly removing redundancy. It does not address issues about noise or
any other sort of errors. The most visible example of noiseless coding is compres-
sion of data, although abbreviations, shorthand, and symbols are equally important
examples.
The other fundamental problem is noisy coding, more often called error-
correcting coding, meaning to adroitly add redundancy to make information
robust against noise and other errors.
The first big result in noiseless coding is that the entropy of a memoryless
source gives a lower bound on the length of a code which encodes the source.
And the average word length of such a code is bounded in terms of the entropy.
This should be interpreted as a not-too-surprising assertion that the entropy of a
source correctly embodies the notion of how much information the source emits.
2.1 Uncertainty, acquisition of information

It turns out that a very reasonable list of requirements for a notion of entropy
uniquely characterizes it. This is a theorem!
First, let's try to clarify a bit what we mean by uncertainty and information.
For example, the outcome of a fair coin flip is more uncertain than the outcome
of a biased coin which gives heads 3/4 of the time and tails 1/4.
33
34 Chapter 2 Information
The outcome of the roll of a single fair die (with faces 1-6) is more uncertain
than the toss of a coin: there are more things that can happen, each of which has
rather small probability.
On the other hand, we can talk in a similar manner about acquisition of infor-
mation. For example, in a message consisting of ordinary English, the completion
of the fragment
Because the weather forecast called for rain, she took her ...
to
Because the weather forecast called for rain, she took her umbrella.
imparts very little further information. While it's true that the sentence might
have ended boots instead, we have a clear picture of where the sentence is going.
By contrast, completion of the fragment
The weather forecast called for ...
to
The weather forecast called for rain.
imparts a relatively large amount of information, since the first part of the sentence
gives no clues to its ending. Even more uncertainty remains in trying to complete
a sentence like
Then he surprised everyone by...
and commensurately more information is acquired when we know the completion.
In a related direction: the reason we are able to skim newspapers and other
'lightweight' text so quickly is that most of the words are not at all vital to the con-
tent, so if we ignore many of them the message still comes through: the information
content is low, and information is repeated. By contrast, technical writing is harder
to read, because it is more concise, thereby not allowing us to skip over things. It is
usually not as repetitive as more ordinary text. What 'concise' means here is that
it lacks redundancy (meaning that it does not repeat itself). Equivalently, there
is a high information rate.
Looking at the somewhat lower-level structure of language: most isolated ty-
pographical errors in ordinary text are not hard to correct. This is because of the
redundancy of natural languages such as English. For example,
The sun was shining brghtly.
is easy to correct to
The sun was shining brightly.
In fact, in this particular example, the modifier 'brightly' is hardly necessary at all:
the content would be almost identical if the word were omitted entirely. By contrast,
typographical errors are somewhat harder to detect and correct in technical writing
than in ordinary prose, because there is less redundancy, especially without a larger
context
2.1 Uncertainty, acquisition of information 35
Note that correction of typos is a lower-level task than replacing missing words,
since it relies more upon recognition of what might or might not be an English word
rather than upon understanding the content. Corrections based upon meaning
would be called semantics-based correction, while corrections based upon mis-
spelling or grammatical errors would be syntax-based correction. Syntax-based
correction is clearly easier to automate than semantics-based correction, since the
'rules' for semantics are much more complicated than the 'rules' for spelling and
grammar (which many people find complicated enough already).
Still, not every typo is easy to fix, because sometimes they occur at critical
points in a sentence:
I cano go with you.
In this example, the 'cano' could be either 'can' with a random '0' stuck on its
end, or else either 'cannot' with two omissions or maybe 'can't' with two errors. By
contrast, errors in a different part of the message, as in
I can go wih you.
are easier to fix. In the first of these two examples, there would be a lot of infor-
mation imparted by fixing the typo, but in the second case very little. In other
words, in the first case there was high uncertainty, but in the.second not.
Let's look at several examples of the loss of intelligibility of a one-line sentence
subjected to a 12% rate of random errors. That is, for purposes of this example,
we'll randomly change about 12% of the letters to something else. We'll do this
several times to see the various effects. Starting with
Experiment and pattern recognition are important in number theory.
we get
Dxpbviment and paUecn recognition arx iqporxant in kumder theofy.

Expurkmest and pattetn rncognition zrp impoxtant in number theocv.
Expecimeno and pattern recognition ake imboltanj in number thporq.
Experimect utk pattern regognitoon ame important in nkmber theoxy.
Experiment and pattern rncognltion xre important in yumbwr qheory.
Expkriment and pattern recognition bre importajt ip number tceory.
Ewperiment and gattern ieungnition are impjrtdlt in numwer theory.
Experiment awk gattern recognition are important jr qumbea tkeosj.
Euperiment anm paltern recognition are importanr in numbew tpvory.
Exmeriment and piztkrn recognition are importgnt in number theory.
Several things should be observed here. First, the impact on clarity and correctabil-
ity depends greatly on which letters get altered. For example, the word 'number' is
sensitive in this regard. Second, although the average rate of errors is 12%, some-
times more errors than this occur, and sometimes fewer. And the distribution of
errors is not regular. That is, a 12% error rate does not simply mean that every
8th letter is changed, but only expresses an average. Among the above 10 samples,
in at least 2 the meaning seems quite obscure. Third, using more than one of the
mangled sentences makes it very easy to infer the correct original.
With an error rate of 20%, there are frequent serious problems in intelligibility:
perhaps none of the ten samples retains its meaning if presented in isolation. From
the same phrase as above
Dxpbviment and pattecn recognition arx dmpottant in kumder theofy.

Expurkmest and pathgrn abcognitiom Ire imvortanl vn numser teeory.
Pxpefiment cnd patrern recogibtiyz ure yvmortnnt iy nmmber thodry.
Edwhriment anh putzern mecovnition arl mmportanq im number theory.
Experimewt ang patjern recognition ace iepootant in uumber thkory.
Experiment and patuerj rgcocnitkon gre ihportans in numbej tyeoul.
Vxhdpiment and patoejc rvcognioion are important in ndtbvr theory.
Experiment and pattern rfgojsitreq asp ijportant in wvhber theory.
Exaegiment and paryern rectgrikion aoj imuovtant en thmbyr theory.
Expedimctt anc kat cern recagnition rre impertant in numbzr theory.
In these 10 examples few of the words are recognizable. That is, looking for
an English word whose spelling is close to the given, presumably misspelled, word
does not succeed on a majority of the words in these garbled fragments. This is
because so many letters have been changed that there are too many equally plausible
possibilities for correction. Even using semantic information, these sentences are
mostly too garbled to allow recovery of the message.
Notice, though, that when we have, in effect, 9 retransmissions of the original
(each garbled in its own way) it is possible to make inferences about the original
message. For example, the 10 messages can have a majority vote on the correct
letter at each spot in the true message. Ironically, the fact that there are so many
different error possibilities but only one correct possibility makes it easy for the
correct message to win such votes. But a large number of repetitions is an inefficient
method for compensating for noise in a communications channel.
Another version of noise might result in erasures of some characters. Thus,
we might be assured that any letter that 'comes through' is correct, but some are
simply omitted.
One point of this discussion is that while English (or any other natural lan-
guage) has quite a bit of redundancy in it, this redundancy is unevenly distributed.
In other words, the information in English is not uniformly distributed but is con-
centrated at some spots and thin at others.
Another way to illustrate the redundancy is to recall an advertisement from
the New York subways of years ago:
F u cn rd ths, u cn gt a gd jb.
An adroit selection of about 40% of the letters was removed, but this is still intel-
ligible.
2.2 Definition of entropy 37
2.2 Definition of entropy

Some very reasonable and intuitive conditions for entropy of a random variable
turn out to uniquely determine what this notion of entropy must be. The list of
axioms characterizing entropy is essentially due to Claude Shannon, from about
1948. We give the definition and an important basic inequality here.
We will only talk about a low-level syntactical version of information and
entropy, since this can be formalized. More interesting but subtler questions
about semantic information are too sophisticated for this context.
The intuitive idea of uncertainty in some experiment (such as coin flipping
or dice rolling) measures how much information we will have acquired after the
experiment is over. Entropy is a synonym for uncertainty in this sense. We will
use the word 'entropy' from now on to make clear that we refer to these particular
issues.
Let n = {WI. ... ,wn } be a finite sample space, with probabilities P(Wi), with
and
P(wd ? 0 (for all indices i)
as usual. The (self-) information of the event Wi is defined to be
self-information of event Wi = J(Wi) = -log2 P(Wi)
Thus, a relatively unlikely event has greater (self-) information than a relatively
likely event.
For example, for flipping a fair coin, the sample space is {H, T}. Since the coin
is fair,
P(H) = P(T) = ~
The self-information of either ,head or tail is
1
J(H) = -log2 '2 = 1
1
=1
I (T) = - log2 -
2 .
This simplest example motivates the name for the unit of information, the hit.
The entropy of a sample space is the expected value of the self-information of
(atomic) events in n. That is, with the notation as just above,
entropy of sample space = H(n) = L P(Wi) I(wi)

l:5i:5n
= L -P(Wi) log2 P(Wi)

l:5i:'Sn
Remark: If Pi = 0, then 'interpret' Pi log2 Pi = O. This is reasonable, because

recall from calculus that
lim x 10gb x = 0
x-o+
for any base b > 1.
Thinking of sample spaces as representing some sort of experiments or tests,
the entropy should be a measure of the information acquired by performing the
experiment, or, equivalently, how much uncertainty is eliminated. Since we don't
care what the values of the random variable are, but only care about the probabil-
ities Pl. ... ,Pn, we may also suppress the reference to the sample space itself and
just refer to the probabilities: write
H(pl. ... ,Pn) = entropy of sample space {x!, ... , x n } with P(Wi) = Pi
We also can define the entropy of a random variable X in a similar way. Let
X be a random variable on a sample space n
= {Wl,"" w n }. The entropy of X
can be viewed as a sort of expected value:
H(X) = -P(X = x) log2 P(X = x)

values x of X
Now we state the axioms for entropy. The point is not to give an axiomatic
system, but rather to discuss the desirable features that we're trying to embody. It
is worth being conscious and explicit about these requirements.
• H (Pl. ... ,Pn) is maximum when Pl = ... = Pn = ~. That is, the most
pre-existing uncertainty is when all possibilities are equally likely.
• For any permutation i -+ s(i) of the indices,
That is, only the probabilities matter, not their ordering or labeling.
• H(pl. ... ,Pn) ~ 0, and is 0 only if one of the PiS is 1. That is, uncertainty
disappears entirely only if there is no randomness present.
• H(pl. ... ,Pn) = H(pl. ... ,Pn, 0). That is, 'impossible' outcomes do not con-
tribute to uncertainty.
• 1 1 1 1
H(-, ... ,-):5 H ( - l ' ' ' ' ' - l )
n
--..-..n n+
'
n+. '
n n+l
That is, a larger ensemble of equally likely possibilities is more uncertain

than a smaller ensemble.
• H should be a continuous function of the probabilities: 'small' changes in the
probabilities should not cause 'large' changes in uncertainty.
• For positive integers m, n,
H(_1 , ... ,_1 )

mn mn
=H(~,
m
... ,~) +H(~, ... ,~)
m n n
That is, the uncertainty in performing two independent experiments should

be the sum of the two uncertainties.
• Let P = PI + ... + Pm and q = qi + ... + qn with all Pi and qj positive, and
p+q = 1. Then
This is about conditional probabilities and a sensible requirement about un-

certainty iJl such a situation. That is, we !Jf:Oup the outcomes of an experiment
into two subsets and then say that the uncertainty is the uncertainty of which
batch the outcome falls into, plus the weighted sum of the uncertainties about
exactly where the outcome falls in the subsets.
Theorem: Any entropy function H(Pll'" ,Pn) meeting the above conditions is a
positive scalar multiple of
H(Pll'" ,Pn) = L -Pi log2 Pi

i
(For a proof, see [Roman 1992], page 13.)

Remark: Again, if Pi = 0, 'interpret' Pi log2 Pi as 0, since
lim x 10gb x = 0
x-o+
Remark: The logarithm is taken base 2 for historical reasons. Changing the base
of the logarithm to any other number b > 1 merely uniformly divides the values
of the entropy function by log2 b. Thus, for comparison of the relative uncertainty
of different sets of probabilities, it doesn't really matter what base is used for the
logarithm. But base 2 is traditional and also does make some answers come out
nicely. Some early work by Hartley used logaritJuns base 10 instead, and in that
case the unit of information or entropy is the Hartley, which possibly sounds more
exotic.
Remark: The units for entropy are also bits, since we view entropy as an ex-
pected value (thus, a kind of avemge) of information, whose unit is the bit. This is
compatible with the other use of bit (for binary digit), as the coin-flipping example
illustrates.
Example: The entropy in a single toss of a fair coin is
. = H (12' 21) = 21 ( - log2 21)

H (COlD) + 21 ( - 1)
log2 2
= 21 ( -(-1)) + 2(-(-1)
1 ). = 1 bit
Indeed, one might imagine that such a coin toss is a basic unit of information.
Further, if we label the coin '0' and '1' instead of 'heads' and 'tails', then such a
coin toss exactly determines the value of a. bit.
Example: The entropy in a single roll of a standard six-sided die is
. (1 1 1 1
H (dIe) = H 6' 6' 6' 6'
11)
6' 6 = -
~6
{:r 1 1
log2 6 =
.
log2 6:::::: 2.58496250072 bIts
Example: To compute the entropy of the sum-of-two-dice random variable (two

dice rolled together t and their sum taken), notice first that there are 6 . 6 = 36
possible rolls altogether, and among these just 1 way to get 2, 2 ways to get 3,
3 ways to get 4, 4 ways to get 5, 5 ways to get 6, 6 ways to get 7, and then the
counting starts to decline: just 5 ways to get 8, 4 ways to get 9, 3 ways to get 10,
2 ways to get 11, and 1 way to get 12. Thus, the entropy is computed as
H . _ (1 2 3 4 5 6 5 4 3 2 1)
(sum two dIce) - H 36' 36' 36' 36' 36' 36 ' 36' 36' 36' 36' 36
1 12 2 1 1 .
= --log2
36
- - -log2 - - .. - -log2 - :::::: 3 27440191929 bIts
36 36 36 . 36 36 .
Example: The entropy in a single letter of English (assuming that the various
letters will occur with probability equal to their frequencies in typical English) is
approximately
H(letter of English) :::::: 4.19
(This is based on empirical information, that 'e' occurs Q-bout 11% of the time, 't'
occurs about '9'% of the time, etc.) By contrast, if all letters were equally likely,
then the entropy would be somewhat larger, about
H (21
6' ... ' 2~) = log2 (26):::::: 4.7
Remark: The proof that the axioms uniquely characterize entropy is hard, and
not necessary for us, so we'll skip it. But an interested reader can certainly. use
basic properties of logarithms (and a bit of algebra and basic probability) to verify
that
H(Pb· .. ,Pn) = - L
Pi log2 Pi
i
meets the conditions, even if it's not so easy to prove that nothing elae does.
Joint entropy of a collection Xl, ... , X N of random variables is defined in
the reasonably obvious manner
To prove a few basic things about entropy, we need:

Lemma: Fix Pl, ... , Pn with each Pi ~ 0 and I:i Pi = 1. Let ql," . , qn. vary,
subject only to the restriction that qi ~ 0 for all indices, and I:i qi = 1. Then
occurs only when qi = Pi for all indices.

Proof: First, from looking at the graph of In x we see that the tangent line at
x = 1 lies above the graph of In x and touches it only at x = 1. That is,
lnx:::; x-I
with equality only for x = 1. And since
log2 X = log2 e ·lnx
we have
log2 X :::; (log2 e)(x - 1)
with equality only for x = 1. Then replace x by qlp to obtain
log2 (qlp) :::; (log2 e)(qlp - 1)
Multiply through by P to get
plog2 (qlp) :::; (log2 e)(q - p)
and then
plog2 q :::; plog2 P + (log2 e)(q - p)
with equality occurring only for q = p. Replacing P, q by Pi and qi and adding the
resulting inequalities, we have
LPi log2 qi :::; LPi log2 Pi + (log2 e) L(qi - Pi)

i i i
Since I:iPi = 1 and I:i qi = 1, this simplifies to
L Pi log2 qi :::; L Pi log2 Pi

i i
Multiplying through by -1 reverses the order of inequality and gives the assertion.
III
Corollary: H(p}, ... ,Pn) :::; log2 n with equality occurring only when Pi
all indices. .
= * for
Proof: This corollary follows from the previous inequality by letting qi = *. III
42 Chapter 2 Infonnation
Corollary: For two random variables X, Y,
H(X, Y) ~ H(X) + H(Y)

with equality if and only if X and Y are independent random variables.
Proof: For brevity, let
Pi = P(X = Xi)
qj = P(Y = Yj)
Tij = P(X = Xi, Y = Yj)
We will use the fact that for fixed i we have Lj Tij = Pi and for fixed j we have
Li Tij = qj. Then compute directly:
H(X) + H(Y) = - LPi 10g2 Pi - Lqj log2 qj

j
Then reassemble the sum as
ij ij (j
by the Fundamental Inequality. And, further,
if and only if X and Y are independent. III

For an event (that is, subset) w in a probability space fl, and for a random
variable X on that probability space, define a conditional entropy by .
H(Xlw) =- L P(X = xilw) log2 P(X = xdw)'

i
And then for another random variable Y on fl, define a conditional entropy by
H(XIY) = LP(Y = Yj)H(XIY = Yj)
j
where we use the previous notion of conditional entropy with respect to the subset
w where Y = Yj. The idea here is that H(XIY) is the amount of uncertainty or
entropy remaining in X after Y is known ..
It is pretty easy to check that
H(XIX) =0
Another random document with
no related content on Scribd:
háttérbe szorultak, a nélkül, hogy komolyan el lehetne őket érte
ítélni.
Brighton-Pomfrey dr. alacsony termetű, kerek arcú, erősen
rövidlátó ember volt, akinek orra sehogysem volt alkalmas a
szemüveghez, amelyet viselt. Ezenkívül – Isten tudja, miért, – óriási
oldalszakállal büszkélkedett.
– Nos, hát hogy vagyunk? – kérdezte, miközben nyakát
hátrahúzva, kiegyensúlyozta az orrán ingadozó szemüveget. – Miben
lehetek szolgálatára? Külsőleg semmit sem tudok felfedezni. Kissé
halvány ugyan és le van soványodva, de egyébként úgy látszik, hogy
minden teljesen rendben van.
– Igen, – mondta a néhai püspök, – minden rendben van…
– Csak…? – kérdezte az orvos s mosolygás közben megvillantotta
a fogát.
Modorában volt valami az öreg fürdős asszonyéból, aki a kis
gyereket arra biztatja, hogy ugorjék a vízbe.
– Ki vagyok merülve és nagyon fáradt vagyok.
– Akkor foglaljunk helyet, – mondta a híres orvos mesterségszerű
hangon és jobban szemügyre vette vendégét. A székre mutatott s
megfogta a szék karfáját.
Az ex-püspök leült, az orvos pedig úgy foglalt helyet, hogy
vendége és a világosság közé kerüljön.
– A püspökségemről való lemondás és a többi vele összefüggő
dolgok nagyon igénybe vették idegeimet, – kezdte Scrope. – Azt
hiszem, hogy bajomnak ez a lényege. Ha az ember így mindent
elvág… mindenféle szálak megszakadnak… Nehézségek támadnak az
új helyzet megteremtése körül…
– Természetesen, természetesen, – mondta az orvos, miközben
arcizmai megrándultak és szemüvege rezegni kezdett az orrán. –
Kimerültség. Nem érzi szükségét valami erősítő szernek, vagy
változásnak?
– Igen. Csakugyan egy bizonyos erősítő szert óhajtanék öntől.
Brighton-Pomfreynek kerekre nyílt a szeme és szája, mint aki
kérdezni akar valamit.
– Mialatt ön a tavasszal nem volt idehaza…
– El kellett mennem, – mondta az orvos. – Nem térhettem ki a
megbízatás elől. Gázmérgezések, bizonyos kutatások… A fiatal
kutatók nagyon jók a maguk módja szerint, de mi öregebb
tekintélyek… Több a tapasztalatunk. Megfontoltabb az ítéletünk.
Nem boldogultak nélkülünk.
– Szóval, mikor tavasszal önt fel akartam keresni, egy
asszisztenst vagy kisegítőt, – azt hiszem, önök így szokták nevezni?
– találtam az ön rendelőjében… Hogy is hívták?… D…?
– Dale!
Mikor ezt a nevet kiejtette, az orvos arca szokatlan harag
kifejezését öltötte magára. Kerek, kék szeme szikrázni látszott és
ártatlan kis izmocskái ráncokat vetettek homlokára. Arcszíne haragos
vörösre változott.
– Az őrült! – kiáltotta. – Veszedelmes őrült! Remélem, önnél
semmit sem… semmi rosszat sem követett el?
Látszott, hogy a dolog nagyon kellemetlen emlékeket ébresztett
benne.
– Azt az embert a legjobb bizonyítványokkal küldték hozzám
Cambridgeből. A legjobb bizonyítványokkal. Nekem csak huszonnégy
óra időm volt. Gázmérgezéseket kellett vizsgálnom. Nem tehettem
egyebet, minthogy rábíztam ügyeimet.
Brighton-Pomfrey úgy tárta szét rövid és kövér ujjas kezét,
mintha a felelősséget akarná elhárítani magától.
– Semmi különös kárt nem tett bennem, – mondta Scrope.
– Akkor ön az első ember, akit megkímélt, – állapította meg
Brighton-Pomfrey.
– Miért?… Ügyetlen volt?
– Ügyetlen? Nem, ez nem jó kifejezés.
– A módszere volt különleges?
A kis orvos felugrott és fel-alá kezdett járni a szobában.
– Különleges! – kiáltotta. – Gazság volt, hogy őt küldték hozzám.
Gazság!
Vendége felé fordult s az arcát alkotó kerek halmok haragtól
égtek. Oldalszakálla úgy mozgott, mint a repülni készülő madár
szárnya. Arcát a karosszékben ülő vendége felé tolta.
– Megkönnyebbültem, mikor hallottam, hogy megölték. Elesett.
Odaát.
Módfeletti izgatottságában szemüvegje leesett az orráról. Úgy
előrecsapódott a zsinórján, mintha meg akarna szökni, mialatt
gazdája szabad folyást enged érzései áradatának.
– Az őrült! – hörögte a doktor, sokat jelző kézmozdulatok
kiséretében. – Veszedelmes őrült! Az volt a rögeszméje, hogy
mindenkit tönkretesz. Mérgekkel dolgozott! A legveszedelmesebb
mérgekkel. Hazajövök s hölgyeket találok a rendelőmben. Magas
társadalmi állású hölgyeket. Morfinisták! Másokat… Megfontolás
nélkül használta a legveszedelmesebb szereket. Kokaint egyáltalán
nem, csak idegizgatókat, a legerősebb izgatószereket. A
legmagasabb körökben is. Rettenetes! Fenségek. Az uralkodóházhoz
tartozók! A háború okozta náluk és… inkognitóban akartak maradni.
Borzalmas! Rettenetes befolyást gyakorolt betegeire. Az volt a
rögeszméje, hogy feldúlja a testet és lelket egyaránt. A sarkukból
emelte ki a lelkeket… Tönkretette az összeköttetéseimet.
Elpusztította esztendők munkáját. Micsoda károkat okozott! Micsoda
károkat!
Úgy nézett maga elé, mintha haragjában szét akarna robbanni,
de azután lecsillapodott. Reszkető kézzel igyekezett visszahelyezni
orrára szemüvegét, kabátjának hátsó zsebéből terjedelmes selyem
zsebkendőt húzott elő és megtörülte az üvegeket, aztán orrára
helyezte csíptetőjét, gallérjában ide-oda forgatta a fejét és kezével a
nyaka körül babrálva, ide-oda rángatta a nyakkendőjét.
– Bocsásson meg ezért a kitörésért, – mondotta. – De Dale dr.
annyi bajt csinált…
Scrope felkelt. Lassan az ablakhoz lépett, miközben kezét a hátán
összekulcsolta, majd ismét megfordult. Modorában még sokat
megőrzött néhai püspöki méltóságából.
– Sajnálom, hogy így történt, de talán meg tudja állapítani a
naplóból, hogy mit adott nekem Dale. Valami erősítőszer volt, ami
nagyon jó hatással volt rám. Úgy érzem, hogy ismét nagy
szükségem volna rá.
Brighton-Pomfrey úgy felelt, mintha bizonyos rosszakarat
működnék benne.
– Egyáltalában nem vezetett naplót, – mondotta. – Egyáltalán
nem.
– De…
– Ha vezetett volna is, – mondta Brighton-Pomfrey a tenyerét
ide-oda lóbálva, – nem folytathatnám az ő kezelését.
Szavainak azzal adott nyomatékot, hogy még gyorsabban kezdte
mozgatni a kezét.
– Nem folytatnám az ő kezelését. Semmi körülmények között
sem tenném…
– Természetesen, – mondta Scrope, – ha az eredmény olyan volt,
mint ahogy ön állítja. De az én esetemben nem volt szó kezelésről.
Álmatlan voltam, zavartnak, nyomorúságosnak és tönkrementnek
éreztem magamat. Idejöttem tehát és ő azt a szert adta nekem. Az a
szer megtisztítja az ember fejét és gondolkozását. Olyan, mintha az
ember kiszabadulna a dolgok ködéből és eljutna a lényeghez és a
dolgok alapjához. Engem teljesen talpraállított… Bizonyára ön is
ismer valami ilyen szert, amelynek szükségét most, amikor a
lemondásomból kifolyólag egész sereg problémával állok szemben,
még fokozottabban érzem. Meg kell kapnom. Sok dologban kell
határoznom és nem tudok határozni, mert bizonytalannak érzem
magamat és óráról-órára változom. Nem azt kívánom öntől, hogy a
Dale módszerét kövesse, de szükségem van arra az orvosságra.
Mikor Scrope beszélni kezdett, Brighton-Pomfreynek keze
lankadtan hullott csípője mellé, de aztán magatartása fokról-fokra
határozottabbá lett. Fejét kissé féloldalt fordította és a szemüvegével
kezdett játszani. Végül kettőt köhécselt és a kezében tartott
szemüveggel látszott nyomatékot adni annak, amit mondott.
– Mondja, kérem, – kérdezte, – mondja, volt-e annak az
orvosságnak, amely agyát így megtisztította, volt-e valami köze az
ön lemondásához?
Szemüvegét az orrára illesztette és miközben a feleletet várta,
nyaka közé húzta a fejét.
– Mindenesetre. Elősegítette a helyzet tisztázását.
– Értem, – mondotta Brighton Pomfrey olyan hangon, amely
könyörtelenül és félreérthetetlenül juttatta kifejezésre
meggyőződését. – Értem, – ismételte és tenyerét tiltakozólag
tartotta maga elé…
– Kedves uram, – kérdezte azután némi szünet után, – hogy
kívánhatja tőlem, hogy egy ilyen szerencsétlen hatású méreg
megszerzésében segítségére legyek? Még ha tudnám is, hogy mi volt
az a méreg, akkor sem!…
– De rám nézve nem volt szerencsétlen hatású, – mondta
Scrope.
– És az ön különös lemondása és e lemondásnak még
különösebb bejelentése!
Ebben azt hiszem, nincs semmi szerencsétlenség
– Már engedjen meg, tisztelt uram…
– Tudom, hogy ön nem akar velem vallási kérdésekről vitatkozni.
Épen azért engedje meg, hogy csak a magam szempontjából
jegyezzek meg annyit, hogy az a nagy megvilágosodás, amelyhez
részben Dale dr. orvossága segített, nagy megkönnyebbülése volt
életemnek. Valósággal kristálytisztává tette agyamat. Elsöpörte a
zavaró, köznapi jelenségeket. Egy időre tisztán láttam az igazságot s
most újból így szeretnék látni.
– Miért?
– Megint válság előtt állok… mellékes, hogy milyen dolgok miatt.
Nem látom tisztán az utat, melyet követnem kell.
Brighton-Pomfrey a szőnyegre szegzett tekintettel gondolkozott,
miközben szája hevesen rángatódzott. Szemüvegét úgy lóbálta a
zsinórján, mintha inga volna.
– Mondja el mindenekelőtt, – mondta, sanda tekintetet vetve
Scrope felé, – hogy melyek voltak ennek az orvosszernek a hatásai?
Azt hiszem tudniillik, hogy többféle lehetett. Hogyan segítette önt az
igazság látomásához, amely – mint mondja, – lemondásához
vezetett?
Scrope hirtelen elszégyelte magát, de annyira sóvárgott Dale
orvossága után, hogy a legtökéletesebben igyekezett leírni
tapasztalatait.
– Aranyszínű áttetsző folyadék volt, – mondta a száraz
ténymegállapítás hangján. – Nagyon aranyos folyadék, akárcsak a
tiszta és szép Chablis bor. Ha e folyadékhoz vizet öntöttek,
gyöngyözve emelkedett fel a vízben, opalizált s mintha élet rezgett
volna benne.
– Helyes. És mikor beszedte?
– Érzéseim hirtelen megtisztultak. Az agyam… emelkedettség és
biztonság érzetét tapasztaltam.
– Szóval agyműködése úgy viszonylott a régebbihez, – segített
Brighton-Pomfrey a magyarázatban, – mint huszonkilenc a
tizenkettőhöz.
– Erősebbnek és tisztultabbnak éreztem magamat, – mondta
Scrope, előbbi megállapításait folytatva.
– A környező dolgok pedig másformáknak tetszettek, mint
rendesen? – kérdezte az orvos, ismét előrenyujtva kerek arcát.
– Nem, – felete Scrope és az orvosra nézett, mintha azt kémlelte
volna, hogy tapasztalataiból mennyit szabad elárulnia egy ilyenfajta
embernek.
– Szóval különböztek? – kérdezte az orvos, kissé
engedékenyebben.
– Igen… Hogy világosan fejezem ki magamat… közvetlenül
éreztem Isten jelenlétét. A világ olyan volt, mintha áttetsző függöny
lett volna és Isten… nyilvánvaló lett előttem. Szükséges ez az
orvosság megállapításához?
– Isten nyilvánvaló lett ön előtt? – ismételte az orvos a kifejezést
s bizonyos rosszalás volt hangjában. A fejét csóválta s aztán élesen
fürkésző hangon tette hozzá: – Szóval ön azt hiszi, hogy látomása
volt? Vagy tényleg látta őt?
– Látomás formájában történt.
Scrope nagyon kellemetlenül kezdte érezni magát.
Az orvos ajka hangtalanul ismételte ezeket a szavakat.
Tekintetéről a megvetés kifejezését lehetett leolvasni.
– Bizonyára valamit adott önnek… Azt hiszem, valami
morfiumféle lehetett. De aranyszínű… opalizáló? És ön e látomás
hatása alatt lepett meg bennünket lemondásával?
– Lemondásom hosszabb lelki átalakulásnak volt részlete, –
felelte Scrope türelmesen. – Már hosszabb idő óta abba az irányba
sodródtam, hogy az anglikán álláspontot teljesen elvetem. Az
orvosság mindössze megvilágította azt, ami már készen volt
lelkemben. Alakot adott neki. Úgy hatott, mint az előhívó a
fényképezésnél.
Az orvos hirtelen a vidámság ellenkező végletébe csapott át.
– Ilyesmire még nem volt eset… Hogy egy orvos a Mount
Streeten Isten látomásáról konzultáljon a betegével!… Ön pedig
tudja és tudatosan el szeretné hitetni, hogy ez a látomás valóságos
volt. Önnek tudnia kell, hogy ezt akarja…
Mindezideig Scrope nem akarta önmaga előtt bevallani, hogy a
kísérlete hiábavaló volt, de most utat engedett a kétségbeesésnek,
amely szembeszállt Brighton-Pomfrey véleményével.
– Azt hiszem, – mondotta, – hogy az az orvosság valahogyan
megfoghatóvá tette számomra Istent. Azt hiszem, hogy láttam
Istent.
Brighton-Pomfrey úgy csóválta a fejét, hogy Scropenak kedve lett
volna őt megütni.
– Igen, azt hiszem, hogy láttam Istent, – ismételte szilárdabb
hangon. – Hirtelen megéreztem, hogy ő mily hatalmas, hogy az élet
mily hatalmas és hogy milyen félénk, alsórendű és szennyes a mi
hivatásszerű, előkelő életünk. Hatalmába ejtett és egyideig teljesen
uralkodott rajtam a szenvedély, hogy igazán és semmi egyébbel sem
törődve, csak őt szolgáljam s hogy véget vessek a kényelemmel,
önszeretettel és másodrangú dolgokkal kötött kompromisszumoknak.
Ezt éreztem és most ehhez akarom tartani magamat, ezt akarom
visszaidézni, mert újból elfáradtam és elernyedtem. Vérmérsékletem
szerint könnyelmű ember vagyok, de fel akarok egyenesedni,
magasabb hivatásomnak akarok élni, pedig fáradtnak, kábultnak és
gúzsbakötöttnek érzem magamat… Az az orvosság jó hatású volt.
Nekem legalább jót tett. Megint a szükségét érzem, hogy segítsen
rajtam.
– De én nem tudom, hogy mi lehetett.
– Hát nincs valami más orvosság, amelynek hasonló a hatása?…
Ha például morfiumot próbálnék meg valamilyen formában?
– Esetleg hallucinálna tőle, de nem volnának isteni látomásai. Ha
nagyon óvatosan és kis mennyiségeket szedne, ideiglenesen ugyan
élénkséget idézne elő, de minden ilyen állandó orvosság szedésének
hatása az erkölcsi leromlás, a gyors erkölcsi leromlás. Az ilyen
orvosságok rendszeres szedésének mindig az eredménye, hogy az
ember pontatlan, kíméletlenül önző lesz és elveszti az őszinteség és
igazság iránti érzékét. Közismert dolgok ezek…
– Pedig azt gondoltam és úgy reméltem…
– Önnek épen elég leküzdeni valója lesz enélkül is, – mondta az
orvos. Ne vegye magára még ezt a tehertételt is.
– Egyszóval, ön nem akar rajtam segíteni?
Az orvos fel-alá lépkedett a szőnyegen, azután kezét kinyujtva és
ujjait rezegtetve mondta:
– Ha tudnék, sem tehetném. Nem tenném meg az ön érdekében.
De ha akarnám is, nem tehetném, mert nem ismerem azt az
orvosságot, amely kétségtelenül valami pokoli kotyvaléka volt annak
az őrültnek. Valami esetlegesen ható szer, amely hála Istennek, már
nincs meg… az ön érdekében…
2. §.
Scrope odakint megállt az orvos házának stukkaturos portáléja

előtt. Habozott, hogy merre forduljon: nyugatnak-e vagy keletnek.
Ez az ajtó bezárult mögöttem, – mondotta. – Ezen az úton nincs
visszatérés…
Egy darabig így állt ez előkert rácsánál, aztán Park Lane és a
Hyde Park felé fordult. Gondolataiba mélyedve, figyelmetlenül haladt
a Notting Hillen Pembury Roadon levő új lakása felé.
3. §.
Életének ez új szakasza kezdetén, amely a komfirmációs

szertartás válságát követte, minden nagyon világosnak tetszett
Scrope előtt. Szilárdan hitte, hogy Isten megjelent neki, hogy ő
maga tapasztalta Isten jelenlétét és hogy hivó szózat parancsolta
neki, hogy Istent hirdesse a világnak. Érezte Istent és mindenkinek,
aki Istent érezte, kötelessége, hogy az egész emberiséget ehhez a
megérzéshez segítse. Lady Sunderbund ajánlata egybevágott ezzel a
gondolattal. Scrope a küzdelem és az ijesztő szegénység kilátásaira
igyekezett megacélozni magát, de az asszonynak rögtöni
áldozatkészsége végtelen megkönnyebbülést jelentett feleségért és
családjáért való aggódásában. Mikor Eleanorral a hunstantoni
fövenyen beszélt, úgy tetszett neki, hogy ez az irány teljesen világos
s ha kissé nehéz is, de nem lehetetlen. Együtt ültek a napfényben s
fellelkesülve a nemes vállalkozás érzésétől, a sikerben bizakodva
néztek a jövő elé, a nagy és közeli jövő elé, melyben Isten eszméje
fogja elárasztani és újjá teremteni a világot. Ez a kezdetben
tapasztalt tisztánlátás azonban lassankint ködbe borult és
elhomályosodott. Lady Ella rokonszenvét nem volt oly könnyű
megnyerni a lemondás számára, mint ahogy azt Eleanor feltételezte.
Komor és fagyos élettárs lett belőle, aki ugyan nem beszélt férje
lemondásáról, de nyilvánvaló volt, hogy azt nem tudta neki
megbocsájtani. Ez a viselkedés Scropet titokban nagyon bántotta és
megzavarta tetteiben. Ugyanaz az inkább ösztönszerű, mint
megfontolásból eredő habozás, amely egykor megakadályozta
abban, hogy régebbi kételyeit nyíltan közölje feleségével, most attól
tartotta vissza, hogy számot adjon neki Lady Sunderbund
jövendőbeli szerepéről lelkipásztorságának körében.
Saját lelkében e kérdés dolgában teljesen biztosnak érezte
magát, de hogy a felesége iránt tartozó őszinteség dolgában
önmaga előtt igazolja késlekedését, elhitette önmagával, hogy Lady
Sunderbund terveiről nem döntött véglegesen. Így aztán olyan
alapon rendezte be londoni háztartását, amely jövedelmeinek teljes
megszűnésével volt egyértelmű.
– Egyelőre tulajdonképen nem tudjuk, hogy hogyan állunk, –
mondotta Lady Ellának. – Ideiglenesen nem annyira lakni, mint
inkább táborozni fogunk. A város valamely olcsó negyedében kisebb
és szerényebb házat kell bérelnünk. Ha lehetséges, csak egy évre
akarom a házat kibérelni, amíg tisztábban látjuk, hogy mi lesz
velünk.
Végigment gondolatban London kerületein.
Lady Ella a legkeserűbb megjegyzést kockáztatta meg:
– Nem mindegy-e, hogy hol rejtjük el ábrázatunkat?
Scrope haragosan válaszolt:
– Nekünk nem kell elrejtenünk ábrázatunkat.
Az asszony nyomban megbánta, amit mondott.
– Bocsáss meg Ted, – mondotta. – Csak kisiklott a számból…
Scrope táborozásnak nevezte életüket, de a ház, amelyet a
Notting Hillen Pembury Roadon találtak, sötétebb volt és főleg
levegőtlenebb volt minden tábornál. Neki és feleségének minden
tapasztalata hiányzott a középosztály lakáskeresése és lakásai
dolgában. Életük három legvigasztalanabb napját ez olcsó és szerény
fedél keresésével töltötték el. Eddigi életük abból állt, hogy egyik
kényelmes otthonból a másikba mentek és legrosszabb
élményünknek a princhesteri palota modern díszítéseit tekintették.
Valóságos felfedezés volt számukra, mikor a rossz világítású és rossz
beosztású házakat látták, a piszkos festést, a szakadt tapétákat, a
földalatti konyhákat, a fürdőszobátlan vagy csak utólag hevenyészett
fürdőszobás lakásokat, amilyenek London tiszteletreméltó
középosztálya számára hajlékul szolgálnak.
A házügynökök, akik fellépésükből rögtön felismerték az ilyen
ügyekben való járatlanságukat, a «megrohanás» módszerét
alkalmazták velük szemben, ami szokatlan az olyan embereknek,
akik eladdig a püspöki méltóság sugárzó fénykörében éltek.
– Vagy megtartják, vagy nem, – mondták ezek az urak. –
Vannak, elegen vannak, akik lakást keresnek.
Az ex-püspök kezdett rájönni, hogy a föld- és háztulajdon
rendszere Angolországban alapjában véve nagyon siralmas. Egy
olyan sűrűn lakott országban, mint Anglia, a föld- és háztulajdonos
osztály helyzete több, mint királyi. A közérdek szolgálatának
kötelezettsége rá nézve nem áll fenn, pedig a lakosság többi
részének is meg kell valahol telepednie, hiszen a nem
háztulajdonosok sem folytathatják mesterségüket és nem tarthatják
családjukat a levegőben. Anglia nyomorúsága a telektulajdonosok
búsás alkalma…
Scrope általánosítani kezdte ezeket a tapasztalatokat és
gondolataiban a szocializmusnak új és őszintébb árnyalatát kezdte
kifejezésre juttatni.
– Az egyház nagyon sokat elhanyagol, – mondotta, mikor Lady
Ellával már a huszonhetedik komor, lakásszerű alkalmatosság
földszinti «reggeliző szobáját» tekintették meg.
– A multban nyomatékosabban kellett volna utalnom a
telektulajdonos felelősségére. Nem volna szabad megengedni, hogy
ilyen házat, ilyen áron kínáljanak tisztességes embereknek.
Becstelenség.
A házügynöktől hideg, átható és az uralkodó osztályhoz illő
hangon kérdezte meg a vétkes tulajdonos nevét.
– A vasút tulsó oldalán az összes házak az Egyházi Javak
Kezelőségének tulajdonában vannak, – mondta az ügynök, miközben
valami tűvel vájkált a fogában. – Hanyag társaság. Rettenetes nehéz
kierőszakolni belőlük valamit. A legrosszabb londoni lakások az övék.
Lady Ella más szemüvegen át látta a dolgokat.
– Ha az egyházban maradtál volna, – mondotta, – segíthettél
volna ezeken a dolgokon.
Scrope nem válaszolt erre a megjegyzésre.
– Ha az egyházban maradtam volna, – mondta – mikor a
földalattin szerény bloomsburyi szállodájukba utaztak vissza, –
sohasem ismertem volna meg ezeket az állapotokat.
4. §.
Nem volna igazságos, ha Lady Ellának csupán két sajnálkozó

kijelentésére utalnánk és nem emlékeznénk meg egyúttal arról a
nekigyürköző bátorságról is, amellyel nekilátott, hogy a maga és
súlyosan sujtott családja új elhelyezkedését megoldja. Az a lelki
változás, amely férje lelkében minden előjel nélkül egy rettenetes
napon beállott, úgy érte őt, mint a derűs égből lecsapó villám.
A méreg használatának, az eretnekségnek, Isten káromlásának,
az idegen női befolyásnak, a teljes erkölcsi és anyagi leromlásnak
felismerése egyetlen napon érte s úgy hatott rá, mint valami
robajszerű ütés. És mindez akörül a férfi körül történt, aki egész
életének központja volt. Soha nőnek egész világa ily hirtelen és
tökéletesen nem omlott össze. Életének összes eddigi bajai szinte
parányi kicsinynek tetszettek e sötét összeomlás mellett. Abban a
gondolatban akart megnyugvást keresni, hogy az ura beteg és
valami «nincs rendben nála». Azzal biztatta magát, hogy
egészségesen és igazhitűen fog visszatérni Hunstantonból és
visszavonja a lemondására vonatkozó összes kijelentéseit. Bízott
benne, hogy a férfinek, akit szeretett s akiben megbízott, így kell
cselekednie, hogy sikereket fog aratni a világban és mindig az ő
erkölcsi felfogásának megfelelő helyes úton fog járni. Csak a
legnagyobb ellenkezéssel vette tudomásul, hogy a püspök
nyugodtan, de határozottan ragaszkodott az egyházzal való
szakításhoz, még akkor is, mikor az izgató szer hatása eloszlott és az
ideges kimerültség jelei megszűntek. Az asszony érvelni akart, de
úgy vette észre, hogy nincsenek érvei. Számára az egyház kristályos
gömb volt, amely egész életét foglalta magában és lelkileg még
annyira sem tudott kívül állni rajta, hogy egy ellentétes felfogást
akárcsak mérlegelni is tudott volna.
Mialatt férje Hunstantonban tartózkodott, naponta egy órát,
olykor többet is imádkozott a székesegyházban. Olyan kemény
imazsámolyra térdelt, hogy a térde megfájdult tőle. Még
könyörgéseiben sem tudott érveket felhozni és a kifejezéseket sem
tudta megváltoztatni, csak százszor meg százszor ismételte:
– Hozd vissza őt, Uram! Hozd vissza!
A püspök mindig nagyon jó és szivélyes férj volt, ha néha, főleg
álmatlanságának időszakában kis dolgokban olykor ingerlékenynek
mutatkozott is. Most megváltozva tért vissza, mintha modorában
megkomolyodott és megöregedett volna. Nagyon figyelmes lett, még
szivélyesebb és készségesebb, mint azelőtt, sőt néha szinte
bocsánatkérő volt feleségével szemben, de szigorúan ragaszkodott
ahhoz az elhatározásához, hogy az egyházat elhagyja.
– Tudom, – mondta, – hogy ebben nem értesz egyet velem, de
arra kérlek, légy elnéző irántam. Küzködtem lelkiismeretemmel…
Tudom, hogy amit cselekszem, egyelőre megpróbáltatást és
szegénységet jelent, de ha megbízol bennem, azt hiszem, átlábolunk
rajta. Majd csak kínálkozik mód, hogy munkámat elvégezzem s talán
nem leszünk túlságos hosszú ideig ehhez a házhoz láncolva…
– Én nem a szegénységtől félek, – mondta Lady Ella.
Csakugyan úgy is volt. Ha kissé szomorúan is, de nagy
bátorsággal és gyakorlati eréllyel nézett szembe a helyzettel. Az
egyik barátságtalan házat a másik után nézte meg és tervezgette,
miként tehetné elviselhetővé a kényelmetlenséget, míg Scrope egyre
csak tehetetlenül dühöngött a landlordizmus és az egyház ellen,
amely e gazdasági nyomorúságért felelelős. Mikor Scrope teljesen
kimerülve már nem volt egyébre képes, mint általánosításokra, Lady
Ella erélyesen vette kezébe a döntést és a Pembury Roadon levő
házat választotta ki londoni otthonuknak. Férjét néhány napra ismét
Hunstantonba küldte s ezalatt Miriammal, aki a család gyakorlati
szelleme volt, elvégezték a hurcolkodást és elfogadhatóvá tették az
új lakást. Mert ez a lakás a legjobb esetben is csak elfogadható volt.
Nagyon sok hátránya legott kitűnt, mint például az, hogy a
leányoknak a princhesteri kedves kis egyéni szobácskák helyett,
közös hálószobával kellett megelégedniök. «Atyus» számára csak
nagynehezen lehetett egy kis helyiséget dolgozó szobának kiszorítani
s még ez sem volt tulajdonképen külön helyiség, mert az ebédlőtől
csak egy tolóajtó választotta el, amely átengedte az érzékeny
idegzetű ember számára kellemetlen ételszagot. Ablaka egy
jelentéktelen és megfeketedett kis kertre és egy népes és zajos
vegytisztító telep világító udvaraira nyilt, amely a Restharrow Street
egyik házának megfelelő kertjére volt építve. Lady Ella ezt a szobát
nyitott könyvállványokkal bútorozta be és a Newnhamban levő
Eleanora távollétében Clementina ott rendezte el atyja könyveinek
egy részét. Lélektani érdekesség gyanánt meg lehet jegyezni, hogy e
kellemetlen, rossz világítású kis szoba Lady Ellának több bánkódást
okozott, mint új lakásuknak összes többi kellemetlenségei
együttvéve. A püspök íróasztala teljesen elfoglalta a szoba egyik
oldalát. Lady Ella mindenben takarékosságra törekedett, de mégsem
tudott ellenállni annak az ösztönzésnek, hogy legalább egy mutatós
asztali lámpát ne vegyen férje számára.
Scrope új munkájának gondolataitól eltelve tért vissza Londonba
s az volt az érzése, hogy nézeteiről írnia kell valamit. Valóságos hálát
és meglepetést érzett felesége iránt, amiért a kellemetlen lakást így
át tudta alakítani és nem győzte hangoztatni, hogy mihelyt csak
lehet, tágasabb lakásba fognak költözni. Lady Ella valami fizetéses
foglalkozást akart keresni, legalább Clementina és Miriam számára,
de Scrope hallani sem akart róla.
– Neveltetnünk kell őket, – mondotta, – még ha a dohányzásról
is le kell mondanom, ámbár azt remélem, hogy anélkül is sikerülni
fog a dolog.
Úgy látszott, Eleanornak jó kilátásai voltak, hogy megkapja a
londoni közgazdasági főiskola ösztöndíját, ami nagyjából elégséges
lett volna, hogy megéljen belőle. Cambridge ugyan most már
lehetetlenné vált Clementina számára, de némi takarékoskodás árán
a londoni egyetemre is beiratkozhatott, míg Miriamnak a Londonba
való költözés nagyon megkönnyítette jó zenei kiképzését. Phoebe és
Daphne, – vélekedett tovább Lady Ella, – kedvezményes helyet
kaphatnak a notting hilli felsőbb leányiskolában.
Scrope nem igen tudta elképzelni, hogy mi mehetett végbe ifjabb
leányainak lelkében. Egyikük sem árult el olyan rokonszenvet iránta,
mint Eleanor. Az volt az érzése, mintha a felesége oktatta volna ki a
leányokat, hogy ne tegyenek említést a viszonyaikban történt
változásról, de gyakran hallotta, amint a fürdőszoba miatt civódtak,
ahol sohasem volt elég meleg víz a második fürdő számára. Úgy
látszott, hogy a nappali szobában elhelyezett rövid kis zongora
Miriamnak nem okozott olyan gyönyörűséget, mint a nagy zongora
Princhesterben, melyről most le kellett mondania. Mindazonáltal
mindig készségesen eljátszotta, amit atyja kívánt tőle; Scrope pedig
mindig tudta, hogy az Op. 111-nek adagiója az, amit hallani kíván.
Lady Ella azt tapasztalta, hogy Londonban sokkal nehezebb
cselédet fogadni, mint Mindszentek napján St. John’s Woodban. A
felsőbb papság háztartásai nagyon keresettek a komoly és hivatását
értő szolgaszemélyzet körében, de egy talár nélküli pap háztartása
nem valami vonzó. Az első próbálkozók fiatal és ügyetlen
nőszemélyek voltak. Az első szakácsnő kelletlen és szemtelen volt és
még mielőtt a hónapja letelt volna, otthagyta őket. A második
gondatlan. Megégette a burgonyát, szenesre égette a szeleteket,
vagy túlfőzte, vagy nem főzte meg eléggé a tojást s mindenütt
ételnyomok maradtak utána. A füstös kávé és a keserű tea így
megszokott dologgá vált annál az egyénnél, akinek püspöki
méltósága megszűnt. A hálószobában gyakran küzködnie kellett
idegeivel, hogy jókedvet mutatva jelenjék meg a lunchnél, ahol
azonban azt kellett tapasztalnia, hogy a kényeskedő Phoebe
érintetlenül tolja félre tányérját, Lady Ella pedig vésztjósló
hallgatással ül az asztal végén és olyan kifejezéseken töri a fejét,
amelyekkel úgy fejezheti ki haragját az alsóbb régiókkal szemben,
hogy ne vezethessen feleselésre, miközben azzal biztatgatja magát,
hogy ha kitennék magukat a kockázatnak, egy harmadik szakácsné
talán megfelelne a követelményeknek.
A nappali szoba komorszínű papírral volt tapétázva. A háziúr,
minthogy Scrope optimizmusával legfeljebb egy évre volt csak
hajlandó kivenni a lakást, nem akarta megújíttatni a tapétákat s így
mintájuk nagyon sötétzöld leveleket és szürke gótikus íveket
ábrázolt. A helyiséget csak egy lámpa világította meg s fényköre
csak a szoba középső részére terjedt ki, míg a falak tájára már csak
erőtlen fényfoltok jutottak. Lady Ellának nagyon sokszor közbe
kellett lépnie, hogy a világosságnak ezt a kis körét Phoebe és
Daphne ne monopolizálják teljesen otthoni munkájuk számára. A
világítás kérdését különben is nagyon nehéz volt rendezni, mert
ennyi világítás elégtelen volt a szoba számára. Milyen más volt a
princhesteri szalonban, ahol a kedves kis villamos lámpák egész sora
ragyogott. Az ebédlő méretei lehetetlenné tették a vendéglátást,
miután a dolgozószobát levágták belőle. Ha a család egyedül volt is
csak benne, a felszolgáló szobaleány alig tudott átfurakodni a székek
és a szekrények között.
A ház a szomszédos földalatti vasút robajától szüntelenül rezgett.
A közvetlen szomszédságban egy magányos hölgy lakott, aki
azonban hallatlan vakmerőséggel és olyan mély alt hangon végezte
énekgyakorlatait, hogy minden ember boldogan szabadult volna tőle.
A Restharrow Street végén garázs volt, ahol a soffőrök az autók
töffögtetésével hanggyakorlatokat végeztek. Mindezeket a hangokat
áthatóan hallotta az, aki a kertre nyíló kis szobában az íróasztalhoz
ült, hogy az egész világ kormányzatának megváltozatásáról «írjon
valamit». Igaz, hogy mindezek a kellemetlenségek csak aprólékos
kellemetlenségek voltak, de mégis alkalmasak arra, hogy
elkeserítsenek egy túlérzékeny lelket, amely arra is kénytelen volt
rájönni, hogy a rendelkezésre álló jövedelem mellett, még ez az
életmód is kétszázötven, vagy még ennél is több font hiányt jelent.
5. §.
Bármily lényegteleneknek látszanak is e háztartási részletek egy

intellektuális történet szempontjából, mégis ki kellett rájuk térnünk,
mert megmagyarázzák azt a mohóságot, amelyet Scrope saját külön
kápolnáját illetőleg tanusított, amiről Lady Sunderbunddal folytatott
tárgyalásokat. A menekvés útját London szennyének tengeréből,
amely elmerüléssel fenyegette családját, csakis ebben az irányban
látta s úgy érezte, hogy ez volt kötelességének iránya is. Ez volt
«hivatása».
Legalább is eleinte így érezte. Később azonban az ügyek megint
bonyolódni kezdtek…
A levél óta, melyet a hunstantoni fövenyen olvasott, nagyon
messzire fejlődtek a dolgok közte és Lady Sunderbund között. Attól a
naptól kezdve, amelyen az első kocsirakomány a renegát püspök
magántulajdonával elhagyta a palotát, a rikítóan kék ajtajú ház
ablakredőnyei le voltak bocsátva. A lelkes hölgy visszatért a Hyde
Parkra néző élénk díszítésű lakásba. Azóta a püspök ismételten s
azzal a világos tudattal látogatta meg, hogy ez az asszony fog
gondoskodni számára kápolnáról és szószékről, ahol London népe
előtt Isten egyetemességének és egyszerűségének evangéliumát
hirdetheti. Hivatva volt, hogy prófétája legyen egy új alapokra
fektetett hitnek, amely az egész világot megmenti a vallásoktól és
szektáktól, az önzésektől és üres loyalitásoktól, a fajok és szokások
előítéleteitől és Istennek, az egész emberiség királyának imádására
és szolgálatára szólítja. Ez volt lelkének döntő elhatározása. Ez volt
az az elhatározás, amely viszonyát nemcsak Lady Sunderbundhoz,
hanem feleségéhez és családjához, barátjaihoz, ellenségeihez és
szövetségeseihez is megszabta. Ezen az úton kell neki haladni,
menten a kételyektől és túltéve magát feleségének és ifjabb
leányainak nyilvánvaló rosszalásán. Lady Sunderbund lelkesedése
példátlanul nagy volt és ez támogatta őt…
Lady Sunderbund elhatározása azonban lassankint meggyengült.
Eleinte jóformán észre sem lehetett venni a változást, de csakhamar
úgy meg lehetett figyelni, mint ahogy az ember szeme szögletéből
megfigyeli a háttérben lévő dolgokat.
Első képzeteiben, melyeket a kápolnáról alkotott, kicsiny, de
ékesen szóló alaknak látta magát a püspök, amint valami
szembetűnő helyről az elveszett és tévútra vezetett világot Istenhez
szólítja vissza. Úgy képzelte, hogy a templomról, amely sűrűn tele
lesz rakva székekkel, Lady Sunderbund gondoskodik és hogy
ugyancsak ő fogja biztosítani azokat a csekély anyagi eszközöket is,
amelyek felmentik őt a családjáért való gyötrő gondok alól. Felületes
becslés alapján évi nyolcszáz fontra becsülte ezt az összeget s arra
számított, hogy egy része aláírások révén meg fog térülni.
– Eleinte, amíg a nagy tömegek nem jelentkeznek, én leszek a
legfőbb aláíhó, – mondta Lady Sunderbund.
A püspök annyira meg volt elégedve, olyannyira adottnak
tekintette a dolgot, hogy nem is gondolkozott tovább róla s ügyet
sem vetett azokra a nagyarányú dekorativ törekvésekre, amelyek
Lady Sunderbundot egyszerre rabul ejtették. Noha e törekvések
jelentékeny része egy ideig gondosan rejtve maradt előtte, bizonyára
észrevehette volna őket, ha meglett volna benne a megfigyelésükhöz
szükséges hajlamosság.
Ott volt például a csodás nyakkendőjű fiatal építész, akivel a
püspök egyszer vagy kétszer a lunchnél találkozott a Hyde Parkra
néző lakásban. Ez a fiatalember, Lady Sunderbund támogatásával
ismételten az «ideális templom» felé igyekezett terelni a társalgást.
Az volt a becsvágya, hogy ő építse meg «a minden hagyománytól
független» ideális templomot.
Végül Scrope is belesodródott a vitába. Kifejtette, hogy eddigelé
minden templom és istentiszteleti célokra szolgáló helyiség az egyes
egyházak különleges szempontjai szerint épült. Vagy nyugat felé,
vagy – mint az egyiptomi templomokat, – valamely meghatározott
csillag irányában építették. Ebben az áldozatok játszották a
főszerepet, mert az volt a törekvés, hogy mindent a fényesen
megvilágított áldozati oltár körül központosítsanak s más
szempontok szerint épült templomot elképzelni sem lehetett. Az
építésznek azonban lehet annyi szabadsága…
– Az építész teljesen szabad, – szakította félbe a fiatalember. –
Ha úgy tetszik, akár csillagalakú templomot is építhet.
– Vagy valami hemek ékszehes dobozhoz hasonlót, – mondta
Lady Sunderbund.
A társaságban egy bozontos hajú zenész is volt, aki heves
mozdulatokkal kapkodta be a sózott mandulákat és az egyházi
zenéről akarta hallani a püspök véleményét.
Scrope azt a nézetet kockáztatta meg, hogy az ének bizonyos
vallásos hajlandóságot tételez fel. Elismerte, hogy Musszorgszkiban
finom vallásosság van ugyan, de véleménye szerint ezen a téren
mégis Beethoven szonátája, az Op. 111. s főleg annak befejező
adagiója, a molto semplice e cantabile, a legkiválóbb. Isteni hangulat
érzik ki belőle.
A zenész, aki észrevehető türelmetlenséget árult el, Beethoven
nevének hallatára és sózott mandulával teli szájjal jelentette ki, hogy
azon ma már túl vagyunk.
– Emberfelettieknek kell lennünk, ha különbek akarunk lenni
Purcellnél vagy Beethovennél, – mondta Scrope.
Scrope nem tulajdonított kellő fontosságot Lady Sunderbund
azon törekvésének sem, hogy a kiváló pozitívistákat, a testvériség
egyházának tagjait, a keresztény tudomány művelőinek vezetőit,
Charles Voysey főtisztelendőnek régi követőit, a
swedenborgiánusokat, mohamedán megtérteket, hindu
teozófusokat, lelki fenoméneket és más hasonlókat is meg kellene
hívni. Scropenek mindez nem látszott fontosnak, de érezni kezdte,
hogy az új vállalkozást nem tudja olyan tökéletesen irányítani, mint
ahogy eleinte feltételezte. Ő is, Lady Sunderbund is, egyaránt az
egyetemlegességet vallották ugyan, de míg az ő egyetemlegessége a
hitnek a puszta alapokig való egyszerűsítésében állott addig Lady
Sunderbundé a gyüjtőnek egyetemlegessége volt. Scrope
felfogásában a hit olyasvalami volt, ami a lelket, Lady Sunderbund
felfogásában pedig, ami a kis imakönyvet ragyogja be. Hosszú időn
keresztül mindegyik a maga külön hajlandóságait követte, anélkül,
hogy az eltérésről tudomást vettek volna, de végül is Scrope
öntudatának ködében a jövőt illetőleg valami bizonytalan kétkedés
és elégedetlenség kezdett támadni.
Eleinte egyáltalán nem, vagy csak nagyon kevéssé kételkedett a
saját hitében. Még mindig teljesen meg volt győződve, hogy
élethivatása Isten vallása és hirdetése. Biztos volt benne, hogy Isten
szükségképen ura és megváltója az emberiségnek és az ember
életének és biztos volt a binomiális tantétel igazságában, de
lassankint kétkedni kezdett abban, hogy csakugyan az ő hivatása-e,
hogy az egész világnak ő hirdesse az igaz Istent. A legbarátságosabb
hangon tárgyalt Lady Sunderbunddal, de mikor hazafelé haladt
Notting Hillre, Isten tudja, hogyan, kihívó módon merült fel a kérdés
lelkében: «Még egy próféta?» Hiszen ha sikerül is ez a missziós
vállalkozás, vajjon lehet-e belőle egyéb, mint egy kisebb jelentőségű
westendi Mohamed? Nem lehetetlen, hogy esetleg új szektának lesz
az alapítója, pedig a cél nem ez, hanem épen az volna, hogy
valamennyi szektának véget vessünk, ámde hogy lehessen véget
vetni nekik, ha még mindig vannak templomok és kápolnák, –
gazdagon díszített templomok és kápolnák, – gyülekezetek és
Istennek fizetett specialistái?
Ez a gondolat nagyon megzavarta és különösen éjszakánkint
működött benne igen erősen. Scrope azon igyekezett, hogy
mindentől ridegen elvonatkoztatva vizsgálja a kérdést és ne
törekedjék sem azzal a körülménnyel, hogy magánjövedelme nem
éri el évente a háromszáz fontot, sem azzal, hogy irodalmi kísérletei
máris nagy mértékben tegyék valószínűtlenné, hogy a legserényebb
irodalmi munkával is meg lehet kétszerezni ezt a nagyon is elégtelen
összeget. Ha e kellemetlen, bántó és bosszantó körülményeket
igyekezett is elmellőzni, azok alaktalan formában mégis mindig
megjelentek és leülepedtek lelkének hátsó szögletében, – ahonnét,
hogy úgy fejezzük ki magunkat, kifelé nézegetett, habár
töprengéseinek központjában állandóan az a kérdés állott, vajjon
lehet-e próféta gyanánt fellépnie.
6. §.
A válság egy októberi délutánon egészen váratlanul tört ki.

Scrope, Lady Sunderbund lakására ment, hogy megtekintse az új
templom terveit és rajzait, amelyben neki kell majd az igét hirdetnie.
A tervek megtekintése után rájött Lady Sunderbund teljesen
lehetetlen voltára. Nyomban igyekezett megmagyarázni, hogy milyen
nagy eltérés van kettőjük közt és e magyarázattal a beszámíthatatlan
zavaros érzések viharát idézte fel…
Lady Sunderbund mintegy tíz percig várakoztatta, mielőtt a
terveket behozta volna. Scrope a kis szobában várakozott, amelynek
falán Wyndham Lewis festménye fügött és a rikító vörös kockákkal
kifestett balkonra nyílt. Az ablak mellett egy kis aranyozott asztalkán
néhány újonnan vásárolt könyv hevert. A püspök az asztalhoz lépett
s egymásután vette a kezébe a könyveket. Az első «Huntingdon
grófnő és köre» volt, annak a hölgynek a története, aki szívesen
barátkozott könnyű gondolkodású érsekekkel és borzalmas
vendéglátója volt a wesleyanus káplánoknak. Scrope néhány
pillanatig ez átszellemült hölgy sötét képét tanulmányozta, amint
egyik lábával tüntetően tiporja grófi koronáját, azután a másik
könyvet vette a kezébe. Ez Szent Teréziának, a spanyol apáca-
kolostorok energikus szervezőjének élettörténete volt. A
harmadiknak Madame Guyon volt a főszereplője. Nem volt nehéz
kitalálni, hogy Lady Sunderbund mi végből olvassa ezeket a
könyveket…
Lady Sunderbund belépett.
Hosszú, egyszerű, vakítóan fehér ruhát viselt, nagyon magas
nyakkal. Kezén zöld nefrit karperec, derekán zöld selyemöv volt,
haját pedig nagyon merev és zöld műborostyán koszorú szorította le.
Hóna alatt egész tömeg rajz- és másolópapírtekercset hozott.
– Végtelenül öhvendek, – mondotta. – Véghe készen vagyunk és
megmutathatom önnek a tehveket.
Az egész papírrakományt nagy zajjal egy fekete és fehér
faberakástól tarkálló asztalkára dobta, úgy, hogy Scrope egy-két
tekercset és egy ív másolópapírt a padlóról volt kénytelen felszedni.
– A templom, – lihegte Lady Sunderbund jelentőségteljesen, – az
egy igaz Isten temploma!
A rajzok között kutatott és egy furcsa szögletes épület rajzát
magasra emelve, odatartotta Scrope meglepődött szeme elé.
– Ugyebáh, kifogástalan? – kérdezte.
Srcope átvette a rajzot. A rajz egy épületet, nyilvánvalóan
rendkívül nagy épületet ábrázolt, amely főrészeiben két nagy, erősen
sávozott toronyból és ezek között hosszú lépcsőfeljárattal ellátott
boltívekből állt. A két torony között emelkedett a dóm. A terv olyan
volt, mintha az Aja Sophia mecsetjének és a wellsi katedrálisnak a
messallianceából született volna meg. Rengeteg nagyságát azokból a
parányi automobilokból lehetett megítélni, amelyek az előtérben
gördültek fel-alá.
– Itt van az alaphajz is, – mondta Lady Sunderbund s egy másik
papírlapot terített ki a püspök elé, mielőtt még az a rajzzal teljesen
tisztába jött volna. – A nagy csahnok teljesen kehek, nincs száhnya,
nincs benne oltáh s zafihkék betűkkel olvasható benne a felihat:
«Isten mindenütt jelenvaló».
Bizonyos ünnepélyességgel tette hozzá:
– Háhomezeh embeh számáha lesz benne ülőhely.
– De… – mondta Scrope.
– Van benne bizonyos nagyság és méltóság, – mondta Lady
Sunderbund. – A fiatal Venable műve. Az első nagy álkalom
számáha.
– De hát elfér-e ez azon a kis aldwychi telken?
– Venable azt mondja, hogy nem, – magyarázta Lady
Sunderbund. – Golden Gheenben akahná elhelyezni.
– De ha már ez lett abból az egyszerű kis kápolnából, amelyet mi
terveztünk, akkor legalább központi fekvésűnek kellene lenni.
– De ha ott nem lehet elhelyezni, – mondta Lady Sunderbund
érvelő hangon.
– Azonkívül ez nagyon drága, túlságosan drága, sokkal drágább…
– Az teljesen mellékes. A vagyonom bohzasztóan
megszapohodott. A fele hajózási papihokban van, a mahadéknak
nagy hésze pedig lőszehgyáhi hészvényekben. Gazdagabb vagyok,
mint báhmikoh azelőtt… Hát nem nagyszehű ez a tehv?
A püspök letette a távlati rajzot s az alaprajzot vette a kezébe.
Úgy tett, mintha tanulmányozná, de tulajdonképen csak a helyzeten
elmélkedett.
– Lady Sunderbund, – mondotta végül, némi erőlködéssel, – attól
félek, hogy ez nem fog megfelelni.
– Nem felel meg?!
– Nem. Nem felel meg az én szándékom szellemének. Én úgy
képzelem, hogy nem egy ilyenfajta nagy épületben… ilyen cifra és
hivalkodó épületben kell hirdetni Isten országának egyszerű
evangéliumát.
– Ilyen nagy hivatáshoz nem felelne meg jobban ilyen nagy
szószék?
Mintha meg akarta volna akadályozni, hogy Scrope újabb
ellenvetéseket tegyen, Lady Sunderbund kapkodva kutatott tovább a
rajzok között.
– Nézze meg ezt a tehvet, – mondotta. – Minden benne van!
Nemcsak phédikáló hely; gondoskodás töhtént benne mindenhől.
A felizgatott gyermek heves mozdulataival kezdte bizonyítgatni a
püspöknek a nagy terv kiváló tulajdonságait és érdemeit. A
prédikációs csarnok csak a szíve az egésznek. Lesz még benne
könyvtár, refektórium, tanácskozótermek, tantermek, kiadóvállalat és
egy nagy földalatti nyomdahelyiség.
– Manapság minden nagy vállalatnak szüksége van nyomdáha, –
magyarázta Lady Sunderbund.
Gondoskodás történt a zenéről is, egy, de nagy láthatatlan
orgonával, amely architektonikus részletek között lesz elhelyezve és
hangjaival el fogja árasztani a dómot.
Lady Sunderbundnak csillogott a szeme, mikor a nagy dómot
körüljáró körmenetek lehetőségét említette és megmagyarázta, hogy
a nagy dóm nem lesz a lelki elmélkedések egyszerű visszhangzó
felülete, hanem széles és nyílt folyosók veszik majd körül s ezekbe
kápolnák nyílnak.
– De mire való mindez? – kérdezte Scrope, egy pillanatra
megállítva az áradatot. – Mi szükség van a kápolnákra? Csak nem
akar oltárokat és szentképeket?
– Nem, – felelte Lady Sunderbund, – de szükség lesz különböző
hendeltetésű kápolnákha: a tudomány kápolnája, az egészségügy
kápolnája, a kohmányzat kápolnája. Helyek, ahol az embehek
leülhetnek és elmélkedhetnek e dolgok felett… Megfelelő képekkel és
szimbolumokkal.
– Értem az ön gondolatát, – tétovázott Scrope. – Értem.
– Egy nagy, sötétkék és kehek kápolna is lesz a csillagok, az
atomok és az anyag hejtelmei számáha.
Hangja ünnepélyes színezetet öltött.
– Minden csendes, mélységes és magas, akáhcsak a khistály a
sötétben. Ebbe a kápolnába lépcsőkön kell lemenni. Sötét és kehek
boltívek alatt, amelyek matematikai szimbolumokkal, egyenletekkel
és tudományos műszehekkel vannak díszítve… Közvetlen mellette,
egészen mellette, lesz egy másik kis, világos színekben tahtott
kápolna a madahak és vihágok számáha.
– Igen, – mondta Scrope, – mindez nagyon szép és
kifejezésteljes. Amint látom, az egész épület szimbolikus és nagy
művészi lehetőségek rejlenek benne, de ez a hely nem az én
számomra lesz teremtve. Az én mondanivalóm nagyon egyszerű; az,
hogy Isten ura az egész világnak, ura a félpennys újságoknak, az
omnibuszoknak és a mindennapi aprólékos dolgoknak, hogy az
embereknek imádni és szolgálni kell őt életüknek minden
pillanatában. Ez nem az, amit én akarok. Ez a régi vallások
visszatérése. Ez az eltávolodás Istentől. Ez nem egyéb, minthogy
egy új frigyládába akarják zárni a régi helyett. Nekem az egész…
nem tetszik.
– Nem tetszik?! – kiáltotta Lady Sunderbund s megdöbbenéssel
és csodálkozással kapta vissza a fejét.
– Ebben az épületben nem tudom végezni az én munkámat.
– De… hát nem ez az ön gondolata?
– Nem. Egyáltalán nem az enyém. Én az egy Istenről akarok
beszélni, aki egyedül egyesítheti és mentheti meg a világot… ön
pedig ilyen különcködő játékot csinál.
Scrope érezte, hogy az utolsó szóval megsebezte az asszonyt.
– Játékot! – visszhangozta Lady Sunderbund. – Ön ezt játéknak
nevezi?
Hangjának egy árnyalata kifejezésre juttatta, hogy még két
ember van nagyon erősen érdekelve ebben a dologban.
– Kedves Lady Sunderbund, – mondta Scrope hirtelen
megváltozott hangon, – nekem saját lelkem meglátását kell
követnem. Előttem megjelent Isten látomása. Nagy vezérnek láttam
őt, aki hihetetlenül magasra emelkedik az emberek kicsiny élete fölé.
Maga számára követeli az emberek életét. Meg akarja nekik mutatni
az utat az emberi nem üdvössége, a gyötrelemnek és a halálnak
legyőzése felé. Láttam őt az emberi ügyek Istenének, a politika
Istenének, az olyan komor és véres háborúk Istenének, mint a
mostani, a gazdasági élet Istenének, a vasúti gócpontok, klinikák,
gyárak és esti iskolák Istenének, egyszóval és valóban az emberek
Istenének. Ez az Isten, akit pedig ön akar imádni, a művészek és
költők, az elegáns költők Istene, a ritkaságok Istene, a válogatott
célzások Istene. Ebben is lehet nagyszerűség. Egyáltalán nem
akarom azt mondani, hogy amit ön cselekszik, az nem lehet szintén
finom és megfelelő az ön számára. De ez nem az, amit én akarok…
Én nem mehetek bele ebbe a tervbe és nem haladhatok ebben az
irányban.
Scrope nekihevülten és fáradtan hagyta abba beszédét. Lady
Sunderbund végighallgatta. Ragyogó arca kipirult és könnyek
csillogtak szemében. Úgy érezte, hogy e könnyek a legdrágább és
legértékesebb fajtából valók. Bájos ajka eltorzult a rémülettől és
megdöbbenéstől s arckifejezése az olyan gyermek félig hitetlen
kifejezése volt, akit hirtelen és kegyetlen csalódás ért.
– Ön tehát nem akah belemenni ebbe a tehvbe?
– Nem, – felelte Scrope. – Kedves Lady Sunderbund…
– Ne emlegesse Lady Sundehbundot! – kiáltotta az asszony
egészen újszerű hevességgel. – Nem látja, hogy mindezt önéht
tettem?
Scrope összerezzent és valami nyers érzés fogta el. Lady
Sunderbund soha úgy nem tetszett és annyira visszataszító nem volt
neki, mint e pillanatban, de nem tudott szavakat találni számára.
– Hogy tudjak mindehhől egyszehhe lemondani?
Scrope még mindig nem találta meg a feleletet s az asszony ki
akarta használni pillanatnyi előnyét.
– Hát mondja meg, mit tegyek? – kiáltotta.
Szenvedélyesen fordult Scrope felé.
– Éhtse meg, hogy mit tett velem ön!
Feltartott újjain egyenként számlálta a pontokat és furcsa módon
egy haragos piaci lány képét idézte fel.
– Mióta megismehkedtünk, – mondta, – tiszteltem önt. Kész
voltam önt követni báhhová… Attól az estétől fogva, mikoh ön oly
nyugodtan és méltóságteljesen ült, a többiek pedig gyötöhték és
sebezték önt, – mindent kész voltam megtenni önéht. Mikoh a
többiek olyan hiábavalók és túlokosak voltak, ön pedig csak Istenhe
és a vallásha gondolt és saját magával nem töhődött… Igen,
mindaddig… óh! Ühes volt az egész életem…
A könnyek szakadatlanul peregtek le arcán.
– Talán megint ezt az ühes életet kell élnem…
Úgy tett, mintha bánatát kezével akarná eltaszítani magától,
melynek gyűrűiben bogárnagyságú kövek csillogtak.
– Így szóltam magamhoz: Ez az embeh tud valamit, amit én nem
tudok. Ő az öhök élet magvetője. Elhatáhoztam, hogy követem önt,
segítem önt és megteszek mindent, amit csak lehet. Azóta állandóan
önéht éltem. És most mikoh terveim megéhtek, ön…! Hettenetes!
Ökölbe szorított és felemelt kezével különös mozdulatot tett.
Tekintete a berakott asztalon heverő tervekre és rajzokra meredt.
– Tehveztem és tehveztem. Azt mondtam, hogy templomot
építek neki. Templomi szolgáló leánya leszek… Szolgáló leánya…
Nem tudta folytatni.
– De épen ezek a templomok zavarták meg az emberiséget, –
mondta Scrope.
– De nem az én templomom, – mondta Lady Sunderbund, aki
most már a visszautasított rajzok fölött nyílt zokogásban tört ki. – Ön
megmagyaházhatta volna…
Harag villant fel szemében és úgy lökte el magától a terveket,
hogy egymásután a földre hullottak. Hosszúnak tetsző pillanatokig
nem lehetett más hangot hallani a szobában, csak az egymásután
földre hulló rajzlapok folyton gyorsabbodó suhogását.
– Óh, mily boldogok lehettünk volna a mi Istenünk szolgálatában,
– jajveszékelt Lady Sunderbund egyre s aztán a megdöbbentő hölgy
még döbbenetesebb dolgot cselekedett. Scrope felé támolygott,
megragadta kabátjának hajtókáját, fejét vállára hajtotta, úgy, hogy
fekete haja a nyakát érte s aztán zokogni és siránkozni kezdett.
– De kedves Lady Sunderbund! – mondta Scrope szemrehányó
hangon, miközben igyekezett őt gyengéden eltolni magától.
– Engedje meg, hogy zokogjak, – követelte Lady Sunderbund,
még erősebben belekapaszkodva a kabátba és követve Scrope
hátráló mozdulatait. – Engedje meg, hogy zokogjak. Meg kell
engednie.
Scrope ellenkezése megszűnt. Egyik kezével támogatta az
asszonyt, a másikkal ragyogó haját símogatta.
– Kedves gyermekem! – mondotta. – Kedves gyermekem!
Sejtelmem se volt róla, hogy így fogja fel…
7. §.
Mindez csak kezdete volt egy jelentőségteljes megbeszélésnek.

Scropenak sikerült a boldogtalan hölgyet támogató és rokonszenves
módon egy kerevetre ültetni. Mikor néhány szaggatott szó után
ismét felkelt és megállt a püspök előtt, miközben szemét egy csipke-
csodával törölgette, a taktikai körülmények újabb mérlegelése arra
késztette Scropet, hogy a rajzok felszedésének ürügye alatt az asztal
túlsó oldalára kerüljön…
Lady Sunderbund igyekezett a köztük történt megbeszélés szálait
visszamenőleg kibogozni, de ez a magyarázat nagyon ingadozó volt s
ellentmondásokkal volt telve. Olyan dolgoknál kezdte újra a
magyarázatot, amelyek már elintézetteknek tetszettek, de Lady
Sunderbund agya szokatlanul rendszertelen volt, valóságos vadon
nőtt lelki bozót. Néha úgy tett szemrehányásokat Scropenak, mintha
kegyetlen Isten lett volna, néha pedig engedetlen szolga módjára

Full The Mathematics of Coding Theory 1st Edition Paul Garrett Ebook All Chapters

Uploaded by

Copyright:

Available Formats

Full The Mathematics of Coding Theory 1st Edition Paul Garrett Ebook All Chapters

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Full The Mathematics of Coding Theory 1st Edition Paul Garrett Ebook All Chapters

Uploaded by

Copyright:

Available Formats

Full download ebook at ebookgate.

The Mathematics of Coding Theory 1st Edition

Download more ebook from https://ebookgate.com

The Theory of Information and Coding 2nd Edition

Advances in coding theory and crytography 1st Edition

The foundations of mathematics in the theory of sets

Arithmetic Geometry and Coding Theory AGCT 2003 1st

Lattice Coding for Signals and Networks A Structured

Information Theory and Coding 1st Edition Dr.

Non representational Theory 1st Edition Paul Simpson

Channel Coding in Communication Networks From Theory to

The Mathematics of Coding Theory by Paul Garrett

3 , Noiseless Coding ....... . 44

4 Noisy Coding . . . ~' . . . 61

5 Cyclic Redundancy Checks . . . . 82

7 Permutations and Interleavers 134

9 Rings and Fields 167

11 Finite Fields . .... 192

12 Linear Codes . . . 200

13 Bounds for Codes . . . ... 228

14 More on Linear Codes 234

15 Primitive Roots . . . ... 240

16 Primitive Polynomials . . . . . . . 260

17 RS and BCH Codes . . . . . . . . . . 276

Appendix: Linear Algebra· 360

1.1 Sets and functions

<P = {} = empty set = set with no elements

A set described by a list is something like

S = {1,2,3,4,5,6, 7,8} = {x: x is an integer and 1::S; x::S; 8}

This follows the general format and notation

{x: x has some property}

If x is in a set S, then write xES or S 3 x, and say that x is an element of S.

is the set of two-element subsets of {I, 2, 3}.

P{I,2} = {¢>, {I}, {2}, {I, 2}}

Intuitively, a function 1 from one set A to another se\ B is supposed to be

But certainly E is a proper subset of A! Even more striking examples can be

10 9 = idB go1 = idA

An inverse function to 1, if it exists at all, is usually denoted 1- 1 . (This is not at

This proves injectivity of f. For surjectivity, given b E B,

It is an important and useful convention that

The factorial n! is defined only for non-negative integers.

ordered k-tuples that can be chosen from a set with n elements.

n x (n - 1) x (n - 2) x ... x (n - (k - 2)) x (n - (k - 1)) = n!/(n - k)!

(10) (7) = 1O! 7!

1 (n) (n-k) 1 n! (n-k)!

choices for the first subset,

for the second,

for the third, up to

number of disjoint subsets of k elements = e! (k!)l7: _ ek)!

The Binomial Theorem asserts that

= xOyn+l + xn+lyO + + t ((k: 1)

We do this by expressing the left-hand side in terms of binomial coefficients:

1.3 Preliminary ideas of probability

probability of k heads out of n tosses

number of sequences of n heads/tails with exactly k heads

number of sequences of n heads/tails with exactly k heads

To count the number of sequences of n heads-or-tails with exactly k heads, we may

n-choose-k = k! (nn!_ k)! =

number of sequences of 10 with exactly 6 or exactly 4 heads