Пусть имеется два дискретных источника с энтропиями H(x) и H(y) и объёмами алфавитов k и l (рис. 2).
Объединим оба эти источника в один сложный источник и определим совместную энтропию. Элементарное сообщение на выходе системы содержит элементарное сообщение xi и сообщение yj. Алфавит сложной системы будет иметь объём k×l, а энтропия будет равна
, (15)
или
. (16)
По теореме умножения вероятностей
p(x, y)=p(x)×p(y/x)=p(y)×p(x/y).
Подставляя эти соотношения в (15), получим
. (17)
Аналогично можно получить
. (18)
Здесь H(x) и H(y) — собственная энтропия источников x и y;
(19)
— условная энтропия источника y относительно источника x. Она показывает, какую энтропию имеют сообщения y, когда уже известно сообщение x.
Если источники независимы, то p(y/x)=p(y) и H(y/x)=H(y). В этом случае H(x, y)=H(x)+H(y).
Если источники частично зависимы, то H(x, y)<H(x)+H(y).
Если источники полностью зависимы (x и y — cодержат одну и ту же информацию), тоH(y/x)=0 и H(x, y)=H(x)=H(y).
Вопросы
- Что такое совместная энтропия двух источников?
- Что такое условная энтропия, её физический смысл?
- Чему равна совместная энтропия двух независимых дискретных источников и двух полностью зависимых источников?