1. Основные понятия и определения

Информация, сообщения, сигналы

Под термином “информация” понимают различные сведения, которые поступают к получателю. В более строгой форме определение информации следующее:

Информация — это сведения, являющиеся объектом передачи, распределения, преобразования, хранения или непосредственного использования.

В дальнейшем нас будут интересовать лишь вопросы, связанные с информацией как объектом передачи.

Сообщение является формой представления информации.

Одно и то же сведение может быть представлено в различной форме. Например, сведение о моменте начала наступления может быть передано по телефону или телеграфом или тремя зелеными ракетами. В первом случае мы имеем дело с информацией, представленной в непрерывном виде (непрерывное сообщение). Будем считать, что это сообщение вырабатывается источником непрерывных сообщений. Во втором и в третьем случае — с информацией, представленной в дискретном виде (дискретное сообщение). Это сообщение вырабатывается источником дискретных сообщений.

Основное отличие дискретного и непрерывного источников состоит в следующем. Множество всех различных сообщений, вырабатываемых дискретным источником всегда конечно. Поэтому на конечном отрезке времени количество символов дискретного источника так же является конечным. В то же время число возможных различных значений звукового давления (или напряжения в телефонной линии), измеренное при разговоре, даже на конечном отрезке времени, будет бесконечным.

В нашем курсе мы будем рассматривать вопросы передачи именно дискретных сообщений. При этом в случае телефонной связи под сообщением будем понимать некоторую последовательность отсчетов квантованного аналогового сигнала, передаваемую в канале связи в виде последовательности кодовых комбинаций.

Информация, содержащаяся в сообщении, передается от источника сообщений к получателю по каналу передачи дискретных сообщений (ПДС) (рис.1.).

Рис.1. Тракт передачи дискретных сообщений

Характеристики источника дискретных сообщений

Сообщение поступает от источника дискретных сообщений, который характеризуется алфавитом передаваемых сообщений .

Алфавит – есть совокупность всех возможных (различных) сообщений (знаков) данного источника.

Объем алфавита – число различных символов алфавита К.

Каждое сообщение алфавита появляется с некоторой вероятностью.

Вероятность выдачи символа (сообщения) – .

Количество информации в сообщении(символе) определяется вероятностью его появления. Чем меньше вероятность появления того или иного сообщения, тем большее количество информации мы извлекаем при его получении. В 1928г. Хартли предложил определять количество информации, которое приходится на одно сообщение , выражением

.

Энтропия. Среднее количество информации Н(А), которое приходится на одно сообщение, поступающее от источника без памяти, получим, применяя операцию усреднения по всему объему алфавита

, (1)

Выражение (1) известно как формула Шеннона для энтропии источника дискретных сообщений. Энтропия — мера неопределенности в поведении источника дискретных сообщений.

Энтропия равна нулю, если с вероятностью единица источником выдается всегда одно и то же сообщение (в этом случае неопределенность в поведении источника сообщений отсутствует). Энтропия максимальна, если символы источника появляются независимо и с одинаковой вероятностью.

Один бит — это количество информации, которое переносит один символ источника дискретных сообщений в том случае, когда алфавит источника состоит из двух равновероятных символов.

Среднее количество информации, выдаваемое источником в единицу времени, называют производительностью источника

, [бит/с], (2)

где — среднее время, отводимое на передачу одного символа (сообщения).

Среднее время может быть определено выражением .

Основные характеристики канала ПДС

Для каналов передачи дискретных сообщений вводят аналогичную характеристику — скорость передачи информации по каналу R. Она определяется количеством бит, передаваемых в секунду. Максимально возможное значение скорости передачи информации по каналу называется пропускной способностью канала и обозначается С.

Пропускная способность непрерывного канала с белым гауссовским шумом определяется известной формулой Шеннона

.

Как видно из выражения данная величина определяется шириной полосы пропускания и соотношением сигнал-шум.

Сигналы – форма сообщения для передачи по каналу связи

Любая система связи обеспечивает передачу именно сигналов, а не сообщений. Поэтому сообщение, поступающее от источника, предварительно должно быть преобразовано в сигнал определенной природы (электрический, оптический …), который является его переносчиком в данной системе связи.

Виды сигналов. Различают четыре вида сигналов: непрерывный непрерывного времени, непрерывный дискретного времени, дискретный непрерывного времени и дискретный дискретного времени.

Непрерывные сигналы непрерывного времени называют сокращенно непрерывными (аналоговыми) сигналами. Они могут изменяться в произвольные моменты, принимая любые значения из непрерывного множества возможных значений (рис.2). К таким сигналам относится и известная всем синусоида.