Реферат: Анализ процесса передачи информации

Неопределенность ситуации принято характеризовать величиной, которая называется энтропия. В информатике она характеризует способность источника отдавать информацию. В статической теории информации, учитывающей вероятность появления тех или иных сообщений, энтропия количественно выражается как средняя функция множества вероятностей каждой из возможных реализаций сообщения или несущего сигнала. Исходя из этого, энтропия определяется суммой произведений вероятностей различных реализаций сигнала Х на логарифм этих вероятностей, взятых с обратным знаком:

_i=n

H(X)= - ∑ P1 log Pi ,где:

ⁱ⁼¹

H(X) – энтропия сигнала Х,

Pi – вероятность i – ой реализации случайного сигнала,

n - общее возможное количество реализаций.

Использование энтропии в теории информации оказалось очень удобным в силу ее следующих важных свойств:

энтропия равна нулю, когда одно из событий достоверно, а другие невозможны;

энтропия максимальна, когда все возможные события равновероятны, и растет с увеличением числа равновероятных состояний;

энтропия обладает свойством аддитивности, т.е. энтропию независимых систем можно складывать.

Поясним каждое из перечисленных свойств.

Если ситуация полностью ясна, то никакой неопределенности нет, и энтропия в этом случае равна нулю. Например: если ток в цепи равен 10А, то он не может быть одновременно равным 5А.

На этом примере можно пояснить и второе свойство. Если одно из событий ожидается с очень малой вероятностью, например, Р1 = 0,01, а другое с высокой, например, Р2 = 0,99, то неопределенность невелика, т.к. почти наверняка получим второе сообщение.

Если же оба события равновероятны и Р1 = Р2 = 0,5, то уже нет уверенности, что будет получено какое - то из сообщений, т.е. неопределенность возрастает. Очевидно, что неопределенность возрастает, если вместо одного из двух сообщений может прийти одно из трех, четырех и более.

Сообщения источника обладают избыточностью. Дело в том, что отдельные знаки сообщения находятся в определенной статической связи. Так, в словарях русского языка после двух подряд стоящих согласных букв более вероятна гласная, а после трех подряд согласных наверняка будет гласная. Избыточность позволяет представлять сообщения в более экономной, сжатой форме. Мера возможного сокращения сообщения без потери информации за счет статистических взаимосвязей между его элементами определяется избыточностью. Понятие избыточность применимо не только к сообщениям или сигналам, но и к языку в целом, коду (алфавит любого языка и слова, составленные из его букв, можно рассматривать как код). Например, избыточность европейских языков достигает 60 – 80%.

Наличие избыточности в сообщении часто оказывается полезным и даже необходимым, т.к. позволяет обнаруживать и исправлять ошибки, т.е. повысить достоверность воспроизведения его. Если избыточность в сообщении не используется для повышения достоверности, то она должна быть исключена. Это достигается использованием специального статистического кодирования. При этом избыточность сигнала уменьшается по отношению к избыточности сообщения.

Избыточное кодирование уменьшает неопределенность воспроизведения передаваемого сообщения, т.е. уменьшает ошибки при его приеме.

Избыточностью кода называют разность между средней длинной слова и энтропией.

Избыточность находят следующим образом:

R=1-HфHм, где:

Hф - фактическая энтропия,

Hм - максимальная энтропия.

3.2. Сигнал

Возможность способа передачи учитывается способом преобразования сообщения в сигнал. В случае электросвязи все виды информации с помощью соответствующих электронных приборов преобразуются в электрические сигналы, отображающие сообщение.

Сигнал – это материально – энергетическая форма представления информации. Другими словами, сигнал – это переносчик информации, один или несколько параметров которого, изменяясь, отображают сообщение.

Цепь “информация – сообщение – сигнал” – это пример процесса обработки, необходимой там, где находится источник информации. На стороне потребителя информации осуществляется обработка в обратном порядке: “сигнал – сообщение – информация”.

Сигналы в системах электросвязи разделяются на телефонные, телеграфные и телевизионные. Сигналы могут быть: непрерывными (телефонные, телевизионные) или дискретными (телеграфные).

Непрерывным (аналоговым) сигналом называют такой сигнал, у которого в заданном интервале времени можно отсчитать бесконечно большое число значений.

Дискретный сигнал в том же интервале времени имеет конечное число значений. Примером дискретного сигнала является импульсный, т.е. такой, длительность которого соизмерима с длительностью установления переходного процесса в системе, на вход которой он действует.

Существует несколько физических характеристик, общих для любого сигнала.

Физическая характеристика сигнала – это описание любым способом его свойств.