При алфавитном подходе к
определению количества информации
отвлекаются от содержания информации и
рассматривают информационное сообщение как
последовательность знаков определенной
знаковой системы.
Применение алфавитного
подхода удобно прежде всего при
использовании технических средств работы с
информацией. Алфавитный подход является
объективным способом измерения информации в
отличие от субъективного содержательного
подхода.
Алфавит - все множество используемых
в языке символов.
Обычно под алфавитом
понимают только буквы, но поскольку в тексте
могут встречаться знаки препинания, цифры,
скобки, то мы их тоже включим в алфавит. В
алфавит также следует включить и пробел,
т.е. пропуск между словами.
Мощность алфавита (N) - полное
количество символов алфавита.
Мощность русского алфавита
- 33 знака, английского - 28, двоичного кода
- 2 ("0" или "1"), компьютерного текста -
256.
Информационный вес символа алфавита
i и мощностьN
алфавита связаны между собой формулой
N = 2i.
Например в 32 - символьном алфавите каждый знак несет 5 бит информации.
1 символ компьютерного текста (256
знаков: русские, латинские буквы, строчные
заглавные, знаки препинания, специальные
знаки, пробел) равен 8 бит = 1 байту.
Информационный объем сообщения
(количество информации) представленного
символами какого-либо алфавита,
складывается из информационных весов
составляющих его символов.
Информационный объем V
сообщения равен произведению количеству
K
символов в сообщении на информационный
вес i
символа алфавитаV = K * i
Единицы
измерения информации
8 бит = 1
байт
1 Кбайт
(Килобайт) = 1024 байт = 210
байт
1 Мбайт
(Мегабайт) = 1024 Кбайт = 210
Кбайт
1 Гбайт
(Гигабайт) = 1024 Мбайт = 210
Мбайт
1 Тбайт
(Терабайт) = 1024 Гбайт = 210
Гбайт
Примеры:
Найти объем сообщения,
содержащего 200 знаков 16-символьного
алфавита.
Дано:
Решение:
N = 16
N = 2i;
16=2i
K = 200
I = 4
бита
V = K *
i;
V=200*4=800
бит =
100 байт
Найти:
V - ?
Ответ:
100 байт
Сообщение занимает 3
страницы по 25 строк. В каждой строке
записано по 60 символов. Сколько символов в
использованном алфавите, если все сообщение
содержит 1125 байтов?
Дано:
Решение:
V
=
2250
байта
К =
3*25*60
= 4500
символов
в тексте
K = 3 x
25 x 60
V = K *
i;
i = V /
K;
i
=
2250
* 8 /
4500 =
4
бита
Найти:
N = 2i;
N = 24;
N =
16
символов
N
- ?
Ответ:
16
символов
Содержательный подход к измерению
информации
Для человека информация — это знания
человека.
Получение новой информации приводит к расширению
знаний. Если некоторое сообщение приводит к
уменьшению неопределенности нашего знания, то можно
говорить, что такое сообщение содержит информацию.
Сообщение информативно (т.е. содержит ненулевую
информацию), если оно пополняет знания человека.
Например, прогноз погоды на завтра — информативное
сообщение, а сообщение о вчерашней погоде
неинформативно, т.к. нам это уже известно.
Информативность одного и того же сообщения может быть
разной для разных людей. Например: «2x2=4» информативно для
первоклассника, изучающего таблицу умножения, и
неинформативно для старшеклассника.
Количество информации - мера
уменьшения неопределенности знания при
получении информационных сообщений.
Сообщение несет
информацию для человека, если содержащиеся в
нем сведения являются для него новыми и
понятными.
Для количественного
выражения количества информации необходимо
ввести единицу измерения:
Бит - количество информации, которое
содержится в информационном сообщении,
уменьшающем неопределенность знания в
два раза.
Поэтому, сообщение о получении зачета
несет 1 бит информации (одно из двух
возможных сообщений "зачет" или
"незачет").
Количество информации, содержащееся в
сообщении о том, что произошло одно из N
равновероятных событий, определяется из
решения уравнения Формулы Хартли:
N = 2i
где N -
количество возможных информационных
сообщений,
I - количество информации,
которое несет одно полученное сообщение.
Например, сообщение об
отметке за экзамен (из 4 возможных вариантов
- "5", "4", "3" или "2") уменьшает
неопределенность в 4 раза, поэтому узнав о
полученной отметке, мы получили 2 бита
информации.
Т.о., чем более
неопределенна первоначальная ситуация, тем
больше информации мы получим при получении
информационного сообщения.
Задания:
Если известно, что узнав
номер квартиры в которой живет человек, вы
получили 6 бит информации, то можно
определить, что в доме 64 квартиры (26
= 64).
Сообщение о том в каком ряду
и на каком месте находится зритель в театре,
если всего 8 рядов по 16 мест, несет 7 бит
информации (8*16=128=27, I = 7
бит).
В школьной библиотеке 16
стеллажей с книгами. На каждом стеллаже 8
полок. Библиотекарь сообщил Пете, что нужная
ему книга находится на пятом стеллаже на
третьей сверху полке. Какое количество
информации библиотекарь передал Пете?
Решение: Поскольку книга
равновероятно может оказаться на любой
из полок, то количество информации
определяется по формуле: 2I=N,
где I – количество информации,
N=16*8=128 – количество полок. Отсюда: 2I=128,
I=7 бит.
Алфавит - все множество используемых
в языке символов.
