Стандарты подготовки бакалавров образования по профилю “информатика” [2] и учителей информатики [1] требуют овладения будущими учителями понятием энтропии как меры неопределенности случайной величины. Именно это понятие является базовым для выполнения и других требований стандартов. Исходя из того, что информатика как наука декларирует изучение всех аспектов информационных взаимодействий, измерение информации и определение информационной нагрузки различных ситуаций (опытов) входит в круг решаемых ею задач. Хотя существует объемный подход к измерению информации, применяемый в технических системах, энтропийный подход дает более интересную и значимую характеристику информационных потоков.

Введение понятия энтропии основывается на использовании вероятностной меры различных опытов. Для получения формулы информационной энтропии можно использовать следующий прием. Пусть имеется последовательность из N событий (например, текст из N букв), каждое из которых принимает одно из M состояний (M ¾ количество букв в алфавите). Тогда . Вероятность проявления данного состояния находим для достаточно длинной цепочки событий как , i=1, ¼ , M. Общее число различных последовательностей из N букв M-буквенного алфавита . Формально появление каждой из R последовательностей равновероятно, поэтому для определения количества информации в такой цепочке событий используем формулу Хартли для равновероятных исходов (1). Для нашего случая все N и все N_i достаточно велики, так как только тогда все p_i как вероятности имеют смысл. Поэтому применим преобразование Стирлинга аналогично тому, как это делается в статистической физике. Используя все указанные посылки и приведя логарифм (1) к натуральному основанию, получим формулу Шеннона ¾ информационную энтропию в расчете на каждое из M возможных состояний.

В дальнейшем понятие энтропии можно применить для решения задач по вычислению неопределенности (а значит и информационной нагрузки) различных опытов. Если полученная информация полностью снимает неопределенность опыта, то ее количество считается равным энтропии данного опыта. Следовательно, использование понятия энтропии может служить для определения ценности различных прогнозов. И еще более интересно и полезно использование понятия энтропии (с практической точки зрения) для установления критерия оценки эффективности реального кода и в качестве инструмента разработки экономных кодов.

Учитывая важность владения будущими учителями информатики понятием энтропии и умения применения его для решения конкретных задач, мы определяем данное понятие как центральное в курсе “Теория информации”, который второй год преподается студентам-информатикам Пермского государственного педагогического университета. Обоснование необходимости такого курса и его программа опубликованы в журнале “ИНФО” №2 за 1999 год [3].

Литература.

1. Государственный образовательный стандарт высшего профессионального образования. Государственные требования к минимуму содержания и уровню подготовки выпускника по специальности "030100 ¾ информатика". М.: 1995.
2. Государственный образовательный стандарт высшего профессионального образования. Требования к обязательному минимуму содержания и уровню подготовки бакалавра по направлению "540100 ¾ естествознание". М.: 1994.
3. Райхерт Т.Н., Хеннер Е.К. Место теории информации в подготовке учителя информатики. // Информатика и образование. 1999. №2.

Сервер поддерживается фирмой НПП "БИТ про" Лучшие программы для образовательного процесса