Что такое избыточность почему она полезна при передачи информации

Избыточность информации Сообщения, энтропия которых максимальна, являются оптимальными с точки зрения символьного количества представляемой информации.

Мерой количественной оценки того, насколько данное реальное сообщение по своей энтропии отличается от соответствующего ему оптимального сообщения, является коэффициент сжатия.

;

где Н(ξ) – энтропия реального сообщения, max H(ξ) – энтропия соответствующего ему оптимального сообщения.

Если оптимальное и неоптимальное сообщение характеризуются одинаково общей энтропией, то

n*H(ξ) = n’*max H(ξ), где n – число элементов неоптимального сообщения, n’ – число элементов оптимального сообщения. Так как средняя на элемент оптимальная энтропия максимальна, то число элементов неоптимального сообщения больше числа элементов соответственного ему оптимального сообщения.

;

таким образом реальные сообщения при одинаковой информативности обладают определенной избыточностью в элементах по сравнению с оптимальными сообщениями.

Мерой количественной оценки избыточности является коэффициент избыточности.

;

смысл: это относительный избыток символов при передачи информации данным источником, которая потребуется по сравнению со случаем использования безызбыточного алфавита. Безызбыточный алфавит (ρ=0) характеризуется равными вероятностями появления символов. Избыточность приводит к повышению времени передачи сообщений, излишней загрузке канала связи. Однако, некоторая избыточность бывает полезной для обеспечения требуемой надежности систем, появления помехоустойчивости передачи сообщений.

Взаимной информацией величин иназывается

Справедливы следующие соотношения:

Если инезависимы, то=0.

При расчетах условной энтропии и взаимной информации удобно пользоваться следующими соотношениями теории вероятностей:

1) теорема умножения вероятностей ;

2) формула полной вероятности

3) формула Байеса

Свойства взаимной информации. Анализируя соот­ношение для взаимной информации можно установить следу­ющие ее свойства (предлагаем провести доказательство само­стоятельно):

, т.е. наблюдая 7], мы получим о £ такое же количество информации, какое получим о г), наблюдая £;

, причем равенство имеет место тогда и только тогда, когда £ и rj статистически независимы;

3) , причем равенство имеет место тогда и только тогда, когда £ и п взаимно однозначны.

Сигнал может быть охарактеризован различными параметрами. Таких параметров, вообще говоря, очень много, но для задач, которые приходится решать на практике, существенно лишь небольшое их число. Например, при выборе прибора для контроля технологического процесса может потребоваться знание дисперсии сигнала; если сигнал используется для управления, существенным является его мощность и так далее. Рассматривают три основных параметра сигнала, существенных для передачи информации по каналу. Первый важный параметр — это время передачи сигнала T_с. Второй характеристикой, которую приходится учитывать, является мощность P_ссигнала, передаваемого по каналу с определенным уровнем помех P_z . Чем больше значение P_с по сравнению с P_z, тем меньше вероятность ошибочного приема. Таким образом, представляет интерес отношение P_с/P_z. Удобно пользоваться логарифмом этого отношения, называемым превышением сигнала над помехой:

Третьим важным параметром является спектр частот F_c. Эти три параметра позволяют представить любой сигнал в трехмерном пространстве с координатами L, T, F в виде параллелепипеда с объемом T_cF_cL_c . Это произведение носит название объема сигнала и обозначается через V_c

Информационный канал можно характеризовать также тремя соответствующими параметрами: временем использования канала Т_к, шириной полосы частот, пропускаемых каналом F_k, и динамическим диапазоном канала D_kхарактеризующим его способность передавать различные уровни сигнала.

Величинаназывается емкостью канала.

Неискаженная передача сигналов возможна только при условии, что сигнал по своему объему «вмещается» в емкость канала.

Следовательно, общее условие согласования сигнала с каналом передачи информации определяется соотношением

Однако соотношение выражает необходимое, но недостаточное условие согласования сигнала с каналом. Достаточным условием является согласование по всем параметрам:

Для информационного канала пользуются понятиями: скорость ввода информации, скорость передачи информации и пропускная способность канала.

Под скоростью ввода информации (потоком информации) V(A) понимают среднее количество информации, вводимое от источника сообщений в информационный канал в единицу времени. Эта характеристика источника сообщений и определяется только статистическими свойствами сообщений.

Скорость передачи информации V(X,Y) – среднее количество информации, передаваемое по каналу в единицу времени. Она зависит от статистических свойств передаваемого сигнала и от свойств канала.

Пропускная способность С – наибольшая теоретически достижимая для данного канала скорость передачи информации. Это характеристика канала и не зависит от статистики сигнала.

С целью наиболее эффективного использования информационного канала необходимо принимать меры к тому, чтобы скорость передачи информации была как можно ближе к пропускной способности канала. Вместе с тем скорость ввода информации не должна превышать пропускную способность канала, иначе не вся информация будет передана по каналу.

Это основное условие динамического согласования источника сообщений и информационного канала.

Одним из основных вопросов в теории передачи информации является определение зависимости скорости передачи информации и пропускной способности от параметров канала и характеристик сигналов и помех. Эти вопросы были впервые глубоко исследованы К. Шенноном.

источник

IT-блог о веб-технологиях, серверах, протоколах, базах данных, СУБД, SQL, компьютерных сетях, языках программирования и создание сайтов.

Проектирование баз данных. Информационная избыточность. Избыточность данных в базе данных. Проблемы возникающие из-за информационной избыточности

Здравствуйте, уважаемые посетители моего скромного блога для начинающих вебразработчиков и web мастеров ZametkiNaPolyah.ru. Продолжаем сегодня рубрику Заметки о MySQL, в которой я успел описать установку MySQL сервера, настройку MySQL сервера и файл my.ini, а также поговорил о видах и типах баз данных. Сегодня я хотел бы поговорить об аномалиях в базе данных и проблеме избыточности данных в базе данных, то есть о избыточности информации.

Как и обещал, эта статья и следующая тоже будут посвящены проектированию баз данных, моделированию баз данных или созданию баз данных, как хотите, так и называйте. Данная публикация посвящена проблемам, которые могут возникнуть при проектирование базы данных, точнее одной из проблем.

Попытаюсь рассказать, как обычно на пальцах, что такое информационная избыточность и избыточность данных в базе данных. Также попытаюсь рассказать о проблемах обработки данных, которые могут возникнуть из-за избыточности информации, затрону тему целостности данных в базе данных. Немного затрону тему нормализации базы данных и нормальных форм, нормальные формы – это тема следующей публикации. Какие нормальные формы бывают и как привести базу данных к нормальной форме. Всё это вы найдете в следующей публикации.

Избавиться от избыточности данных, а следовательно и от аномалий баз данных – это вопрос проектирования баз данных. И решать вопрос устранения избыточности в базе данных следует до того, как вы начали ее реализовывать программно, то есть, до того как начали создавать базу данных в той или иной СУБД, в нашем случае СУБД MySQL.

Чтобы избавиться от информационной избыточности, а вместе с тем решить проблему модификации, удаления и добавления данных вам не потребуется каких-либо специальных программ, достаточно будет представлять структуру проектируемого объекта(заметьте, пока еще не структуру базы данных), иметь под рукой несколько чистых листов бумаги, карандаш или ручку. Но, чтобы начать от чего-то избавляться, нужно знать суть самой проблемы, из-за чего эта проблема возникает и так ли она для вас критична.

Из-за избыточности информации в базе данных возникают не только проблемы модификации, добавления и удаления данных из базы данных, но и остро встает вопрос экономии места на диске, согласитесь глупо хранить одну и ту же информацию в разных местах. Избыточность баз данных тесно связана с нормальными формами. Точнее, информационная избыточность – это отрицательный фактор, влияющий на целостность базы данных, вынуждающий нас приводить свои базы данных к нормальной форме.

Данная публикации как раз и предназначена для тех, кто хочет быстро разобраться с тем, что такое информационная избыточность и избыточность данных в базе данных, а так же тем, кто хочет разобраться с вопросом, как избавиться от избыточности данных.

Начнем мы с информационной избыточности и избыточности реляционных баз данных в частности. Поскольку, эта самая избыточность и заставляет нас нормализовывать базы данных.

Для начала напишу умное определение избыточности, а затем постараюсь объяснить его по-русски.

Информационная избыточность – термин из теории информации, означающий превышение количества информации, используемой для передачи или хранения сообщения, над его информационной энтропией.

Давайте начнем разбираться с определением избыточности и начнем с термина информационная энтропия.

Информационная энтропия – это мера неопределенности информации, неопределенность появления какого-либо символа. Данное определение появилось в теории электросвязи. Для администратора баз данных информационную энтропию следует интерпретировать немного по-другому: информационная энтропия всё также мера неопределенности информации, но, какая информационная неопределенность может возникнуть в базе данных?

Например, у нас есть база данных, в которой хранится библиотека и есть писатель Иванов И.И., сколько книг написал Иванов И.И.? Бог его знает. Может одну, а может и сто. И сколько раз появится этот Иванов И.И. в нашей таблице, мы не знаем. Такая вот неопределенность информации.

Любая база данных предназначена для хранения информации. И при проектирование базы данных следует учесть то, что какая-то информация может повторяться несколько раз. А каждая повторяющаяся запись – это занятое место на диске. То есть превышение количества информации необходимого для хранения данных.

Конечно, можно сказать, что сейчас, с появлением терабайтных накопителей отпала необходимость экономить место на диске. Но информационная избыточность ведет не только к увеличению требуемого объема памяти для хранения информации содержащейся в базе данных.

Избыточность данных в базе данных – это нежелательное явление еще и потому, что при работе с таблицами базы данных (которые еще называют отношениями), содержащими избыточные данные возникают проблемы связанные с обработкой информации, эти проблемы называются аномалии. Про аномалии баз данных читайте в следующем разделе.

Последствия информационной избыточности в базе данных. Избыточность данных. Аномалии (проблемы) в базе данных.

Как мы уже выяснили, избыточность информации ведет не только к тому, что требуется увеличение объема накопителей, но и приводит к аномалиям в базе данных.

Аномалии в базе данных – это проблемы связанные с обработкой информации, а точнее с удаление данных из базы данных, с модификацией данных в таблице базы данных и аномалия добавления данных в базу данных.

Как вы поняли, в базе данных есть три аномалии:

• Аномалия включения – это проблема, связанная с добавлением данных в базу данных
• Аномалия модификации – это проблема, связанная с изменением данных в базе данных
• Аномалия удаления – это проблема, связанная с удаление данных в базе данных

Все эти проблемы связаны с целостностью баз данных, а именно с избыточностью данных в базе данных. Давайте остановимся подробней на каждой аномалии.

Давайте посмотрим на примере приближенном к реальности, что такое избыточность данных. Допустим, у нас есть таблица, в которой хранятся данные список преподавателей и список предметов, которые они ведут. Естественно, в это таблице присутствует информационная избыточность.

Таблица с информационной избыточностью

Избыточность данных в этой таблице заключается в том, что любой преподаватель может вести несколько предметов, как преподаватель Иванов и для каждого нового предмета приходится добавлять новые записи в таблицу.

Один преподаватель может вести разные предметы, а разные предметы могут вести разные преподаватели. Давайте посмотрим, какие аномалии могут произойти в данном конкретном случае и как можно избавиться от аномалий в конкретном случае.

Избыточность данных очевидна, поскольку произошло дублирование информации, преподаватель Иванов ведет два предмета и его пришлось вписать дважды в таблицу. Но это еще не всё. Допустим, в нашей школе появился новый предмет и мы хотим его добавить в существующую таблицу базы данных, но мы еще не нашли преподавателя для этого предмета. А вписать в таблицу предмет нужно уже сейчас.

В этом случае мы должны присвоить значение NULL каждому атрибуту преподавателя, но делать это никак нельзя, так как атрибут «Код преподавателя» является первичным ключом отношения (первичным ключом таблицы). Результатом попытки создания такой записи будет нарушение целостности данных базы данных, а любая СУБД, в том числе и СУБД MySQL отклонит подобную попытку создания такой записи.

Все вышеописанное является аномалией включения. Чтобы избавиться от аномалии включения нужно разбить таблицу на две: таблица преподавателей и таблица предметов. Примерно это будет выглядеть так:

Избавляемся от избыточности данных в базе данных.

Здесь мы разделили общую таблицу, тем самым избавились от аномалии включения и от возникшей информационной избыточности, то есть от дублирования в базе данных. В принципе то, что мы сделали в данный момент – привели базу данных ко второй нормальной форме.

Вторая нормальная форма позволяет нам избавиться от аномалии включения, а также от дублирования информации в базе данных, то есть мы избавляемся от избыточности информации.

Следующая проблема, которая может возникнуть из-за избыточности базы данных – это проблема внесения изменений в таблицы базы данных или как ее еще называют – аномалия модификации.

В нашем примере проблема модификации могла бы возникнуть при попытке изменения фамилий преподавателей, например, если бы в этом списке была незамужняя женщина с фамилией Сидорова, то возможно, когда-нибудь она вышла бы замуж и поменяла фамилию, а оператору пришлось бы для каждой записи, в которой имелась фамилия Сидорова заменить на новую фамилию. Это довольно нудная работа. Каждая такая запись или строка таблицы базы данных называется кортежем.

Чтобы избавиться от аномалии модификаций и все связанные с ней проблемы мы можем прибегнуть к предыдущему способу, просто разбиваем одну большую таблицу на две маленьких. То есть, приводим базу данных ко второй нормальной форме или просто нормализуем.

И опять же, таким образом мы избавляемся от дублирования данных в базе данных. Все довольно просто.

Проблема удаления данных из базы данных – это еще одна проблема, которая появляется, если данные в базе избыточны ее еще называют аномалия удаления. Проблема удаления данных из базы данных заключается в том, что при удаление одной записи или кортежа из таблицы, относящейся к какому-либо из преподавателю, вместе с записью о преподавателе, из базы данных удалится вся информация о предмете, который вел этот преподаватель.

Решается проблема удаления данных из базы данных очень просто, нормализуем базу данных до второй нормальной формы, то есть разделяем таблицу на две, как это показано в разделе посвященном аномалии включения.

Обратите внимание: типы данных у различных СУБД могут быть разными, у MySQL типы данных одни, у какой-либо другой СУБД могут быть другие типы данных, как и у языков программирования. У JavaScript типы данных одни, а у PHP типы данных другие.

источник

Передача информации происходит от источника к получателю (приемнику) информации. Источником информации может быть все, что угодно: любой объект или явление живой или неживой природы. Процесс передачи информации протекает в некоторой материальной среде, разделяющей источника и получателя информации, которая называется каналом передачи информации. Информация передается через канал в форме некоторой последовательности сигналов, символов, знаков, которые называются сообщением. Получатель информации — это объект, принимающий сообщение, в результате чего происходят определенные изменения его состояния. Все сказанное выше схематически изображено на рисунке.

Человек получает информацию от всего, что его окружает, посредством органов чувств: слуха, зрения, обоняния, осязания, вкуса. Наибольший объем информации человек получает через слух и зрение. На слух воспринимаются звуковые сообщения — акустические сигналы в сплошной среде (чаще всего — в воздухе). Зрение воспринимает световые сигналы, переносящие изображение объектов.

Не всякое сообщение информативно для человека. Например, сообщение на непонятном языке хотя и передается человеку, но не содержит для него информации и не может вызвать адекватных изменений его состояния.

Информационный канал может иметь либо естественную природу (атмосферный воздух, через который переносятся звуковые волны, солнечный свет, отраженный от наблюдаемых объектов), либо быть искусственно созданным. В последнем случае речь идет о технических средствах связи.

Первым техническим средством передачи информации на расстояние стал телеграф, изобретенный в 1837 году американцем Сэмюэлем Морзе. В 1876 году американец А.Белл изобретает телефон. На основании открытия немецким физиком Генрихом Герцем электромагнитных волн (1886 г.), А.С. Поповым в России в 1895 году и почти одновременно с ним в 1896 году Г.Маркони в Италии, было изобретено радио. Телевидение и Интернет появились в ХХ веке.

Все перечисленные технические способы информационной связи основаны на передаче на расстояние физического (электрического или электромагнитного) сигнала и подчиняются некоторым общим законам. Исследованием этих законов занимается теория связи, возникшая в 1920-х годах. Математический аппарат теории связи — математическую теорию связи, разработал американский ученый Клод Шеннон.

Клод Элвуд Шеннон (1916–2001), США

Клодом Шенноном была предложена модель процесса передачи информации по техническим каналам связи, представленная схемой.

Техническая система передачи информации

Под кодированием здесь понимается любое преобразование информации, идущей от источника, в форму, пригодную для ее передачи по каналу связи. Декодирование — обратное преобразование сигнальной последовательности.

Работу такой схемы можно пояснить на знакомом всем процессе разговора по телефону. Источником информации является говорящий человек. Кодирующим устройством — микрофон телефонной трубки, с помощью которого звуковые волны (речь) преобразуются в электрические сигналы. Каналом связи является телефонная сеть (провода, коммутаторы телефонных узлов, через которые проходит сигнал). Декодирующим устройством является телефонная трубка (наушник) слушающего человека — приемника информации. Здесь пришедший электрический сигнал превращается в звук.

Современные компьютерные системы передачи информации — компьютерные сети, работают по тому же принципу. Есть процесс кодирования, преобразующий двоичный компьютерный код в физический сигнал того типа, который передается по каналу связи. Декодирование заключается в обратном преобразовании передаваемого сигнала в компьютерный код. Например, при использовании телефонных линий в компьютерных сетях функции кодирования-декодирования выполняет прибор, который называется модемом.

Разработчикам технических систем передачи информации приходится решать две взаимосвязанные задачи: как обеспечить наибольшую скорость передачи информации и как уменьшить потери информации при передаче. Клод Шеннон был первым ученым, взявшимся за решение этих задач и создавшим новую для того времени науку — теорию информации.

К.Шеннон определил способ измерения количества информации, передаваемой по каналам связи. Им было введено понятие пропускной способности канала, как максимально возможной скорости передачи информации. Эта скорость измеряется в битах в секунду (а также килобитах в секунду, мегабитах в секунду).

Пропускная способность канала связи зависит от его технической реализации. Например, в компьютерных сетях используются следующие средства связи:

— электрическая кабельная связь,

— оптоволоконная кабельная связь,

Пропускная способность телефонных линий — десятки, сотни Кбит/с; пропускная способность оптоволоконных линий и линий радиосвязи измеряется десятками и сотнями Мбит/с.

Шум, защита от шума

Термином “шум” называют разного рода помехи, искажающие передаваемый сигнал и приводящие к потере информации. Такие помехи прежде всего возникают по техническим причинам: плохое качество линий связи, незащищенность друг от друга различных потоков информации, передаваемых по одним и тем же каналам. Иногда, беседуя по телефону, мы слышим шум, треск, мешающие понять собеседника, или на наш разговор накладывается разговор совсем других людей.

Наличие шума приводит к потере передаваемой информации. В таких случаях необходима защита от шума.

В первую очередь применяются технические способы защиты каналов связи от воздействия шумов. Например, использование экранированного кабеля вместо “голого” провода; применение разного рода фильтров, отделяющих полезный сигнал от шума, и пр.

Клодом Шенноном была разработана теория кодирования, дающая методы борьбы с шумом. Одна из важных идей этой теории состоит в том, что передаваемый по линии связи код должен быть избыточным. За счет этого потеря какой-то части информации при передаче может быть компенсирована. Например, если при разговоре по телефону вас плохо слышно, то, повторяя каждое слово дважды, вы имеете больше шансов на то, что собеседник поймет вас правильно.

Однако нельзя делать избыточность слишком большой. Это приведет к задержкам и удорожанию связи. Теория кодирования позволяет получить такой код, который будет оптимальным. При этом избыточность передаваемой информации будет минимально возможной, а достоверность принятой информации — максимальной.

В современных системах цифровой связи для борьбы с потерей информации при передаче часто применяется следующий прием. Все сообщение разбивается на порции — пакеты. Для каждого пакета вычисляется контрольная сумма (сумма двоичных цифр), которая передается вместе с данным пакетом. В месте приема заново вычисляется контрольная сумма принятого пакета и, если она не совпадает с первоначальной суммой, передача данного пакета повторяется. Так будет происходить до тех пор, пока исходная и конечная контрольные суммы не совпадут.

Рассматривая передачу информации в пропедевтическом и базовом курсах информатики, прежде всего следует обсудить эту тему с позиции человека как получателя информации. Способность к получению информации из окружающего мира — важнейшее условие существования человека. Органы чувств человека — это информационные каналы человеческого организма, осуществляющее связь человека с внешней средой. По этому признаку информацию делят на зрительную, звуковую, обонятельную, тактильную, вкусовую. Обоснование того факта, что вкус, обоняние и осязание несут человеку информацию, заключается в следующем: мы помним запахи знакомых объектов, вкус знакомой пищи, на ощупь узнаем знакомые предметы. А содержимое нашей памяти — это сохраненная информация.

Следует рассказать ученикам, что в мире животных информационная роль органов чувств отличается от человеческой. Важную информационную функцию для животных выполняет обоняние. Обостренное обоняние служебных собак используется правоохранительными органами для поиска преступников, обнаружения наркотиков и пр. Зрительное и звуковое восприятие животных отличается от человеческого. Например, известно, что летучие мыши слышат ультразвук, а кошки видят в темноте (с точки зрения человека).

В рамках данной темы ученики должны уметь приводить конкретные примеры процесса передачи информации, определять для этих примеров источник, приемник информации, используемые каналы передачи информации.

При изучении информатики в старших классах следует познакомить учеников с основными положениями технической теории связи: понятия кодирование, декодирование, скорость передачи информации, пропускная способность канала, шум, защита от шума. Эти вопросы могут быть рассмотрены в рамках темы “Технические средства компьютерных сетей”.

источник

Тема: «Избыточность информации, как средство повышения надежности её передачи»

Цели: Дать понятие «избыточность», рассмотреть виды избыточности.

Развивать логико-алгоритмическое мышление, память, произвольное мышление, связную устную речь.

Воспитывать информационную культуру , интерес к изучаемому предмету.

Тип урока: комбинированный.

Форма: индивидуальная, фронтальная.

Образовательные ресурсы: ПОЭВМ, наглядный материал (презентация), дидактический материал (карточки с заданием для организации опроса).

УУД: личностные, регулятивные, познавательные, коммуникативные.

Планируемые образовательные ресурсы:

— предметные- формирование информационной и алгоритмической культуры; формирование представлений об основных изучаемых понятиях – «избыточность» и её виды, «функциональная избыточность», «структурная избыточность», «временная избыточность», информационная избыточность», «избыточность сообщения».

-метапредметные- развивать познавательный интерес, речь и внимание обучающихся, формировать у них информационную культуру и потребность в приобретении знаний; расширение кругозора; развитие коммуникативных качеств личности; развитие навыков самообразования с использованием информационных и коммуникационных технологий;

-личностные- способность увязать учебное содержание с собственным жизненным опытом; п онять значимость подготовки в области информатики в условиях развития информационного общества; способность и готовность к общению и сотрудничеству со сверстниками и взрослыми в процессе образовательной деятельности.

I . Мотивационно-ориентировочный этап.

— Здравствуйте! Присаживайтесь (пауза, жду, когда все сядут и установится тишина).

— Сегодня урок информатики проведу у вас я, меня зовут……..

— На столе у вас должны лежать тетради, письменные принадлежности. Всё лишнее уберите. Начинаем урок!

3. Индивидуальная работа по карточкам.

Тест по прошлому материалу на тему: «Информационные процессы»

1. Каналы связи делятся на: ___________ ____________.

а) совокупность устройств, обеспечивающих прием информации при ее передаче;

б) совокупность устройств, преобразующих исходное сообщение источника информации к виду, в котором это сообщение передается;

в) устройство кодирования и декодирования информации при передаче сообщений;

г) технические средства, позволяющие осуществлять передачу данных на расстоянии.

3. Расследование преступления представляет собой информационный процесс:

а) кодирования информации; б) поиска информации; в) хранения информации; г) передачи информации.

4. Пропускная способность – это …

а) объем данных, передаваемых модемом в единицу времени, без учета дополнительной служебной информации;

б) совокупность устройств, преобразующих исходное сообщение источника информации к виду, в котором это сообщение передается;

в) распространение новой информации, полученной в процессе научного познания.

5. Дуплексной передачи связи называется?

а) осуществляется передача сигналов в одной паре проводников в одном направлении;

б) осуществляется передача сигналов в одном направлении в четырехпроводной линии связи;

в) одновременной передачи сигналов между абонентами в обоих направлениях, т.е. канал связи должен быть двустороннего действия.

6. При телефонном разговоре в качестве источника информации следует рассматривать:

а) человека слушающего; б) телефонную трубку; в) человека говорящего; г) телефонную сеть;

7. Хранение информации невозможно без:

а) компьютера; б) носителя информации; в) библиотек, архивов; г) линий связи.

1. Место соприкосновения проводников между собой.

2. Проводник, который служит для передачи электрического тока в земле, воде и воздухе.

3. Служит жестким неизолированным проводником.

список абонентов компьютерной сети;

программа, приводящая полученное сообщение к стандартной форме;

полный набор операций, который один объект может осуществлять над другим объектом вместе с правильным порядком, в котором эти операции вызываются .

1. Перевод текста с английского языка на русский является процессом:

а) хранения информации; б) передачи информации; в) поиска информации; г) обработки информации.

2. Браузер – это … 1)техническое устройство; 2)программа создания web – страниц; 3)программа просмотра web – страниц.

3. Какой из следующих сигналов является аналоговым:

а) сигнал маяка; б) сигнал S0S; в) кардиограмма; г) дорожный знак; д) сигнал светофора.

4. Внутреннее представление информации в компьютере:

а) непрерывно; б) дискретно; в) частично дискретно, частично непрерывно;

г) нельзя описать с использованием терминов «дискретно», «непрерывно».

5. Какая система исчисления используется для передачи цифровых сигналов?

а) Восьмеричная; б) Двоичная; в) Шестнадцатеричная.

6. Записная книжка обычно используется:

а) при обработке информации; б) для хранения информации; в) для передачи информации; г) для защиты информации.

а) любой материальный предмет; б) радиоволна; в) изменение некоторой физической величины во времени, обеспечивающее передачу сообщения; г) вещество в различном состоянии; д) физический процесс.

а) сигнал, непрерывно изменяющийся по амплитуде и по времени;

б) сигнал, который может принимать лишь конечное число значений в конечное число моментов времени; в) сигнал, несущий текстовую информацию;

г) любой процесс, несущий информацию.

9 . Какой кабель обеспечивает скоростью передачи данных до 10 Мбит/с?
1) коаксиальный; 2) витая пара; 3) оптоволокно.

4. Фронтальный устный опрос.

— Что называют каналами связи? (технические средства, позволяющие осуществлять передачу данных на расстоянии).

— Какие классификации компьютерных каналов связи вы знаете?

( по способу кодирования: цифровые и аналоговые;

по способу коммуникации: выделенные и коммутируемые;

по способу передачи сигнала: 1.Кабельные: витая пара, коаксиальные кабели, оптико-волоконные кабели; оптические, беспроводные, спутниковые. 2.Телефонные; 3.Радио: радиорелейные, спутниковые).

-Что такое протокол? (полный набор операций, который один объект может осуществлять над другим объектом вместе с правильным порядком).

— Итак, материал прошлого урока вы усвоили хорошо. Молодцы!

1. Формулирование темы и цели урока обучающимися.

— Прочитайте тему урока. Как вы думаете, о чём пойдёт речь на нашем уроке?

— Поставьте перед собой цель на данный урок.

— Сегодня на уроке мы рассмотрим такие понятия как «избыточность» и её виды, «функциональная избыточность», «структурная избыточность», «временная избыточность», информационная избыточность», «избыточность сообщения».

2. Изучение нового материала.

— Откройте тетради и подпишите число и тему урока.

Тема «Избыточность информации, как средство повышения надежности её передачи»

Избыточность – это превышение количества информации , используемой для передачи или хранения сообщения.

Функциональная избыточность – это меры обеспечивающие сохранение работоспособности системы при выходе некоторых параметров за пределы допусков. К числу таких средств относятся адаптация системы за счёт введения дополнительных обратных связей.

Структурная избыточность заключается в дублировании систем, элементов, деталей машин, живых организмов.

Временная избыточность – увеличение надёжности за счёт увеличения времени работы с информацией.

Информационная избыточность заключается в использовании слов, кодов, которые содержат как бы «излишние» элементы, что обеспечивает надёжность передачи сообщений.

Постановка задачи обеспечения надежности передачи

Все реальные каналы связи подвержены воздействию помех.

К. Шеннон доказал теоретическую возможность передачи сообщения без потерь информации по реальным каналам, если обеспечить выполнение ряда условий.

Задача была сформулирована в виде теоремы, которая затем получила строгое математическое доказательство. Ранее была представлена первая теорема Шеннона, касающаяся кодирования информации при передаче по идеальному каналу связи. Критерием оптимальности кодирования служила избыточность кода.

Вторая теорема Шеннона касается реальных каналов связи и гласит:

При передаче информации по каналу с шумом всегда существует способ кодирования, при котором сообщение будет передаваться со сколь угодно высокой достоверностью, если скорость передачи не превышает пропускной способности канала.

Последняя часть определения, относится и к идеальному каналу – в любом случае, если скорость передачи превышает пропускную способность канала, происходит потеря информации.

Смысл данной теоремы в том, что при передаче по реальным каналам можно закодировать сообщение таким образом, что действие шумов не приведет к потере информации. Это достигается за счет повышения избыточности кода, то есть за счет увеличения длины кодовой цепочки. Безусловно, при этом возрастает время передачи, что следует считать платой за надежность. При этом в теореме и в ее доказательстве не указывается, каким образом следует осуществлять такое кодирование. Вторая теорема Шеннона лишь утверждает, что существует принципиальная возможность такого кодирования, причем поиск необходимого кода – это отдельная задача.

Рассмотрим некоторые методы повышения надежности передачи данных. Широко известными методами борьбы с помехами являются следующие:

Рассмотрим подробней каждый из этих способов.

1. Передача в контексте. С этим хорошо известным и общепринятым способом сталкивался каждый, кто, пытаясь передать по телефону с плохой слышимостью чью-либо фамилию, называл вместо букв, ее составляющих, какие-нибудь имена, первые буквы которых составляют данную фамилию. В данном случае правильному восстановлению искаженного сообщения помогает знание его смыслового содержания.

2. Дублирование сообщений. Этот способ тоже широко применяется в житейской практике, когда для того, чтобы быть правильно понятым, нужное сообщение повторяют несколько раз.

3. Передача с переспросом. В случае, когда получатель имеет связь с источником сообщений , для надежной расшифровки сообщений пользуются переспросом, т. е. просят повторить все переданное сообщение или часть его.

Общим во всех этих способах повышения надежности является введение избыточности, то есть увеличение тем или иным способом объема передаваемого сообщения для возможности его правильной расшифровки при наличии искажений.

Следует отметить, что введение избыточности уменьшает скорость передачи информации, так как только часть передаваемого сообщения представляет интерес для получателя, а избыточная его доля введена для предохранения от шума и не несет в себе полезной информации.

Естественно выбирать такие формы введения избыточности, которые позволяют при минимальном увеличении объема сообщения обеспечивать максимальную помехоустойчивость.

— Какие бывают виды избыточности?

— Что такое избыточность сообщения?

III . Рефлексивно-оценочный этап.

-Давайте подведём итоги урока.

— Вам было легко работать на уроке?

— Как бы вы оценили свою работу?

— Что вы узнали сегодня нового?

— Запишите домашнее задание: выучить лекцию в тетради.

источник

Рассмотрим источник информации, который выдает последовательность независимых дискретных сообщений x_i. Каждое сообщение случайным образом выбирается из алфавита источника X = x₁…x_n (n – размер алфавита источника). Такой источник информации называется источником без памяти с конечным дискретным алфавитом, а сообщения, вырабатываемые им, называются простыми. В дальнейшем, для упрощения расчетов, будем работать именно с такими источниками.

Количество информации, содержащейся в одном элементарном сообщении источника (см. формулу 7) еще никак его не характеризует, так как одни элементарные сообщения могут нести в себе много информации, но при этом передаваться редко, а другие сообщения могут нести мало информации, но передаваться часто. Поэтому источник может быть охарактеризован средним количеством информации, приходящимся на одно элементарное сообщение – энтропия источника [1, 6, 7]:

где X – алфавит сообщений источника информации; n – размер алфавита источника.

Энтропия обладает рядом свойств:

1. Во-первых, Н(Х) ≥ 0. Положительность Н(Х) видна из (8), так как вероятности положительны и заключены между нулем и единицей, логарифмы таких чисел отрицательны, а равенство нулю возможно только для такого случая, когда вероятность появления одного из сообщений источника равна единицы, а для остальных равна нулю.

2. Во-вторых, при заданном размере алфавита источника n энтропия максимальна и равна Н(Х) = log₂n, когда вероятности появления сообщений источника равны, т.е. сообщения равновероятны.

3. В-третьих, энтропия обладает свойством аддитивности:

где Н(Х) – энтропия первого источника информации; Н(Y) – энтропия второго источника информации.

Пример 2.Представим источник сообщений в виде корзины, в которой находятся шары трех цветов: красный, зеленый и синий. Данные шары (сообщения) определяют размер алфавита источника.

Рассчитаем энтропию источника сообщений если:

1) красных шаров – 7 шт., зеленых шаров – 5 шт., синих шаров – 2 шт.

2) красных, зеленых и синих шаров – 2 шт.

Решение:В корзине находятся шары трех цветов, следовательно, размер алфавита источника n = 3.

1) Вероятность появления красного шара р₁ = ; зеленого шара р₂ = ; синего шара р₁ = ;

Рассчитаем энтропию источника:

2) Вероятность появления красного шара р₁ = ; зеленого шара р₂ = ; синего шара р₁ = ;

Рассчитаем энтропию источника:

Как видно из вышеизложенного, энтропия определяет среднее число двоичных знаков, необходимых для кодирования исходных символов источника информации. Она максимальна, когда символы вырабатываются источником с равной вероятностью. Если же некоторые символы появляются чаще других, энтропия уменьшается. Чем меньше энтропия источника отличается от максимальной, тем рациональнее он работает, тем большее количество информации несут его символы.

Для сравнения источников по их информативности вводится параметр, называемый избыточностью и равный [1, 6, 7]:

где Н_max(Х) – максимальная энтропия источника.

Источник, избыточность которого R = 0, называют оптимальным. Все реальные источники имеют избыточность R ≠ 0.

Предположим, что мы получили одинаковое количество информации I от реального и оптимального источников. Тогда число символов k, затраченных на передачу этого количества информации реальным источником, будет больше числа символов k_min затраченных оптимальным источником. Зная число символов k и k_min можно также рассчитать избыточность:

Избыточность увеличивает время передачи информации, поэтому она нежелательна. Однако, при передаче сообщений, при наличии помех в канале связи, избыточность используется для увеличения помехозащищенности передаваемых сообщений (помехоустойчивое кодирование).

Пример 3.Пусть источник информации передает русский текст. Если не различать буквы «е» и «ё», а также мягкий и твердый знаки, то в русском алфавите 31 буква; добавим пробел между словами и получим 32 символа.

Покажем, что пятиразрядный двоичный код (код Боде) не является оптимальным для передачи русского текста.

Решение:В данном коде на представление каждой буквы тратятся пять элементарных символов. Максимальная энтропия источника, использующего для передачи русского алфавита пятизначный код Боде равна Н_mах(X) = log₂32 = 5 (бит). В данном случае считается, что все буквы русского алфавита имеют одинаковую вероятность и статически независимы.

С учётом различной вероятности появления букв в тексте энтропия равна:

С учётом корреляции между двумя и тремя соседними буквами энтропия равна:

4. С учётом корреляции между восемью и более символами энтропия равна:

Далее всё остаётся без изменений.

Рассчитаем избыточность представленного источника информации при кодировании символов пятиразрядным двоичным кодом Боде:

Таким образом, можно сделать вывод, что каждые 6 букв из десяти являются избыточными и могут просто не передаваться, т.е. избыточность русского текста составляет 60 %.

Такой же и более высокой избыточностью обладают и другие источники информации – речь, музыка, ТВ изображения и т.д.

Зная энтропию Н(X) и время , которое занимает в среднем каждое элементарное сообщение, можно рассчитать одну из важнейших характеристик источника – производительность (среднее количество информации в единицу времени) [1, 6, 7]:

Время рассчитывается следующим образом:

где — длительность i-го сообщения; p(x_i) – вероятность появления i-го сообщения.

Дата добавления: 2015-07-02 ; Просмотров: 3866 ; Нарушение авторских прав? ;

Нам важно ваше мнение! Был ли полезен опубликованный материал? Да | Нет

источник

Для хранения информации человек, прежде всего, использует свою память. Мозг – это одно из самых совершенных хранилищ информации, во многом превосходящее компьютерные средства.

К сожалению, человек многое забывает. Кроме того, необходимо передавать знания другим людям, в том числе и следующим поколениям. Поэтому в древности люди записывали информацию на камне, папирусе, бересте, пергаменте, затем – на бумаге. В XX веке появились новые средства хранения информации: перфокарты и перфоленты, магнитные ленты и магнитные диски, лазерные диски, флэш-память.

В любом случае информация хранится на каком-то носителе, который обладает «памятью», то есть может находиться в разных состояниях. Носитель переходит из одного состояния в другое при каком-то внешнем воздействии, а без воздействий сохраняет свое состояние.

При записи информации свойства носителя меняются: на бумагу наносятся текст и рисунки; на магнитных дисках и лентах намагничиваются отдельные участки; на лазерных дисках образуются области, по-разному отражающие свет. Таким образом, для хранения информация тоже кодируется.

При хранении свойства носителя остаются неизменными, что позволяет потом читать записанную информацию. Отметим, что процессы записи и чтения – это процессы передачи информации.

1. Кто (что) может быть источником (приемником) информации? Приведите примеры.

2. Что такое сигнал? Приведите примеры сигналов.

3. Что такое сообщение? Чем отличается получение информации от получения сообщения?

4. Приведите примеры, когда прием сообщения не означает прием информации.

5. Приведите примеры, когда одна и та же информация может быть передана с помощью разных сообщений.

6. Приведите примеры, когда одно и то же сообщение несет разную информацию для разных людей.

7. Расскажите, как помехи влияют на передачу информации. Приведите примеры.

8. Что такое избыточность? Почему она полезна при передаче информации?

9. Представьте, что придумали язык, в котором нет избыточности. В чем будет его недостаток?

10. Как вы думаете, какой вариант русского языка обладает наибольшей избыточностью: разговорный, литературный, юридический, язык авиадиспетчеров? Почему?

11. Какие виды обработки информации вы знаете?

12. При каких видах обработки информации меняется ее содержание?

13. При каких видах обработки информации меняется только форма ее представления?

14. К какому виду обработки можно отнести шифрование? Почему?

15. Работники удаленной метеостанции каждый 3 часа измеряют температуру и влажность воздуха, и передают данные по рации в районный метеоцентр. Там эти данные сводят в таблицу и отправляют по электронной почте в Гидрометцентр, где мощные компьютеры составляют прогноз погоды. Выделите здесь процессы, связанные с обработкой, передачей и приемом информации.

16. Вася нашел в старой книге сведения о населении Москвы в XIX веке, составил таблицу по этим данным, построил диаграмму и сделал доклад на школьной конференции. Выделите здесь процессы, связанные с обработкой и передачей информации.

17. Зачем человек записывает информацию?

18. В чем преимущества и недостатки человеческой памяти в сравнении с компьютерной?

19. В каких задачах компьютер не может соревноваться с человеком? Почему? В каких ситуациях человек явно уступает компьютеру?

20. Какие средства хранения информации используются в компьютерной технике? Какие из них уже вышли или выходят из употребления? Почему?

источник

Из энтропийных оценок источников сообщений, ясно, что она зависит от статических характеристик самих сообщений. Энтропия максимальна при равномерном появлении букв на любом месте сообщения. Для характеристики источника сообщений с различным алфавитом представляет интерес сравнение фактической энтропии источника с максимально возможной. В этом смысле введено понятие избыточности источника сообщений или избыточности алфавита.

M – количество различных букв в алфавите;

H(X) – средняя энтропия на одну букву.

Избыточность источника R показывает на сколько хорошо используются буквы в данном источнике. Чем меньше R, тем большее количество информации вырабатывается источником на одну букву. Однако, не всегда необходимо стремиться к R = 0. С повышением избыточности повышается помехоустойчивость (надежность) источника. Выяснение количества избыточности важно потому, что мы должны вводить ее разумно, чтобы получить максимальный эффект помехозащищенности, а не полагаться на стихию. Например, избыточность любого языка оказывается порядка 50-70%, то есть если бы все буквы имели одинаковую вероятность использования и можно было бы использовать любые комбинации букв, то среднюю длину слова можно было бы значительно уменьшить. Однако разбираться в этой записи было бы значительно труднее, особенно при наличии ошибок (лектора или студента).

Современные системы связи построены без учета ограничений, существующих в языке, а поэтому не достаточно эффективны, так как они приспособлены для передачи равновероятных букв алфавита, которые могут следовать друг за другом в любых комбинациях.

Колоссальная избыточность присуща телевизионным изображениям: естественно передавать не весь кадр, а только информацию соответствующую тому, чем отличается один кадр от другого. Этим можно существенно сократить требуемую (в среднем) полосу частот.

Различают две составляющие избыточности:

• избыточность, обусловленная статистической взаимосвязью букв между собой:

где H(X) – энтропия для букв, когда они неравновероятны и взаимосвязаны;

H₁(X) – энтропия для букв, когда они статистически не взаимосвязаны и неравновероятны.

• избыточность, обусловленная распределением вероятностей между буквами алфавита:

Но статистические связи между элементами укрупненного алфавита падают R_с ≈ 0; следовательно возрастает неравномерность употребления отдельных букв алфавита M₂, то есть R_р2 >> R_р1; R_р2 ≈ R₁ ≈ R₂.

Доказательство, что R₁ ≈ R₂ сводится к следующему:

Из свойства аддитивности информации следует, что в одном элементе второго алфавита содержится столько же информации, сколько ее содержится в n элементах первичного алфавита. Среднее количество информации на один элемент первого алфавита – H₁; математическое ожидание на n элементов первого алфавита – n · H₁ равно информации на один элемент второго алфавита H₂(X) = n · H₁.

2. Избыточность второго алфавита

Избыточность языка подсчитывается по формуле:

где H_max = log M, а M – число букв в алфавите.

а 0; 1; 2… – количество букв между которыми учитываются взаимосвязи.

1. Во сколько раз больше содержится информации на странице текста для иностранца, начавшего изучать новый для себя язык (например, русский) и для носителя языка?

Ответ. Для носителя языка среднее количество информации на одну букву определяется как H_языка ≈ H₃₀ = 1.35 бит ⁄_буква, а для иностранца, плохо знающего словарь и не учитывающему взаимосвязь букв между собой H = H или H₁, что соответствует

бит ⁄_буква.

То есть на странице текста для носителя языка содержится информации в

раза меньше информации, чем для иностранца. http://peredacha-informacii.ru/ Частичное знание словаря и закономерностей языка уменьшает эту разницу.

2. Во сколько раз удлиняется текст в деловых бумагах, если их избыточность составляет 90÷95%?

Ответ. При такой избыточности энтропия на одну букву составляет:

;
;

В то время как в письменной речи: H_∞(X) = 0.87÷1.37 бит ⁄_буква.

Текст удлиняется в раз.

источник

Это свойство, полезность которого мы ощущаем очень часто. Нередко избыточность информации человек чисто психологически воспринимает как ее качество, потому что она позволяет ему меньше напрягать свое внимание и меньше утомляться.

Обычный текст, напечатанный на русском языке, имеет избыточность порядка 20-25%. Попробуйте отбросить каждую пятую букву, и вы увидите, что получить информацию из печатного текста все же можно, хотя читать его будет очень утомительно. Нам нередко приходится иметь дело с небрежным рукописным почерком. Избыточность информации, заключенной в тексте, оказывает добрую службу, позволяя догадываться о значении неразборчивых символов.

Визуальная информация, которую мы получаем органами зрения, имеет очень большую избыточность — более 90%. Это означает, что, даже потеряв значительную часть визуальной информации, мы все-таки можем понимать ее содержание, хотя и не без концентрации внимания. Люди, лишенные большой доли зрения, продолжают оставаться полноценными членами общества, но испытывают повышенное утомление.

Еще большую избыточность имеет видеоинформация (до 98-99%). Эта избыточность позволяет нам рассеивать внимание, что часто воспринимается как отдых при просмотре кинофильма. Кстати, избыточность в мультипликационных фильмах намного меньше, и потому они быстрее утомляют. Оптимальная продолжительность просмотра мультипликационного фильма в несколько раз меньше, чем художественного.

С избыточностью информации связаны и другие свойства. Чем выше избыточность данных, тем шире диапазон методов, с помощью которых из них можно получить адекватную информацию. Расшифровка шумерской клинописи не могла произойти до тех пор, пока в результате археологических раскопок не был накоплен достаточный объем (более 5000) глиняных табличек.

Избыточность информации позволяет повышать ее достоверность за счет применения специальных методов, в том числе и основанных на теории вероятностей и математической статистике. Общий принцип здесь такой: в результате отсева объем данных сокращается, но их достоверность увеличивается.

Особое значение избыточность информации имеет в информационных технологиях, ориентированных на автоматическую обработку данных. С одной стороны, это свойство рассматривается как негативное, потому что если информация занимает больший объем, чем могла бы, то это ведет к прямым затратам на ее хранение и, главное, на транспортировку. На рис.1.7 приведены две картинки, полученные из Интернета. Они различаются по объему данных в 8 раз. Соответственно, затраты на прием и хранение первой картинки в 8 раз больше. Если беглый просмотр — единственный метод, который мы собираемся к ним применить, избыточность информации бесполезна. В таких случаях ее уменьшают. Для этого есть специальные программные методы сжатия данных.

Всякое сокращение избыточности данных непременно влечет за собой сокращение диапазона возможных методов для их использования. В информационных технологиях вопрос избыточности данных и достаточности методов — это всегда вопрос тонкого и непростого баланса. При изучении информатики мы постоянно будем заниматься вопросами создания, хранения, преобразования и транспортирования данных. Подбор и освоение необходимых для этого аппаратных и программных средств и методов ¾ это одна из основных задач, решаемых информатикой. При этом основное внимание уделяется не просто решению задач, а методам наиболее эффективного их решения с минимальными затратами материальных, финансовых и трудовых ресурсов.

Не нашли то, что искали? Воспользуйтесь поиском:

источник