Клод Шеннон: прародитель информатики
В 2016 году ему бы исполнилось 100 лет. Клод Шеннон поставил информатику на математическую основу. На его определениях битов и байтов работают современные цифровые компьютеры.
То, что сегодня его имя не настолько широко известно, как, скажем, Алана Тьюринга или Конрада Цузе, объясняется исключительно его характером: американец Клод Шеннон был чудаком, который даже в бытность профессором математики в знаменитом Массачусетском технологическом институте предпочитал уединяться в своей каморке, чтобы предаваться там своим электротехническим занятиям. Именно в эти часы его умную голову и посещали гениальные и дальновидные идеи.
Самую большую и значимую работу под заголовком «А Mathematical Theory of Communication» («Математическая теория связи») Шеннон опубликовал в 1948 году. В ней он пытался найти ответ на вопрос, насколько сильно может быть искажено сообщение по пути от отправителя к получателю, чтобы при этом оно не потеряло своей сути. При этом Шеннон рассуждал о возможности определения информатики через математику. Информационная составляющая сигнала будет гем ценнее, чем реже он встречается. Основное правило Шеннона для кибернетики удивительным образом сходно по своей структуре с формулой из термодинамики, а конкретно — с функцией энтропии. Еще в XIX веке австрийский физик Людвиг Больцман определил энтропию как меру вероятностей состояния системы. Так, газ распространяется во всем доступном пространстве, поскольку это состояние более вероятно и обладает более высокой энтропией. В отличие от этого, информация гем более содержательна, чем менее вероятна. Фактически, информация и энтропия представляют собой естественных антагонистов.
На определение Шеннона опирается и распространенная сегодня единица информации — бит. Информация - это минимальное число битов, необходимых для кодирования сообщения или описания состояния. Чем больше битов требуется, тем информация содержательнее. Все это напрямую ведет к привычным сегодня применениям в компьютерной технике. Так, избыточность целенаправленно используется для исправления ошибок на DVD и в передаче радиосигналов; с другой стороны, она осознанно отбрасывается при компрессии данных. Сам Шеннон дальнейшими трудами, исходя из своего понимания информации, вдохновил и инициировал подобную эволюцию цифровой техники отчасти параллельно с другими мечтателями и педантами (см. ниже). В любом случае, нет никакой случайности в том, что в пятидесятые годы началось стремительное развитие компьютеров. В
