Ричард Хэмминг: Глава 6. Искусственный интеллект — 1

в 3:57, , рубрики: Алгоритмы, Исследования и прогнозы в IT, математика, Профессиональная литература, ричард хэмминг, Читальный зал

«Цель этого курса — подготовить вас к вашему техническому будущему.»

imageПривет. Помните офигенную статью «Вы и ваша работа» (+219, 2394 в закладки, 377k прочтений)?

Так вот у Хэмминга (да, да, самоконтролирующиеся и самокорректирующиеся коды Хэмминга) есть целая книга, написанная по мотивам его лекций. Мы ее переводи, ведь мужик дело говорит.

Это книга не просто про ИТ, это книга про стиль мышления невероятно крутых людей. «Это не просто заряд положительного мышления; в ней описаны условия, которые увеличивают шансы сделать великую работу.»

Мы уже перевели 18 (из 30) глав. И ведем работу над изданием «в бумаге».

Глава 6. Искусственный интеллект — 1

(За перевод спасибо Иванникову Алексею, который откликнулся на мой призыв в «предыдущей главе».) Кто хочет помочь с переводом, версткой и изданием книги — пишите в личку или на почту magisterludi2016@yandex.ru

Рассматривая историю компьютерных приложений, мы обращаем внимание на возможности пределов машин не столько в плане вычислительной сложности, сколько в плане классов задач, которые компьютер сможет или возможно не сможет решать в будущем. Перед дальнейшим рассуждениями необходимо напомнить, что компьютеры оперируют символами, а не информацией; мы не можем просто сказать, не говоря о том, чтобы написать, программу в терминах “информации”. Все мы считаем, что знаем значения слов, но хорошие размышления с вашей стороны убедят в том, что, в лучшем случае, информация — это нечёткая концепция и ей нельзя дать определение, которое можно сконвертировать программе.

Хотя Бэббидж и Августа (Ада) Лавлейс сделали несколько предположений в части вычислительных пределов компьютеров, настоящие исследования на самом деле начались в конце 1940-ых — начале 1950-ых, в частности, Алланом Ньюэллом и Гербертом Саймоном из исследовательского центра RAND. Например, они исследовали решение головоломок, таких как задача каннибалов и миссионеров*. Может ли компьютер решить головоломки? И как он будет это делать? Они рассматривали подходы, которые используют люди при решении подобных задач и пытались написать программу, которая воспроизводила бы тот же результат. Не стоит ожидать одинаковый результат, так как в целом не нашлось двух людей, которые решали бы головоломку через одинаковые логические выводы в одинаковой последовательности, хотя программа заключалась в поиске одинаковых шаблонов решения. Вместо того, чтобы просто решить задачу, они пытались промоделировать методы решения головоломок людьми и проверить похожесть результатов модели и результатов людей.

(* каннибалы и миссионеры — в нашей культуре известна, как головоломка о волке, овце и капусте.)

Также они начали разрабатывать концепцию Универсального Решателя Задач (General Problem Solver — GPS). Идея заключается в том, что для решения задачи компьютером необходимо пять универсальных принципов решения задач и набор частных деталей из определенной области. Несмотря на то, что метод не сработал хорошо, из него вышли ценные побочные результаты, такие как обработка списков. После начального исследования проблемы (которая, как ожидалось, в значительной степени облегчила бы задачу программирования) вопрос был отложен на десятилетие. Когда к нему вернулись, предлагалось около 50 необходимых универсальных принципов. Когда и это предложение не сработало, через десятилетие число универсальных принципов дошло до 500. Сейчас эта идея известна под названием логика, основанная на правилах (rule based logic), иногда требуется 5000 универсальных правил для описания, и, как я слышал, в некоторых областях до 50000 правил.

В настоящее время развивается целая область под названием Экспертные Системы (Expert Systems). Принцип заключается в опросе экспертов той или иной области знаний, составлении набора правил, ввода этих правил программе и получении программы-эксперта! Одна из проблем этого принципа то, что во многих областях, особенно в медицине, известные эксперты фактически ненамного квалифицированнее новичков! И этот факт был зафиксировано во многих исследованиях! Другая проблема заключается в использовании экспертами своего подсознания и тот факт, что эксперты могут использовать один свой подсознательный опыт при принятии решений.Установлено, что для становления экспертом необходимо около 10 лет интенсивной работы. За это время, видимо, многие и многие шаблоны фиксируются в сознании, и при решении задачи эксперт вместо последовательного пошагового решения делает подсознательный стартовый выбор исходя из этих шаблонов.

В некоторых областях логика, основанная на правилах, показала впечатляющие достижения, а в некоторых похожих областях полностью провалилась, это говорит о зависимости успеха от большого числа элементов удачи. Сейчас нет общего правила и базового понимания того, когда метод логики, основанной на правилах, сработает, а когда нет, и насколько успешно он будет применен.

В главе 1 я уже развивал тему, что возможно все наше “знание” нельзя выразить словами (инструкциям) — нельзя в смысле невозможно, а не в смысле, что мы глупы или необразованны для этого. Некоторые из установленных особенностей экспертных систем, несомненно, доказывают это положение.

Через несколько лет развития область исследования пределов интеллектуальной способности компьютеров получила расплывчатое название Искусственного Интеллекта (ИИ), у которого нет одного значения. Во-первых, это вариант ответа на вопрос,

Могут ли машины думать?

Хотя это более ограниченное определение, чем искусственный интеллект, оно более явно обозначает проблему и доступнее для большинства. Такой вопрос важен для вас, если вы считаете, что компьютеры не могут думать, то не сможете использовать компьютеры для решения своих задач в полной мере, но если вы считаете, что конечно компьютеры могут думать, то наверняка совершите ошибку! Таким образом, нельзя позволить себе верить или не верить — необходимо сформулировать следующий неприятный вопрос: «В какой степени машины могут думать?»

Необходимо обратить внимание, такая форма вопроса не совсем верная, более общий вопрос формулируется так “Можно ли написать программу, которая породит “разум” из машины фон Неймана?” Причиной таких вопросов является наметившаяся тенденция в развитии современных нейронных сетей. Возможно, они смогут или все же не смогут делать то, что цифровой компьютер делать не может. Мы обсудим нейронные сети позже после обзора большего числа технических фактов.

Также проблему ИИ можно сформулировать как: «Что из того, что может сделать человек, может сделать компьютер?» или в более предпочтительной для меня форме «Какие из решаемых человеком задач компьютер может взять на себя или существенно облегчить?» Обратим внимание на кардиостимуляторы — машины, которые непосредственно связаны с нервной системой человека и поддерживают жизнь многих людей, в то время как те машинально выполняют свои рутинные задачи. Люди, которые говорят, что не хотят зависимости их жизнь от машины, весьма кстати забывают этот пример. Мне кажется, что в долгосрочной перспективе машины смогут внести существенный вклад в качество жизни людей.

Почему так важна тема искусственного интеллекта? Приведу конкретный пример необходимости ИИ. Не углубляясь в детали (нельзя их рассматривать, не дав определения мышлению и машине), я считаю, что с большой вероятностью в будущем у нас будут автомобили, изучающие поверхность Марса. Расстояние между Землей и Марсом настолько большое, что время прохождения сигнала в оба конца может составлять 20 или более минут. Поэтому в процессе эксплуатации у подобного автомобиля должно быть надежное средство локального контроля. После прохождения между двумя камнями, небольшого поворота и обнаружения земли под передними колесами автомобилю понадобится быстрое, «разумное» действие в случае неоднозначности. Говоря другими словами, такие очевидные подходы, как резервное исполнение программы вкупе отсутствием времени для получения инструкции с Земли, будут недостаточными для защиты от разрушения; следовательно, определенная степень «интеллекта» должна быть запрограммирована в машине.

Это не единственный пример; подобная задача становится все более типичной по мере более широкого использования компьютеров в высокоскоростных комплексах. В этом случае нельзя положиться на человека — зачастую из-за фактора скуки, которой подвержены люди. Считается, что пилотирование самолетов состоит из часов скуки и нескольких секунд абсолютного нервного напряжения (паники) — это не то, для чего предназначены люди, хотя и справляются. Очень важна скорость реакции.Современные быстрые самолеты преимущественно нестабильны, для их стабилизации в пределах миллисекунд установлены компьютеры, ни один пилот не сможет обеспечить такую точность; человек может только координировать план управления в целом, а детали оставить для машины.

Ранее я отметил необходимость по крайней мере понимать, что мы подразумеваем под понятиями “машина” и “мышление”. Мы обсуждали эти термины в Bell Telephone Laboratories в начале 1940-ых. Некоторые утверждали, что у машины не может быть органических деталей, а я на это возражал, что такое определение исключает деревянные детали! Это определение было отменено, но для пущей убедительности я предложил мысленный эксперимент с извлечением нервной системы из лягушки, оставляя при этом ее живой. Если бы ее возможно было приспособить как запоминающее устройство, стало бы это машиной или нет? Если бы это было адресуемым запоминающим устройством, как мы различили бы, что это “машина”?

В этих же дискуссиях инженер с дипломом Jesuit** дал определение интеллекту “Мышление — это способность человека, а не машины”. По всей видимости, такое определение удовлетворило всех. Но нравится ли оно вам? Действительно ли оно верное? Мы обратили его внимание, что при очевидном возможном сравнении текущего уровня машин и улучшенного уровня машин и методик программирования в будущем уменьшается разница между людьми и машинами.

(** — прим. перевод — ориг. Jesuit trained engineer, вероятно, имеется в виду человек, которые получил образование в Jesuit high school (https://www.jesuittampa.org/page.cfm?p=1) или подобном месте.)

Несомненно, необходимо уточнить термин “мышление”. Для большинства сгодилось бы определение мышления как способности людей, которой нет у камней, деревьев и прочих подобных предметов. Мнения расходится на вопросе, включать ли в этот список высшие формы животных. Большинство заблуждается, утверждая, что “Мышление — это что делали Ньютон и Эйнштейн”. Согласно этому утверждению большинство из нас не думает — безусловно, оно нам не подходит! Тьюринг, не отвечая на вопрос по существу, утверждал, что если посадить на конце одной телеграфной линии человека, а на конце другой запрограммированную машину, и средний человек не сможет их различить, то это будет доказательством “мышления” у машины (программы).

Тест Тьюринга — популярный подход, но он не выдерживает научного анализа, когда необходимо прояснить более простые вещи перед решением сложных. Вскоре я задал себе вопрос “Какого размера должна быть самая маленькая программа, которая сможет думать?” Для уточнения, если ее разделить на две части, то ни одна из этих частей не сможет думать. Я думал каждую ночь перед сном, и после года попыток подобных размышлений я пришел к выводу, что это неверный вопрос! Пожалуй, “мышление” — это не ответы да-нет, а нечто более существенное.

Позвольте мне немного отступить и вспомнить некоторые факты из истории химии. Долго считалось, что органические компоненты могут быть получены только из одушевленных вещей, это был виталистический аспект одушевленных вещей в отличие от неодушевленных, таких как, как камни и скалы. Но в 1923 химик Вохлер синтезировал мочевину, стандартный побочный продукт человека. Это было начало синтеза органических компонентов в лабораторных колбах. Но все еще в конце 1850-ых большинство химиков придерживались виталистической теории, согласно которой органические компоненты можно получить только из одушевленных вещей. Что ж, как вы знаете, сейчас химики пришли к диаметрально противоположному мнению, что любые компоненты могут быть получены в лабораторных условиях — конечно же, этому нет и не может быть доказательства. Такое мнение сложилось из-за успехов в синтезе органических компонент, и химики не видят причин, по которым они не могли бы синтезировать вещества, которые могут существовать в Природе. Воззрения химиков прошли изменение от виталистической теории к невиталистической теории в химии.

К сожалению, религия вступила в дискуссию о проблеме мышления машин, и сейчас есть виталистическая и невиталистическая теории “машина против человека”. В христианской религии в Библии сказано “Бог создал человека по своему образу и подобию”. Если мы сможем создать машину по своему подобию, то в некотором смысле мы станем подобными Богу, и это немного смущает! Большинство религий в том или ином виде представляют человека больше, чем набор молекул, в самом деле, человек отличается от животных такими свойствами, как душа и некоторыми другими. Что касается души, то в поздних Средних Веках некоторые исследователи хотели отделить душу от мертвого тела, клали умершего человека на весу и отслеживали внезапные изменения веса — но они видели только медленное уменьшение веса разлагающегося тела — по всей видимости, у души, которая есть у человека по их мнению, нет материального веса.

Даже если вы верите в эволюцию, в ней также был момент, когда Бог, или боги, остановились и дали человеку способность, которая отличает его от остальных живых существ. Эта вера в существенное различие между человеком и остальным миром заставляет людей верить в то, что машины никогда смогут стать подобными людям в части мышления, по крайней мере, пока мы сами не станем подобными богам. Такие люди, как например, упомянутый ранее инженер с дипломом Jesuit, определяют мышление как то, к чему нет способности у машин. Как правило, эти утверждения не такие явные, скрыты в паутине размышлений, но смысл остается тот же!

Физики относятся к вам, как к набору молекул в поле энергии излучении, и к ничему большему в классической физике. Древнегреческий философ Демокрит (род. 460 до н.э) утверждал, что “Все является атомами и пустотой”. Такая же позиция у исследователей жесткой модели ИИ; нет существенной разницы между машинами и людьми, следовательно правильно запрограммированные машины могут делать все то же самое, что и люди. Все их неудачные попытки воспроизвести в деталях мышление у машины объясняются ошибками в программировании, а не существенными ограничениями теории.

Противоположный подход к определению ИИ базируется на предположении, что у нас есть самоосознание и самосознание — хотя мы и не можем предоставить удовлетворительные тесты, доказывающие их существование. Я могу заставить машину напечатать “У меня есть душа”, или “У меня есть самоосознание” или “У меня есть самосознание”, но вы не будете впечатлены такими заявлениями от машины. В то же время такие заявления от человека внушают больше доверия, поскольку они согласуются с результатами самоанализа и опытно выведенным в течение жизни фактом подобности вас и других людей. Однако, это проявления расизма в различии между человеком и машинами — мы являемся лучшими существами!

В рассуждениях об ИИ мы дошли до некоторого тупика; сейчас можно утверждать что угодно, но для большинства эти утверждения не будут иметь никакого значения. Обратим наше внимание на истории успеха и провала ИИ.

Исследователи ИИ всегда делают экстравагантные, но, в большинстве случаев, неподтвержденные заявления. В 1958 года Ньюэлл и Саймон предсказывали, что в ближайшие 10 лет чемпионом мира по шахматам станет компьютерная программа. К сожалению, как и похожие нереализованные заявления исследователей ИИ, оно было сделано публично. Все же были достигнуты поразительные результаты.

Мне необходимо снова отступить, чтобы объяснить важность игр в исследовании ИИ. Правила игры, а также победы или поражения, весьма понятно, или другими словами в некоторомы смысле достаточно хорошо определены. Но это не значит, что мы хотим научить машину играть в игры, мы хотим проверить наши идеи ИИ на хорошей и понятной тестовой базе в виде игр.

С самого начала шахматы рассматриваются как хороший тест ИИ поскольку считается, что при игре в шахматы вне всякого сомнения необходимо думать. Шеннон предложил способ написания программ, играющих в шахматы (мы называем их компьютеры, играющие в шахматы, на самом деле — это всего лишь класс программ). В Лос-Аламосской национальной лаборатории достигли приемлемых результатов на примитивных компьютерах MANIAC на доске 6х6, убрав с доски слонов. Немного позже мы еще вернемся к истории шахматных компьютеров.

Давайте разберемся, как написать программы для более простой игры в трехмерные крестики-нолики. Не будем рассматривать двумерные крестики-нолики, так как известна стратегия к сведению игры к ничьей, и у расчетливого игрока никогда нельзя выиграть. Мы полагаем, что игры с известной стратегией не иллюстрируют мышление.

В кубе 4х4х4 всего 64 ячейки (кубика), в них возможно составить 76 прямых линий. Линия выигрывает, если она целиком заполнена одинаковыми элементами. Необходимо обратить внимание на 8 угловых и 8 центральных клеток, через них проходит больше прямых линий, чем через остальные; в самом деле, существует инверсия куба, при которой центральные ячейки заменяются на угловые, а угловые на центральные с сохранением всех прямых линий.

Программа для игры в трехмерные 4х4х4 крестики-нолики вначале должна отобрать допустимые правильные ходы. Среди выбранных ходов нужно отобрать те, которые занимают “горячие” ячейки. Необходимо использовать случайный выбор из возможных ячеек, поскольку противном случае противник может разгадать слабый алгоритм и начать его систематически использовать для своей стратегии. Случайный выбор в существенном наборе различных ходов является центральной частью алгоритмов игровых программ.

Сформулируем набор правил, которые необходимо применять последовательно:

  1. При заполненных трех ячейках в ряду и одной “открытой”, необходимо ее заполнить и выиграть.
  2. Если нет выигрышного хода, а у противника три заполненных ячейки в ряду, необходимо их заблокировать.
  3. Если образовалась вилка (см. рис. 6.1), то необходимо ее занять. На следующем ходе программа выигрывает, а противник нет.
  4. Если у противника может образоваться вилка, то ее необходимо заблокировать.

image

Рисунок 6.1

По всей видимости, больше нет определенных правил, из которых можно рассчитать следующий ход. Следовательно, вы начинаете искать так называемый “сильный ход”, который дает пространство для маневра и создания выигрышной комбинации. Таким образом, при двух занятых ячейках в линии можно занять третью, и противник будет вынужден блокировать линию (но нужно быть внимательным, чтобы при блокировании у противника не выставилось три ячейки в линии и вам не пришлось защищаться). В последовательностях из сильных ходов вы можете создать вилку, и тогда вы выиграете! Но все эти правила расплывчаты. Кажется, если делать сильные ходы в “важные” ячейки и заставлять противника обороняться, то вы будете вести в игре, но без гарантии победы. Если вы потеряете инициативу в последовательности сильных ходов, то противник скорее всего ее перехватит, заставит вас оборонятся и увеличит свои шансы на победу. Очень интересный момент — выбор времени атаки; если слишком рано — можно потерять инициативу, слишком поздно — противник начинает и выигрывает. Насколько я знаю, нельзя определить точное правило для выбора момента атаки.

Алгоритм программы игры для компьютера состоит из нескольких этапов. Программа сначала должна проверить ход на соответствие правилам, это несущественная деталь. Далее обычно программа следует более или менее формальным правилам, а после идет этап применения расплывчатых правил. Таким образом, в программу заложено много эвристических правил (эвристика — изобретение или открытие) и ходов, которые вероятно, но негарантированно, приведут к победе.

В начале исследования ИИ Артур Сэмюэл, после него и в IBM, написал программу проверки шахмат. Считалось, что написать проверяльщик легче, чем саму игру, которая стала настоящим камнем преткновения. В формулу оценки, которую он написал, входило много параметров со своими весовыми коэффициентами, например, контроль над центром доски, проходные пешки, положение короля, мобильность, запертые фигуры и т.д. Сэмюэл делал копию программы и незначительно менял один (или больше) из параметров. Затем программа с одной оценочной формулой играла против программы с другой формулой, например, десять раз. Программа, которая выигрывала большее число партий, считалась (с некоторой степенью допущения) лучшей программой. Компьютер перебирал значения одного из параметров, пока не достигал локального минимума, после чего переходил к определению других параметров. Таким образом, программа запускалась снова и снова с использованием тех же параметров при повторах, он нку программе давала значительно лучшая программа оценки — определенно лучшая, чем сам Сэмюэл. Программа даже выиграла у чемпиона по шахматам штата Коннектикут!

Разве не будет справедливо отметить, что “Программа научилась на основе опыта?”

Естественно, вы возразите, что программа научила компьютер обучаться. Но разве на курсах евклидовой геометрии преподаватель не передает подобную обучающую программу? Подумаем более внимательно, о чем в действительности курс геометрии. В начале курса слушатель не может решать геометрические задачи, преподаватель закладывает в него некоторую программу, и в концу курса может решать подобные задачи. Подумайте над этим более внимательно. Если вы отрицание, что машина научилась исходя из опытных знаний, поскольку ее научила другая программа (написанная человеком), то разве эта ситуация не похожа на вас, за тем исключением, что при рождении в вас заложено нечто большее, чем в компьютер при выходе со сборочной линии. Вы уверены, что не программируетесь в течение жизни теми событиями, которые с вами случаются?

Мы начинаем выяснять не только корректность определения термина разум, но и много других сопутствующих, например, машина, обучение, информация, идеи, решения (на самом деле, всего лишь одна из веток, точки ветвления программы часто называются точками принятия решения, от этого программисты чувствуют себя более значимыми), поведение эксперта — все эти термины становится немного непонятными, когда мы пытаемся объяснить их машине. Наука традиционно опирается на экспериментальные доказательства, а не на пустые слова, и кажется скоро наука в определении направления развития будет более эффективна чем философия. Но конечно же, будущее может быть разнообразно.

В этой главе мы “заложили фундамент” для дальнейшего обсуждения ИИ. Мы также определили, что нельзя игнорировать эту тему. Вам должно быть интересно, что при видимом отсутствии трудностей в определении, а фактически в сложности определения, термины весьма плохо объяснены и требуют модификации и интерпретации. В частности, многими замечено, что когда программа написана, при определении приемлемого теста на машинное обучение, оригинальность, креативность или разумность, такое тест может быть только механическим. Это утверждение верно, даже если используются случайные числа. Машина с использованием случайных чисел выдает два разных результата на два одинаковых тестовых воздействия подобно тому, как один и тот же человек редко сыграет две одинаковые партии в шахматы. Какой тест может быть приемлемым для проверки машинного обучения? Или вы намерены утверждать, как ранее упомянутый инженер с дипломом Jesuit, что обучение, креативность, оригинальность и разумность это не те свойства, которые могут быть у машины? Или вы намерены сокрыть это вопиющее утверждение посредством окольных рассуждений, которые не отразят всю глубину вопроса?

На самом деле, нельзя осознать всю глубину вопроса об ИИ, не погрузившись и не попробовав самостоятельно определить, что обозначает понятие человека и что могут делать машины. До того, как мы детально рассмотрели алгоритм построения программ-проверяльщиков, возможно вы думали, что машины не могут учиться исходя из своего опыта — сейчас вы возможно думаете, что это не обучение, а довольно умное жульничество. Чтобы продвинуться в понимании вопроса возможностей и ограничений машин в части построения ИИ, вы должны бороться со своими заблуждениями. Для этого нужно формализовывать свои убеждения, критически их оценивать, взвешивая все сильные и слабые аргумент. Многие обучающиеся выдвигают аргументы против ИИ, многие за ИИ; вам необходимо отказаться от своих предвзятых убеждений в этой важной области. В следующей главе мы рассмотрим более интересные вещи, которые может сделать машина, и перед этим вам необходимо сформировать свое собственное мнение. Будет ошибкой считать, что вы не примете существенного участия в неизбежной компьютеризации ваших предприятий и всего общества в целом.

Во многих отношениях компьютерная революция только началась!

Продолжение следует...

Кто хочет помочь с переводом, версткой и изданием книги — пишите в личку или на почту magisterludi2016@yandex.ru

Кстати, мы еще запустили перевод еще одной крутейшей книги — «The Dream Machine: История компьютерной революции»)

Содержание книги и переведенные главы

Предисловие

  1. Intro to The Art of Doing Science and Engineering: Learning to Learn (March 28, 1995) Перевод: Глава 1
  2. «Foundations of the Digital (Discrete) Revolution» (March 30, 1995) Глава 2. Основы цифровой (дискретной) революции
  3. «History of Computers — Hardware» (March 31, 1995) Глава 3. История компьютеров — железо
  4. «History of Computers — Software» (April 4, 1995) Глава 4. История компьютеров — Софт
  5. «History of Computers — Applications» (April 6, 1995) Глава 5. История компьютеров — практическое применение
  6. «Artificial Intelligence — Part I» (April 7, 1995) (в работе)
  7. «Artificial Intelligence — Part II» (April 11, 1995) (в работе)
  8. «Artificial Intelligence III» (April 13, 1995) Глава 8. Искуственный интеллект-III
  9. «n-Dimensional Space» (April 14, 1995) Глава 9. N-мерное пространство
  10. «Coding Theory — The Representation of Information, Part I» (April 18, 1995) (в работе)
  11. «Coding Theory — The Representation of Information, Part II» (April 20, 1995)
  12. «Error-Correcting Codes» (April 21, 1995) (в работе)
  13. «Information Theory» (April 25, 1995) (в работе, Горгуров Алексей)
  14. «Digital Filters, Part I» (April 27, 1995) Глава 14. Цифровые фильтры — 1
  15. «Digital Filters, Part II» (April 28, 1995) Глава 15. Цифровые фильтры — 2
  16. «Digital Filters, Part III» (May 2, 1995) Глава 16. Цифровые фильтры — 3
  17. «Digital Filters, Part IV» (May 4, 1995)
  18. «Simulation, Part I» (May 5, 1995) (в работе)
  19. «Simulation, Part II» (May 9, 1995) готово
  20. «Simulation, Part III» (May 11, 1995)
  21. «Fiber Optics» (May 12, 1995) в работе
  22. «Computer Aided Instruction» (May 16, 1995) (в работе)
  23. «Mathematics» (May 18, 1995) Глава 23. Математика
  24. «Quantum Mechanics» (May 19, 1995) Глава 24. Квантовая механика
  25. «Creativity» (May 23, 1995). Перевод: Глава 25. Креативность
  26. «Experts» (May 25, 1995) Глава 26. Эксперты
  27. «Unreliable Data» (May 26, 1995) (в работе)
  28. «Systems Engineering» (May 30, 1995) Глава 28. Системная Инженерия
  29. «You Get What You Measure» (June 1, 1995) Глава 29. Вы получаете то, что вы измеряете
  30. «How Do We Know What We Know» (June 2, 1995) в работе
  31. Hamming, «You and Your Research» (June 6, 1995). Перевод: Вы и ваша работа

Кто хочет помочь с переводом, версткой и изданием книги — пишите в личку или на почту magisterludi2016@yandex.ru

Автор: Алексей

Источник

* - обязательные к заполнению поля


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js