Законы роботогенетики

Дело в том, что все время в перерывах между матчами программа играла сама с собой. Она испытывала различные стратегии поведения, которые изобретала на ходу. Обучение TD-Gammon сильно напоминало биологическую эволюцию. Удачные ходы сохранялись в базе данных, а слабые варианты поведения тут же отбраковывались. Проведя полтора миллиона таких матчей, программа превратилась в очень опасного противника.

Работа Тезоро - один из самых известных примеров моделирования эволюции с помощью компьютера. Кибернетики все чаще пользуются таким подходом. Он позволяет ученым создавать машины, ведущие себя как живые существа. В прошлом году сотрудник Политехнической школы Лозанны Маркус Вайбель сконструировал роботов, которые быстро научились сотрудничать друг с другом. А совсем недавно его коллега Сара Митри доказала, что машины могут научиться скрытности и лжи.

МУДРОСТЬ ПОКОЛЕНИЙ

Один из первых эволюционирующих роботов - Khepera - был создан сотрудниками Политехнической школы Лозанны еще в середине 1990-х. Миниатюрная машина весила всего 80 граммов и перемещалась по лаборатории на колесах. Исследователи снабдили машину инфракрасными датчиками, позволяющими ей реагировать на препятствия.

У робота не было постоянной программы. Чувствительность сенсоров, скорость вращения колес и многие другие параметры вводились в управляющий блок машины случайным образом. Набор этих параметров играл для машин ту же роль, что и гены для людей. В эксперименте участвовали сразу сто таких роботов. Каждый из них вел себя по-своему.

Исследователи отправили свои изделия на полосу препятствий, которую развернули прямо в лаборатории, и засекли время, которое требовалось устройствам, чтобы обойти все преграды. Когда гонка подошла к концу, экспериментаторы отобрали 20 самых успешных машин. Победители получали возможность передать свои «гены» потомкам - ученые переносили их программы в память пяти новым роботам. Такое размножение не было абсолютно точным. Во время его возникали «мутации», и в «геноме» машин происходили небольшие изменения. Новое поколение роботов снова отправляли на испытания. Эту процедуру ученые повторили сто раз.

Первые поколения машин со случайно заданным поведением показали себя на полигоне совсем неважно. Они делали длительные остановки, вертелись на месте и налетали на препятствия. Но уже к пятидесятому поколению роботы начали справляться с заданием вполне сносно. Такие машины двигались по плавным траекториям и совсем не врезались в предметы. Эти роботы обладали практически идеальными программами поведения. Для этого им потребовалось шестьдесят часов непрерывной эволюции.

Созданный в Лозанне робот быстро стал популярным. В 2001 году его фотография появилась на обложке престижного научного журнала Nature. Эволюционирующую машину заказали 500 университетов по всему миру. Ученые изучали ее микросхемы и строили своих роботов. Причем этой идеей увлеклись не только кибернетики, но и биологи. Эволюционисты и палеонтологи стали использовать такие машины в своих экспериментах.

В недавней работе Николь Дурли, сотрудница американского Университета Кейс Вестерн, изучала эволюцию ископаемых предков рыб. Чтобы лучше понять, как эти существа развивались, она создала сразу двух роботов - хищника и жертву. Конструкция этих машин основывалась на палеонтологических данных, а испытывали роботов в обычном плавательном бассейне. Охотник преследовал добычу, следя за ней с помощью видеокамер. Жертва пыталась оторваться от него и уплыть как можно дальше.

Исследователи наделили робота-добычу способностью эволюционировать. Они вносили в его конструкцию небольшие случайные изменения и таким образом имитировали мутации. Ученые изменяли длину хвоста «рыбы», а также площадь ее единственного плавника.

Последствие каждого такого превращения оценивалось экспериментально. Ученые наблюдали за состязанием хищника и жертвы. Черты «выживших» в этом состязании роботов закреплялись в поколениях. Со временем жертва становилась все проворнее. Это происходило потому, что длина ее хвоста постепенно увеличивалась. Его размер приближался к оптимальному значению и обеспечивал приличную скорость.

По данным палеонтологов, очень похожие изменения происходили с ископаемыми предками рыб на самом деле. Наблюдения Дурли позволили ей предположить, что строение хвоста рыб постепенно усложнялось в ходе межвидовой гонки за скоростью.

ЛОЖЬ ВО СПАСЕНИЕ 

В исследовании кибернетика из Лозанны Маркуса Вайбеля роботы тоже взаимодействовали между собой, но их отношения носили вполне мирный характер. Ученый доказал, что эволюция простых механизмов может привести к возникновению самого настоящего сотрудничества.

Механические участники эксперимента одновременно перемещались по игровому полю, собирая металлические грузы. Для этого роботы пользовались манипулятором-клешней. Обнаружив предмет, машина должна была отбуксировать находку в специально отведенное место. За это роботу начислялись очки. Программы поведения наиболее успешных роботов передавались «по наследству» новому поколению машин. При этом опять же возникали случайные «мутации», которые делали поведение роботов разнообразным.

Спустя некоторое время машины научились находить нужные предметы и аккуратно переносить их на «склад». Тогда Вайбель усложнил задачу и поместил на игровое поле дополнительные грузы большего веса. Роботы физически не могли переносить их в одиночку, бесплодно тратили свое время и отвлекались от посильной задачи - собирания легких предметов. Такие роботы упускали возможность заработать очки и «вымирали». И все же некоторые машины нащупали правильное решение задачи, и в популяции появились роботы, способные к кооперации. Они транспортировали тяжелые находки парами и получали свои баллы сообща.

Коллега Вайбеля Сара Митри попыталась еще немного приблизить поведение роботов к живым существам. Она наделила их способностью обмениваться информацией - роботы получили сигнальные огни и сенсоры. Лампы на машинах периодически срабатывали, и их световой сигнал могли засечь все сородичи робота.

Как и в эксперименте Вайбеля, роботы Митри должны были одновременно перемещаться по игровому полю. Они добывали себе условную «пищу». Чтобы «подкрепиться», машины должны были найти специально очерченную зону на полу и остановиться рядом с ней. Роботам приходилось быть осторожными: неподалеку от «пищи» на игровой площадке были ловушки - окрашенные в темный цвет участки пола. Остановившийся в такой зоне робот получал не «еду», а «яд» и терял очки. Машины отличали «яд» от «еды» с помощью сенсоров. Медленные и часто ошибающиеся роботы покидали игру. Их алгоритмы поведения очередному поколению не передавались.

В начале эксперимента роботы не придавали никакого значения световым сигналам своих сородичей. Но через несколько десятков поколений машины стали соображать что к чему. Они стали двигаться на вспышки ламп. Там они обнаруживали большие скопления роботов - такие столпотворения обычно происходили вокруг зон с «пищей». Этот новый рефлекс на свет дал шанс даже самым несовершенным роботам, которые начали пользоваться находками более развитых машин. Вскоре вокруг «пастбищ» развернулась настоящая борьба. Призовые зоны на полу не вмещали всех желающих, и роботы были вынуждены сражаться. Они таранили друг друга и отталкивали от «пищи».

Спустя некоторое время эволюция подсказала машинам еще более изящный выход из ситуации. Роботы, рождающиеся в условиях высокой конкуренции, научились быть скрытными. Это происходило за счет эволюции алгоритма, управляющего работой ламп. Когда такие машины находили «еду», они заметно снижали частоту своих сигналов, чтобы не привлекать внимания. «Похожее поведение возникает в реальных условиях у живых организмов», - говорит Митри. Она приводит в пример воронов. Эти птицы следят за своими сородичами, когда те делают запасы пищи. Добытчикам приходится прятаться от нахлебников.