Фото предоставлено галереей «Гараж»
Поначалу мне не очень было понятно, почему за проект первой взялась художница, а не умудренный специалист по искусственному интеллекту или вдумчивый ученый-орнитолог. Потом понял - чтобы дать толчок сумасбродной, хотя и, кажется, лежащей на поверхности идее, нужен человек извне. Тот, который заранее не скажет: нет, это невозможно, или не приведет с десяток скучных аргументов, почему этим не стоит заниматься.
Вот и Елена Никоноле, медиахудожница в музее «Гараж», стала обучать искусственный интеллект распознавать пение соловья, чтобы сделать красивый творческий проект.
Медиахудожники - это люди, которые пытаются создавать искусство с помощью новых технологий - компьютерной графики, роботов, биотехнологий. Это не научное исследование, не ученая работа, а образ, некая абстракция, символ.
Елена Никоноле стала обучать искусственный интеллект распознавать пение соловья, чтобы сделать красивый творческий проект. Фото предоставлено галереей «Гараж»
Елена хотела показать, что птицы и компьютер могут «понимать» друг друга. Что нейронная сеть может научиться подражать трелям соловья. И все коммуникации в мире - и общение людей друг с другом, и пересвист птиц - основывается на некоей общей грамматике, на неких модулях-морфемах. Для человека - морфема - это кирпичик языка.
- По разнообразию звучания язык птиц приближается к нашему, человеческому, и, вероятно, именно подражание языку птиц когда-то стало основой человеческого языка, - объясняет Елена.
Только сейчас компьютерные технологии позволяют взяться за прежде неосуществимые проекты. С помощью одного мощного компьютера iMac Pro последнего поколения, способного в три раза быстрее обрабатывать большие массивы данных, чем предыдущие модели, Елена Никоноле обрабатывает и анализирует записи трелей соловья. Машина уже научилась практически точно воспроизводить их.
Ну а дальше уже появилась идея создать на основе машинного обучения переводчик с птичьего языка на человеческий. Если у птиц «язык» - то есть пение - тоже состоит из неких постоянных смысловых единиц - морфем, - значит их в итоге можно вычленить и попытаться понять, что они означают. Как раз такие большие объемы данных может обработать и проанализировать искусственный интеллект. А дальше - подключаем ученых - специалистов по машинному обучению и орнитологов. Из сугубо творческого, образного проект превращается во вполне прикладную историю.
Первая - художественная - стадия уже завершена. Вторая - научная - начинается.
Только сейчас компьютерные технологии позволяют взяться за прежде неосуществимые проекты. Фото предоставлено галереей «Гараж»
Где вы были раньше?
На самом деле, конечно же, люди многие века пытались сообразить, о чем поют птицы, уловить некий смысл, классифицировать. Не получалось. И теперь понятно, почему.
- Некоторые песни птиц настолько сложные, быстрые, состоящие из многих сотен звуков, что по старинке записать их на бумаге, как это пытались это сделать раньше, очень сложно, невозможно, - рассказывает приглашенная в проект орнитолог и специалист по биоаккустике Ника Самоцкая. - Да и у некоторых кроме своего языка есть еще набор звуков - имитаций других птиц. Например, болотная камышовка, отзимовав в Африке, привозит к нам «песни» туземных птиц. И каждый раз разные.
Люди, впрочем, тоже так умеют - заучивают иностранные песни по дискам, ни слова в них не понимая, потому что не владеют языком.
Ника - исследователь самоотверженный. Мы ездили с ней в 2016 году в экспедицию на Новую землю на первом российском частном научно-исследовательском судне «Картеш». Ника мужественно оставалась жить исследовать местных пернатых в сером покосившемся домике на острове, куда иной раз заходят поохотится белые медведи. Про птиц, мне кажется, она знает почти все.
- Соловьи - одни из самых сложных птиц для исследований, - рассказывает она. - Поют в основном самцы. По трелям можно понять,насколько он здоров, каков его возраст и социальный статус. Даже диалекты бывают. Соловьи из разных ареалов могут друг друга не понимать. А если спариваются, то могут не давать потомства - потому как чужие они друг для друга. Зато петь соловей учится всю жизнь. И чем он старше - тем шире его репертуар.
Почему я привожу такие подробности? Как раз, чтобы было понятно, насколько сложная задача стоит перед искусственным интеллектом, насколько непросто проанализировать пение с тем, чтобы найти звуки, соответствующие определенному состоянию, и попробовать перевести их на человеческий язык.
Приложения с распознаванием
Года три назад те самые знаменитые британские ученые гордо заявили о том, что разработали программу, которая декодирует пение птиц. Мол, она может распознать количество птиц в лесу и определить виды, участвующие в общем «хоре». Точность, пообещал руководитель исследования Дан Стауэлл, - 85,4%. Для такой работы в компьютер были загружены и проанализированы 77 часов записей пения различных птиц.
На основе этой программы были сделаны несколько приложений для смартфонов - любители птичьих трелей смогут с ними ходить по лесам и паркам и выяснять, у кого из пташек сегодня концерт.
Но наши орнитологи считают, что процент ошибок должен быть больше - есть птицы, подражающие пению других видов.
В общем, к чему это я? Даже при самых крутых новых технологиях составить словарь-переводчик с соловьиного на русский - задача очень непростая. Команда подбирается сильная. В нее приглашен известный ученый, специалист по искусственному интеллекту, кандидат физико-математических наук, старший преподаватель факультета компьютерных наук НИУ ВШЭ Константин Яковлев.
- Очень важно, что сейчас появилось много записей соловья, которые можно обработать, - рассказывал он на встрече в «Гараже». - Раньше просто не было такого большого объема данных. А теперь многие выкладывают в сеть то, что они записали. И эти материалы могут быть основой для обработки нейронными сетями.
- Художник, специалист по искусственному интеллекту и орнитолог - мы сами пока еще друг друга плохо понимаем, пытаясь выработать критерии для такой работы, - признается Ника.
По оценкам Самоцкой, на то, чтобы составить первый небольшой переводчик с соловьиного на человечий, потребуется не меньше двух лет. Мне очень хочется, чтобы у ребят получилось. А там, глядишь, мы сможем пересвистываться с соловьем, как с соседом по лестничной клетке. Чем черт не шутит…
КСТАТИ
Выпущен аппарат - переводчик с собачьего «языка»
Японская компания по производству игрушек Tomy начала продажи нового устройства, которое может расшифровать лай, рычание или поскуливание 50 пород собак (подробности)