Компания Facebook отключила систему искусственного интеллекта после того, как программисты обнаружили, что боты стали общаться не на английском, а на собственном, непонятном людям языке.
Об этом сообщает International Business Times.
Сообщается, что система использует чат-боты, которые изначально создавались для общения с живыми людьми, но постепенно начали общаться между собой.
Сначала они общались на английском языке, но в какой-то момент начали переписываться на языке, который они сами создали в процессе развития программы.
В Facebook отмечают, что это свидетельствует о том, что ИИ динамически генерирует свой собственный контекстный язык и способен понимать разговоры.
СМИ начали пестреть заголовками в духе “Facebook отключил свою систему искусственного интеллекта, пока та не превратилась в Skynet” (вражбебный ИИ из фильмов о Терминаторе – ред.) Некоторые источники сообщили, что разработчики программы якобы запаниковали, “создав Франкенштейна”; язык ботов окрестили “пугающим”. Выглядит он, к слову, примерно так – насколько можно перевести конструкции, придуманные программой:
Боб: Я могу могуЯЯ все остальное.
Элис: Мячи имеют ноль для меня для меня для меня для меня для меня.
В издании Tech Times объясняют это тем, что у роботов изначально не было ограничений в выборе языка, поэтому постепенно они и создали свой язык, на котором они могут общаться проще и быстрее, чем на английском.
А издание Digital Journal считает, что системы искусственного интеллекта опираются на принцип “поощрения”, то есть продолжают действия при условии, что это принесет им определенную “пользу”. В определенный момент они не получили от операторов сигнал поощрения на использование английского языка, поэтому и решили создать свой собственный.
Отметим, что эксперты опасаются, что если боты начнут активно общаться на своем собственном языке, то постепенно станут более самостоятельными и смогут функционировать вне контроля IT-специалистов.
ОБНОВЛЕНО 19:20:
Британский таблоид The Sun даже процитировал профессора робототехники, утверждающего, что подобное принятие решений машиной в военной сфере может быть смертельно опасным.
Реальность оказалась более прозаической. Как сообщало ИИ-подразделение Facebook (FAIR) в июне, разговорчивых ботов создали для демонстрации того, что обучаемые нейросети могут участвовать в полноценном диалоге с другими ботами и людьми “для принятия совместных решений”.
На этой гифке показано тестовое задание, при котором боты должны были разделить между собой некоторые предметы – шляпы, мячи и книги.
Не будучи связанными строгими условностями грамматики английского языка, боты просто обменивались информацией в наиболее удобной для себя форме – что-то сродни использованию аббревиатур или стенографии людьми. И именно из-за их неспособности перевести свою болтовню на понятный для человека язык Facebook осознал собственную ошибку.
Исследователь FAIR Майк Льюис поясняет: “Нашей задачей было создание ботов, которые способны общаться с людьми”. Кроме того, исправить ошибки в такой системе при ее полноценном использовании будет крайне сложно.
“Наверняка это разумно – не позволять программам развивать собственные языки, которые человек не может в полной мере понять. Но все же это достаточно обыденное явление, когда речь идет о двух системах машинного обучения, которые учатся друг у друга. Стоит отметить, что будучи расшифрованными, разговоры ботов становятся понятными и не такими пугающими, как казались” – пишет портал Gizmodo.
Однако передовые разработчики и вдохновители технологий все же советуют быть настороже. В частности, в своем переводе материала New Yorker мы рассказывали о совместной некоммерческой организации Илона Маска и Сэма Альтмана под названием OpenAI.
OpenAI – своего рода страховка на случай, если люди утратят свое доминирующее положение по сравнению с компьютерами. Проект родился из убежденности Маска в том, что искусственный интеллект способен случайно уничтожить человечество, а также мысленного эксперимента шведского философа Ника Бострома под названием “максимизатор производства скрепок”. В 2003 году Бостром предположил, что если поставить перед мощным искусственным интеллектом задачу сделать как можно больше скрепок и не дать ему никаких дополнительных пояснений, ИИ может извести на скрепки все земные ресурсы. Он дойдет даже до использования атомов человеческого тела (при условии, что сразу не убьет людей, чтоб те не мешали ему заниматься производством скрепок).
Недавно снователь SpaceX и Tesla Илон Маск заявил, что считает искусственный интеллект представляет собой “фундаментальный риск для человечества”. По его словам, основная опасность исходит от внедрения технологий искусственного интеллекта в Интернет. В качестве примера основатель SpaceX и Tesla привел гипотетическую ситуацию, при которой искусственный интеллект сможет делать инвестиции в оборонную промышленность, а затем использовать взломы и распространение дезинформации, чтобы спровоцировать войну.
