Крошечная самоорганизованная сеть искусственных синапсов помнит свои переживания и может решать простые задачи. Ее создатели надеются, что когда-нибудь на основе этого искусственного мозга будут созданы устройства, по своей энергоэффективности не уступающие вычислительной мощности мозга. Вообще, мозги, если опустить их достижения в мышлении и решении проблем, совершенны в своей энергоэффективности. Для работы мозгу нужно столько же энергии, сколько поглощает 20-ваттная лампа накаливания. А один из мощнейших и быстрейших суперкомпьютеров в мире, компьютер K в Кобе, Япония, потребляет до 9,89 мегаватта энергии – примерно столько же, сколько и 10 000 домов. Но в 2013 году, даже с такой энергией, машине потребовалось 40 минут, чтобы смоделировать 1% активности человеческого мозга на протяжении 1 секунды.
И вот инженеры-исследователи из Калифорнийского института NanoSystems при Калифорнийском университете в Лос-Анджелесе надеются потягаться с вычислительной и энергоэффективной способностями мозга, благодаря системам, которые отражают структуру мозга. Они создают устройство, возможно, первое в своем роде, которое «вдохновлено мозгом генерировать свойства, которые позволяют мозгу делать то, что он делает», говорит Адам Стиг, исследователь и доцент института, руководящий проектом вместе с Джимом Гимжевски, профессором химии в Калифорнийском университете в Лос-Анджелесе.
Их устройство совсем не похоже на обычные компьютеры, в основе которых лежат небольшие провода, отпечатанные на кремниевых микросхемах в высокоупорядоченных схемах. Текущая экспериментальная версия представляют собой сетку 2 х 2 мм из серебряных нанопроводов, соединенных искусственными синапсами. В отличие от кремниевой схемы с ее геометрической точностью, это устройство переплетено как «хорошо перемешанное блюдо спагетти», говорит Стиг. При этом ее тонкая структура организована из случайных химических и электрических процессов, а не спроектирована тщательным образом.
По своей сложности эта серебряная сеть напоминает мозг. На квадратный сантиметр сетки приходится миллиард искусственных синапсов, что на несколько порядков отличается от реального мозга. Электрическая активность сети также демонстрирует свойство, уникальное для сложных систем вроде мозга: «критичность», состояние между порядком и хаосом, указывающее на максимальную эффективность.
Эта сеть чрезвычайно переплетенных нанопроводов может выглядеть хаотичной и случайной, но ее структура и поведение напоминают поведение нейронов мозга. Ученые из NanoSystems разрабатывают ее как устройство-мозг для обучения и вычислений
Более того, предварительные эксперименты показывают, что эта нейроморфная (то есть похожая на мозг) серебряная проволочная сетка обладает большим функциональным потенциалом. Она уже может выполнять простые учебные и логические операции. Она может очищать принимаемый сигнал от нежелательного шума, а это важная способность для распознавания голоса и похожих задач, которые вызывают проблемы у традиционных компьютеров. И ее существование доказывает принцип, что в один прекрасный день станет возможно создание устройств с энергоэффективностью, близкой к энергоэффективности мозга.
Особенно любопытно эти преимущества выглядят на фоне приближающегося предела миниатюризации и эффективности кремниевых микропроцессоров. «Закон Мура мертв, полупроводники больше не могут становиться меньше, а люди начинают голосить, мол, что же нам делать», говорит Алекс Нюджент, CEO компании Knowm, занимающейся нейроморфными вычислениями и не участвовавшей в проекте Калифорнийского университета. «Мне нравится эта идея, это направление. Обычные вычислительные платформы в миллиард раз менее эффективны».
Переключатели в роли синапсов
Когда Гимжевски начал работать над своим проектом с серебряной сеткой 10 лет назад, его интересовала вовсе не энергоэффективнось. Ему было скучно. Используя сканирующий туннельный микроскоп для изучения электроники на атомных масштабах в течение 20 лет, он, наконец, сказал: «Я устал от совершенства и точного контроля и слегка подустал от редукционизма».
Редукционизм, стоит полагать, лежит в основе всех современных микропроцессоров, когда сложные явления и схемы можно объяснить при помощи простых явлений и элементов.
В 2007 году ему предложили заняться изучением отдельных атомных коммутаторов (или переключателей), разработанных группой Масакадзу Аоно из Международного центра материалов на наноархитектонике в Цукубе, Япония. Эти коммутаторы содержали тот же ингредиент, который окрашивает серебряную ложку в черный цвет, когда она касается яйца: сульфид железа, зажатый в сендвиче между твердым металлическим серебром.
Подача напряжения на устройства подталкивает положительно заряженные ионы серебра в сульфиде серебра к слою серебряного катода, где те восстанавливаются до металлического серебра. Атомные нити серебра растут, в конечном счете закрывая промежуток между металлическими серебряными сторонами. Переключатель включен, и ток может течь. Реверсирование тока имеет противоположный эффект: серебряные мосты сокращаются, а переключатель выключается.
Однако вскоре после разработки переключателя группа Аоно начала наблюдать необычное поведение. Чем чаще использовался переключатель, тем легче он включался. Если же он некоторое время не использовался, он постепенно выключался самостоятельно. По сути, переключатель помнил свою историю. Аоно и его коллеги также обнаружили, что переключатели, похоже, взаимодействовали друг с другом, так что включение одного переключателя иногда блокировало или выключало других поблизости.
Большинство в группе Аоно хотело сконструировать эти странные свойства вне переключателей. Но Гимжевски и Стиг (который только что оформил докторскую степень в группе Гимжевского) вспомнили о синапсах, переключателях между нервными клетками в человеческом мозге, которые также меняют отношения с получением опыта и взаимодействием. И так родилась идея. «Мы подумали: почему бы не попробовать воплотить все это в структуре, напоминающей кору мозга млекопитающего, и изучить ее?», говорит Стиг.
Создание такую сложную структуру определенно было сложно, но Стиг и Одриус Авиценис, который только что присоединился к группе в качестве аспиранта, разработали для этого протокол. Выливая нитрат серебра на крошечные медные сферы, они могли вызвать рост микроскопически тонких пересекающихся серебряных проводов. Затем они могли пропустить через эту сетку серный газ, чтобы создать слой серебристого сульфида между серебряными проводами, как в исходном атомном переключателе команды Аоно.
Самоорганизованная критичность
Когда Гимжевски и Стиг рассказали другим о своем проекте, никто не поверил, что это сработает. Некоторые сказали, что устройство продемонстрирует один тип статической активности и на нем осядет, вспоминает Стиг. Другие предположили противоположное: «Они говорили, что переключение станет каскадным и вся конструкция просто сгорит», говорит Гимжевски.
Но устройство не расплавилось. Напротив, когда Гимжевски и Стиг наблюдали за ним через инфракрасную камеру, входной ток продолжал менять пути, которыми проходил через устройство — доказывая, что активность в сети была не локализована, а скорее распределена, как в мозге.
Однажды осенним днем в 2010 году, когда Авиценис и его коллега Генри Силлин повышали входное напряжение в устройстве, они внезапно заметили, что выходящее напряжение начало случайным образом колебаться, будто сетка проводов ожила. «Мы сели и смотрели на это, мы были в шоке», говорит Силлин.
Они догадывались, что нашли кое-что интересное. Когда Авиценис проанализировал данные мониторинга за несколько дней, он обнаружил, что сеть оставалась на одном и том же уровне активности в течение коротких периодов чаще, чем в течение длительных. Позже они обнаружили, что мелкие области активности более распространены, чем крупные.
«У меня челюсть отвисла», говорит Авиценис, потому что они впервые извлекли из своего устройства степенной закон. Степенные законы описывают математические отношения, в которых одна переменная изменяется как степень другой. Они применяются к системам, в которых более крупные масштабы, более длительные события менее распространены, чем мелкие и более короткие, однако распространены и не случайно. Пер Бак, датский физик, почивший в 2002 году, впервые предложил степенные законы как отличительные черты всех видов сложных динамических систем, которые могут организовываться на больших масштабах и длинных дистанциях. Такое поведение, говорил он, указывает, что сложная система балансирует и функционирует на золотой середине между порядком и хаосом, в состоянии «критичности», и все ее части взаимодействуют и связаны ради максимальной эффективности.
Как и предсказывал Бак, степенное поведение наблюдалось в мозге человека: в 2003 году Дитмар Пленц, нейрофизиолог Национального института здоровья, наблюдал, что группы нервных клеток активировали другие, которые, в свою очередь, активировали другие, зачастую запуская системные каскады активаций. Пленц обнаружил, что размеры этих каскадов следуют распределению по степенному закону, и мозг действительно действовал таким образом, чтобы максимизировать распространение активности, не рискуя потерять контроль над ее распространением.
Тот факт, что устройство Калифорнийского университета также продемонстрировало степенной закон в действии, это очень важно, говорит Пленц. Потому что из этого следует, что, как и в мозге, у него есть тонкий баланс между активацией и торможением, который удерживает в работе сумму его частей. Активность не подавляет сет, но и не прекращается.
Позднее Гимжевски и Стиг нашли еще одно сходство между серебряной сетью и мозгом: точно так же, как спящий человеческий мозг демонстрирует меньше коротких каскадов активации, чем бодрствующий мозг, состояние короткой активации в серебряной сети становится менее распространенным при более низких входных энергиях. В некотором роде, уменьшение энергопотребления в устройство может создать состояние, напоминающее спящее состояние человеческого мозга.
Обучение и вычисления
И вот вопрос: если сеть серебряных проводов обладает свойствами, похожими на свойства мозга, может ли она решать вычислительные задачи? Предварительные эксперименты показали, что ответ — да, хотя устройство, конечно, еще и отдаленно не сравнить с обычным компьютером.
Во-первых, программного обеспечения нет. Вместо этого исследователи используют тот факт, что сеть может искажать входящий сигнал различными способами, в зависимости от того, где измеряется выход. Это предлагает возможное использование для распознавания голоса или изображения, поскольку устройство должно иметь возможность очищать шумный входящий сигнал.
Из этого также следует, что устройство можно использовать для так называемых резервуарных вычислений. Поскольку один ввод может, в принципе, генерировать много, миллионы разных выводов (отсюда и резервуар), пользователи могут выбирать или комбинировать выводы так, чтобы результатом стало желаемое вычисление вводных. Например, если стимулировать устройство в двух разных местах одновременно, есть шанс, что один из миллионов разных выводов будет представлять сумму двух вводных.
Задача состоит в том, чтобы найти правильные выводы и декодировать их, а также выяснить, как лучше кодировать информацию, чтобы сеть могла ее понимать. Сделать это можно будет за счет обучения устройства: путем прогона задачи сотни или тысячи раз, сперва с одним типом ввода, затем с другим, и сравнения, какой вывод лучше справляется с задачей. «Мы не программируем устройство, но выбираем лучший способ кодировать информацию так, чтобы поведение сети было полезным и интересным», говорит Гимжевски.
В работе, которая скоро будет опубликована, ученые расскажут, как обучили сеть проводов производить простые логические операции. И в неопубликованных экспериментах они обучили сеть решать простую задачу на память, которую обычно задают крысам (Т-лабиринт). В тесте Т-лабиринта крыса вознаграждается, если делает правильный поворот в ответ на свет. Имея собственную версию для обучения, сеть может делать правильный выбор в 94% случаев.
До сих пор эти результаты были не более чем доказательством принципа, говорит Нуджент. «Маленькая крыса, принимающая решение в Т-лабиринте, никогда не приближается к чему-то из области машинного обучения, что может оценивать свои системы» на традиционном компьютере, говорит он. Он сомневается, что из этого устройства можно сделать полезный чип в ближайшие несколько лет.
Но потенциал огромен, подчеркивает он. Потому что сеть, как и мозг, не разделяет обработку и память. Традиционным компьютерам необходимо передавать информацию между различными областями, которые обрабатывают две этих функции. «Вся эта лишняя коммуникация накапливается, потому что проводам нужна энергия», говорит Нуджент. Взяв традиционные компьютеры, вы должны были бы обесточить Францию, чтобы смоделировать полный человеческий мозг в приличном разрешении. Если устройства вроде серебряной сети смогут решать задачи с эффективностью алгоритмов машинного обучения, работающих на традиционных компьютерах, они смогут задействовать в миллиард раз меньше энергии. А дальше дело за малым.
Выводы ученых также подтверждают мнение, что при правильных обстоятельствах интеллектуальные системы могут формироваться путем самоорганизации, не имея какого-либо шаблона или процесса для их разработки. Серебряная сеть «возникла спонтанно», говорит Тодд Хилтон, бывший менеджер DARPA, поддержавшего проект на ранних этапах.
Гимжевски считает, что сеть серебряных проводов или подобные устройства могут стать лучше традиционных компьютеров в прогнозировании сложных процессов. Традиционные компьютеры моделируют мир уравнениями, которые часто только приблизительно описывают сложные явления. Нейроморфные сети на атомных переключателях выравнивают собственную внутреннюю структурную сложность с явлением, которое моделируют. И они также делают это быстро — состояние сети может колебаться со скоростью до десятков тысяч изменений в секунду. «Мы используем сложную систему для понимания сложных явлений», говорит Гимжевски.
В начале этого года на заседании Американского химического общества в Сан-Франциско Гимжевски, Стиг и их коллеги представили результаты эксперимента, в ходе которого они скормили устройству первые три года шестилетнего набора данных о дорожном движении в Лос-Анджелесе, в форме серии импульсов, указывающих количество проезжающих машин в час. Через сотни часов обучения вывод, наконец, предсказал статистическую тенденцию второй половины набора данных, и вполне неплохо, хотя устройству его не показывали.
Возможно, однажды, шутит Гимжевски, он использует сеть для прогнозирования фондового рынка.
