Ученые МФТИ совместно с коллегами из ННГУ им. Н. И. Лобачевского разработали механизм, позволяющий искусственным нейронным сетям, имитирующим работу мозга, сохранять стабильность и избегать сбоев. Разработка открывает путь к созданию сверхнадежных нейроморфных вычислительных систем.
«В основу нашей разработки заложен принцип гомеостаза — способности систем сохранять равновесие за счет внутренних ресурсов. Это свойство, которое в большей степени присущее биологическим объектам, было реализовано в цифровой архитектуре», — рассказал один из авторов исследования, руководитель лаборатории нейробиоморфных технологий МФТИ и кафедры нейротехнологий Института биологии и биомедицины ННГУ им. Н. И. Лобачевского Виктор Казанцев.
Для этого были задействованы специальные механизмы, благодаря которым искусственная нейросеть в реальном времени отслеживала уровень своей активности и гибко регулировала силу сигналов между нейронами. Это позволяло системе подавлять перевозбуждения и не допускать «сваливания» в неконтролируемые режимы.
Авторы провели моделирование на базе разработанной ими импульсной нейронной сети (ИНС) — платформе, которая по своей структуре максимально приближена к работе биологического мозга. В таких архитектурах сигналы проходят от нейрона к нейрону в виде коротких электрических импульсов — спайков. При этом в остальное время нейроны неактивны, что значительно экономит вычислительные мощности по сравнению с традиционными нейросетями.
В процессе исследования ученые показали, что импульсная нейронная сеть при низких целевых частотах увеличивает число спайков внутри каждого всплеска, а при высоких — наращивает частоту самих всплесков. Это позволяет системе автоматически подстраиваться под требуемый уровень активности, сохраняя стабильность в широком диапазоне режимов работы.
Исследователи также обнаружили, что значимую роль в подавлении перевозбуждений играет кратковременная синаптическая депрессия — процесс, при котором синапсы (контакты между нейронами) после фазы интенсивной активности на небольшой период ослабляют передачу сигналов. Это предотвращает лавинообразное нарастание возбуждений, при которых отдельные нейроны генерировали бы сотни импульсов подряд.
Ученые дополнили разработку алгоритмом долговременной пластичности. Он изменяет вес связей между нейронами в зависимости от интервалов между импульсами. Это позволило всем нейронам в широком диапазоне частот синхронно реагировать на внешние стимулы. В результате система научилась генерировать «сетевые спайки» — кратковременные разряды, в которых участвуют практически все нейроны. При превышении допустимого порога нейросеть переключалась в режим пропуска лишних стимулов, а при генерации ответа выдавала мощный синхронный разряд. Такой режим позволил сделать передачу сигнала устойчивой к шуму.
По словам исследователей, предложенные механизмы могут стать фундаментом для создания простых нейроморфных процессоров, сопоставимых по энергоэффективности с человеческим мозгом, которые благодаря саморегуляции смогут избегать «зависаний» и будут защищены от помех. Такие системы могут найти применение в автономной робототехнике — устройствах, которые смогут принимать решения без постоянной связи с облачными серверами.
В перспективе ученые планируют адаптировать предложенный подход для более сложных систем. Например, таких, в которых нейроны смогут самостоятельно формировать новые связи взамен утраченных.
Исследование выполнено при поддержке Минобрнауки России.
