В России ускорили обучение генеративных нейросетей
Специалистам удалось уменьшить число параметров для обучения примерно на четыре порядка
МОСКВА, 28 февраля. /ТАСС/. Исследователи из России разработали стратегию, которая позволяет на несколько порядков ускорить обучение так называемых генеративных нейросетей, одной из форм искусственного интеллекта, и использовать их для создания более универсальных систем ИИ. Об этом во вторник сообщила пресс-служба НИУ ВШЭ.
«Ранее для адаптации генеративной нейросети для решения новых задач, к примеру, рисования портретов в стиле студии Pixar, мы дополнительно обучали почти все параметры, а это порядка 30 млн переменных. Нашей целью было уменьшить их число, так как мы понимали, что не имеет смысла обучать заново весь генератор, чтобы изменить только стиль изображения», — пояснил заведующий Центром глубинного обучения и байесовских методов НИУ ВШЭ (Москва) Дмитрий Ветров, чьи слова приводит пресс-служба вуза.
За последние годы ученые продвинулись в разработке систем искусственного интеллекта и создали нейросети, способные выполнять нетривиальные задачи и даже мыслить креативно, создавая новые образцы искусства и технологий. В частности, были созданы системы ИИ, способные рисовать картины и «раскрашивать» видеоролики в стиле Винсента Ван Гога или Василия Кандинского.
Это стало возможным благодаря появлению так называемых GAN-сетей, способных не только распознавать какие-то объекты или решать задачи, но и вырабатывать что-то новое. Как правило, такая система состоит из двух соперничающих между собой нейросетевых блоков — один из них, «генератор», предлагает новые варианты, а другой, «инспектор» — пытается понять, сделала ли первая половина сети ошибку, укладываются ли результаты ее работы в определенные критерии.
Ускоренное обучение нейросетей
Как отмечают Ветров и ее коллеги, GAN-сеть достаточно сложно обучить нужным действиям и достичь максимума ее производительности, но при этом она работает гораздо надежнее после обучения, чем другие типы ИИ. Российские ученые задумались, можно ли упростить процедуру повторного обучения подобных систем машинного обучения для решения схожих, но несколько иных задач.
Эту задачу им удалось решить для нейросети StyleGAN2, которая преобразует случайный шум в реалистичную картинку. Для обучения этой системы используют свыше 30 миллионов переменных, влияющих на преобразование шумов в изображение, а также каким образом «генератор» и «инспектор» вырабатывают и выбирают картинки.
Российским ученым удалось уменьшить число параметров для обучения примерно на четыре порядка при помощи подхода, который позволяет контролировать работу нейросети при помощи всего шести многомерных векторов, каждый из которых содержит около тысячи переменных. Это позволяет на несколько порядков уменьшить время обучения, а также необходимый для этого объем памяти.
По словам Ветрова и его коллег, подход можно применять не только для быстрого обучения GAN-сетей, но и создания так называемых «гиперсетей», способных адаптироваться к решению большого числа схожих задач. Это значительно расширит практическую применимость систем ИИ, подытожили ученые.