Генеративно-состязательную сеть (GAN) можно научить имитировать любой набор данных. Одно из применений нейронных сетей этого типа — перенос стиля (style transfer) между изображениями. Хочешь рисовать пейзажи как Ван Гог или мангу как Осама Тэдзуки — пожалуйста. Можно пойти дальше и научить нейросеть рисовать в этом же стиле что-то свое.
Все идет отлично, когда данных для обучения много и можно нарезать хотя бы сотню тысяч изображений; а если цель — имитировать стиль эпохи, экземпляров которого не наберется и несколько тысяч?
Для этого нужно искусственно расширить набор данных, внести в изображения небольшие изменения. Чаще всего это приводит к тому, что GAN просто учится качественно их имитировать (это называется переобучением), но так нейросеть не сможет создавать действительно уникальные образы и будет лишь копировать оригиналы.
Разработанный NVIDIA алгоритм генерации обучающих выборок вносит в них такие искажения, которые в нейросеть не «протекают». У инструмента, анонсированного на конференции NeurIPS на этой неделе, есть еще одно неожиданное и полезное применение — в сфере здравоохранения. Медицинских изображений некоторых форм рака или редких заболеваний недостаточно для того, чтобы научить алгоритмы их распознавать, а генерация новых требует много времени. Для создания качественного датасета патологий новый алгоритм будет как нельзя кстати.
Исследование NVIDIA, которое можно почитать.
Демо AI-разработок NVIDIA, которые можно потрогать.
Новая манга от бога манги Осаму Тэдзуки, которую можно посмотреть.
Записи выступлений на NeurIPS 2020 (продолжают добавляться).
