Генеративно-состязательную сеть (GAN) можно научить имитировать любой набор данных. Одно из применений нейронных сетей этого типа — перенос стиля (style transfer) между изображениями. Хочешь рисовать пейзажи как Ван Гог или мангу как Осама Тэдзуки — пожалуйста. Можно пойти дальше и научить нейросеть рисовать в этом же стиле что-то свое.

Все идет отлично, когда данных для обучения много и можно нарезать хотя бы сотню тысяч изображений; а если цель — имитировать стиль эпохи, экземпляров которого не наберется и несколько тысяч?

Для этого нужно искусственно расширить набор данных, внести в изображения небольшие изменения. Чаще всего это приводит к тому, что GAN просто учится качественно их имитировать (это называется переобучением), но так нейросеть не сможет создавать действительно уникальные образы и будет лишь копировать оригиналы. 

Разработанный NVIDIA алгоритм генерации обучающих выборок вносит в них такие искажения, которые в нейросеть не «протекают». У инструмента, анонсированного на конференции NeurIPS на этой неделе, есть еще одно неожиданное и полезное применение — в сфере здравоохранения. Медицинских изображений некоторых форм рака или редких заболеваний недостаточно для того, чтобы научить алгоритмы их распознавать, а генерация новых требует много времени. Для создания качественного датасета патологий новый алгоритм будет как нельзя кстати.

Исследование NVIDIA, которое можно почитать.

Демо AI-разработок NVIDIA, которые можно потрогать.

Новая манга от бога манги Осаму Тэдзуки, которую можно посмотреть.

Записи выступлений на NeurIPS 2020 (продолжают добавляться).

    Полезные материалы в одной еженедельной рассылке
    Подписывайтесь, не пожалеете.