Функция VoiceOver Screen Recognition в iOS 14 стала использовать машинное обучение. Раньше она могла помочь только в работе с самой операционной системой, встроенными и самыми популярными программами, теперь же — объяснит интерфейс любого приложения и сюжет каждой фотографии. 

Приложение обучено на огромном количестве скриншотов популярных программ с вручную размеченными элементами управления. Теперь система может понимать логику пользовательского интерфейса и сама узнавать функционал новых программ или обновления интерфейса старых.

Достаточно попросить Siri включить VoiceOver и описать происходящее на экране. После того как нужные данные будут загружены один раз, инструмент сможет работать без подключения к интернету — распознавание будет происходить на самом устройстве. 

Пока новые возможности VoiceOver доступны только на мобильных устройствах. Но зато с его помощью можно смотреть фотографии или ленту Instagram! Алгоритм не просто сухо перечисляет объекты, которые сможет распознать, но и связно их описывает: вместо «на этой картинке есть ребенок, собака и мяч» слепой услышит «собака бежит по дороге навстречу вашему сыну с мячом в зубах». Потрясающе!

    Полезные материалы в одной еженедельной рассылке
    Подписывайтесь, не пожалеете.