Как Алиса узнаёт страны по фотографиям. Исследование Яндекса / Хабр
Привет! Меня зовут Евгений Кашин, и я работаю в лаборатории машинного интеллекта Яндекса. Недавно мы запустили игру, в которой пользователи соревнуются с Алисой в угадывании стран по фотографиям.
Как действуют люди — понятно: они узнают места, которые видели в путешествиях или в кино, полагаются на эрудицию и здравый смысл. У нейросети ничего этого нет. Нам стало интересно, какие детали на снимках подсказывают ей ответ. Мы провели исследование, результатами которого сегодня поделимся с Хабром.
Этот пост будет интересен как специалистам в области компьютерного зрения, так и всем, кто хотел бы заглянуть внутрь «искусственного интеллекта» и понять логику его работы.
Несколько слов о самой игре «Угадай страну по фото». Если вкратце, мы взяли фотографии с Яндекс.Карт и разделили их на две группы. Первую группу показали нейросети, сообщив, где сделан каждый снимок.
Просмотрев тысячи фотографий, нейросеть составила представление о каждой стране — т. е. самостоятельно выделила комбинации признаков, по которым можно её узнать. Вторую группу снимков мы используем в игре, их Алиса не видела и в процессе игры не запоминает. Алиса играет хорошо, но у людей есть преимущество: мы не обучали нейросеть распознавать номера машин, тексты вывесок и указателей, флаги государств.
Для игры мы обучили модель предсказывать страну по одной фотографии. Взяли модель компьютерного зрения SE-ResNeXt-101, предобученную на множестве задач. Признаки, получаемые из изображения с помощью этой свёрточной нейронной сети, достаточно универсальны, поэтому для классификатора стран понадобилось добавить лишь несколько дополнительных слоёв (так называемую голову). Для обучения использовали данные Яндекс.Карт: примерно 2,5 млн фотографий. Многие снимки не подошли для игры по критерию красоты и были отфильтрованы. Под красотой понимается совокупность факторов: качество фотографии, наличие людей, текста, леса, моря.
Так как классификация происходит с помощью нейронной сети, мы не можем легко получить интерпретацию предсказаний, в отличие от более простых линейных моделей или деревьев решений. Но нам хотелось выяснить, как нейронная сеть определяет по обычной фотографии улицы или дома, какая это страна. Причём интереснее всего случаи без достопримечательностей в кадре.
Для этого мы обучили нейронную сеть с нуля, подавая ей на вход не целые изображения, а лишь небольшие кусочки — кропы (чтобы модель не запоминала конкретные места или крупные объекты).
Таким образом задача для модели стала заметно сложнее (попробуйте угадать страну по кусочку неба), точность распознавания сильно снизилась.
Но зато нейронной сети пришлось уделять больше внимания мелким деталям: необычной кладке, специфическим узорам, типу крыши, растениям. Размер подаваемых в модель кропов менялся, и получались различные модели, которые смотрели на фото на разных уровнях абстракции: чем меньше кроп — тем сложнее задача и тем внимательнее модель к мелочам.
К моделям, которые обучались на кропах разных размеров, можно применить алгоритмы для интерпретации предсказаний. Интерпретировать предсказания хотелось бы на исходных фотографиях. Большинство современных свёрточных сетей перед последним слоем используют Global Average Pooling (GAP) — это даёт возможность обучать сеть на одном размере, а применять на другом. Так получается благодаря тому, что перед последним слоем пространственные признаки, распределённые по ширине и высоте, усредняются в одно число для каждого канала (карты признаков — feature map). Поэтому модели, обученные на кропах (к примеру, 160 × 160 пикселей), можно использовать на исходных, больших изображениях (800 × 800).
На самом деле слой GAP нужен не только для использования модели на разных разрешениях или для регуляризации. Он также помогает нейронной сети сохранять информацию о положении объектов до самого последнего слоя (как раз то, что нам нужно).
Первый метод, который мы попробовали, — Class Activation Mapping (CAM).
Когда изображение подаётся на вход нейронной сети, то на предпоследнем слое получается уменьшенное «изображение» (на самом деле тензор активаций) с самыми важными для каждого предсказываемого класса признаками. С помощью CAM-метода можно изменить последние слои так, что на выходе получится вероятность каждого класса в каждом регионе. Например, если нужно предсказывать 60 классов (стран), для входного изображения 800 × 800 финальное изображение будет состоять из 60 карт активаций размером 25 × 25. Это хорошо проиллюстрировано в исходной публикации.
На схеме сверху изображена обычная модель с GAP: пространственные признаки сжимаются до одного числа для каждого канала (карты признаков), после этого идёт полносвязный слой, предсказывающий классы, который находит оптимальные веса для каждого канала.
Ниже показано, как изменить архитектуру, чтобы получить метод CAM: слой GAP убирается, а веса последнего полносвязного слоя, полученные при обучении с GAP (выше на схеме), используются для каждого канала в каждой точке. Для каждой картинки получается N карт активаций для всех предсказываемых классов. Для каждой страны — чем более яркая область на «карте», тем больший вклад внёс этот участок изображения в решение выбрать некую страну. Что интересно: если после этой операции усреднить каждую карту активации (по сути, применить GAP), то получится как раз изначальное предсказание для каждого класса.
На изображении вы видите карту активации для наиболее вероятного (по мнению модели) класса. Она была получена путём растяжения карты активации 25 × 25 до размера исходного изображения 800 × 800.
Другие примеры
Получив такую карту для каждого изображения, мы можем агрегировать самые важные кропы для стран с разных изображений.
Это позволяет посмотреть на коллекцию кропов, описывающих страну лучшим образом.
Второй метод, с которым мы решили сравнить первый, — простой перебор. Что, если взять модель, обученную на маленьких кропах (например, 160 × 160 пикселей), и предсказать ею каждый кусочек на большом изображении 800 × 800? Пройдя скользящим окном с наложением по каждой области на изображении, получим другой вариант карты активаций, показывающей, насколько вероятно каждый кусочек изображения относится к классу предсказанной страны.
Изображение нарезано на маленькие кропы с перекрытием размера 160 × 160. Для каждого кропа нейронная сеть делает предсказания, число над кропом — вероятность принадлежности к классу, который в итоге предсказала модель.
Ещё примеры
Как и в первом методе, мы опять можем выбрать наиболее вероятные для каждой страны кусочки. Но полученные обоими способами изображения для страны могут быть однообразными (например, здание с разных ракурсов или один вариант текстуры).
Китай
Италия
Германия
Мексика
США
Турция
Австралия
Получив достаточно похожий пайплайн для двух методов, можно перебрать параметры алгоритмов, чтобы найти оптимальную комбинацию.
Неинтуитивным оказалось то, что более простой метод нахождения кропов на картинке (обычный перебор) находит более «интересные» объекты. Это может быть связано с тем, что во втором методе (перебор) нейронная сеть не видит соседнюю часть изображения, а в CAM-методе окружение точки влияет на результат. В итоге мы получили визуализацию характерных черт каждой страны в автоматическом режиме.
Так что теперь мы знаем, какие части кадра имеют определяющее значение для нейросети, и можем посмотреть, что на них попало. Например, Нидерланды нейросеть узнаёт по сочетанию тёмных кирпичных стен и белых контуров окон, ОАЭ — по специфическим небоскребам на фоне пальм, а Иран — по характерным аркам и орнаментам на фасадах.
Угадай страну по фото
Угадай страну по фотоДо перехода на сайт осталось секунд. Пропустить рекламу
Выкса.РФ » Фотолента
28 апреля 2016, 9:54 · Просмотров: 3 580 · Версия для печати
Вчера, 27 апреля на улице Островского нарисовали новую разметку. Вероятнее всего, красили специалисты из Иваново — работала спецтехника с номерами 37 региона. Сегодня утром дорожные службы провели ямочный ремонт поверх свежей покраски.
«Разве должно быть не наоборот — сначала ямочный ремонт, а потом разметка?» — недоумевает наш читатель Олег.
Если Вы заметили ошибку в тексте, выделите её и нажмите Ctrl+Enter, чтобы отослать информацию редактору.
Спасибо!
« предыдущая новость следующая новость »
Дачный сезон вместе с магазином «Доброцен»
«Ритуал-Сервис»: полный спектр ритуальных услуг по низким ценам
Автотехцентр на Запрудной, 4 — автомойка, шиномонтаж, легковой и грузовой автосервис
Покупайте саженцы роз в магазине «Доброцен»
Студия «Курс плюс»: три курса по цене одного
Только с 21 по 25 апреля
Вакансии в «Трансавто-52»: стабильная зарплата, полный соцпакет, стажировка и переподготовка за счёт работодателя
«Русполимет» приглашает на работу
«Центр Керамики» — магазин керамической плитки, керамогранита и сантехники в Муроме
Покупайте ветчину в магазине «Доброцен»
«Городская ритуальная компания» — надёжный помощник в организации похорон
28 апреля, 16:07Экс-полицейским дали 7 с лишним лет колонии за взятку
28 апреля, 15:49Опубликован график работы миграционного отдела в майские праздники
28 апреля, 15:09Пожарные отметили профессиональный праздник 📷
28 апреля, 14:46Медиков наградили ко Дню скорой помощи
28 апреля, 13:58Школьникам рассказали о работе Молодёжной палаты
Афиша: Фестиваль «Весна Победы»
7 мая лесопосадка 28 апреля, 11:41МИСиС объявил победителей научно-практической конференции
28 апреля, 11:31Дорогу между улицами Белякова и Пирогова перекрыли на неделю
28 апреля, 10:18В праздничные выходные Выксу накроют дожди
28 апреля, 8:56«Металлург» заявил на чемпионат области 28 футболистов
28 апреля, 8:51Школьникам раздали георгиевские ленточки
28 апреля, 8:46Прокуратура обязала предоставить лекарство ребёнку-инвалиду
27 апреля, 16:52«Дробмаш» вышел на субботник
27 апреля, 16:15Как Выксунская ЦРБ будет работать в майские праздники
27 апреля, 16:03Бизнес-инкубатор бесплатно распечатает портреты семейных героев ко Дню Победы
угадать страну по изображению
#география #страна #картинка 195 лайков , видео TikTok от географии (@geographycom): «Угадай страну по картинке #fyp #geography #country #picture».
Угадай страну по
Картина
РЕЖИМ: Легкий оригинальный звук — география.
5107 просмотров|
оригинальный звук — география
propetross
propetross
Угадай страну по картинке #1 #itshard #countries #fla g
2,5 тыс. лайков, 131 комментарий. Видео TikTok от proPetross (@propetross): «Угадай страну по изображению №1 #itshard #countries #flag». Музыка для презентации — ТимТай.
92,6 тыс. просмотров|
Музыка для презентации — TimTaj
geo.funn
Geo Fun
Угадай страну по картинкам 🌃🌆😁 #fyp #geography #europe #flag #flags #art #pic
185,6 тыс.
лайков, 1,2 тыс. Комментарии. Видео в TikTok от Geo Fun (@geo.funn): «Угадай страну по картинкам 🌃🌆😁 #fyp #geography #europe #flag #flags #art #pic». Угадай страну по картинкам
Европа | Германия 🇩🇪 | Италия 🇮🇹 | … Пираты Карибского моря — Основная тема — Он пират — Компьютерная музыка.
2,6 млн просмотров|
Пираты Карибского моря — Основная тема — Он пират — Компьютерная музыка 0004
#guessbyphotoTikTok видео от quizomaniac (@ quizomaniac): «Угадай страну по картинке#угадайстрану#угадайпокартинке#угадайпофото». оригинальный звук — quizomaniac.
311 просмотров|
оригинальный звук — quizomaniac
geo.funn
Geo Fun
Ответ на @joe Немного сложнее 😊 #fyp #geography #europe # флаг #флаги #арт #pic
49,1 тыс.
лайков, 808 комментариев. Видео TikTok от Geo Fun (@geo.funn): «Отвечаю @joe Немного сложнее, выпуск 😊 #fyp #geography #europe #flag #flags #art #pic». Часть 2 | Угадай страну по картинкам
Европа | Россия 🇷🇺 | … Пираты Карибского моря — Основная тема — Он пират — Компьютерная музыка.
1,2 млн просмотров|
Пираты Карибского моря — Основная тема — He’s A Pirate — Geek Music
geodata877
geoDATA
Угадай страну по картинке 🖼️
Asia edition……..
Ставь лайк и подписывайся, чтобы узнать больше 🙏❤️ 90 125 Ти Видео kTok от geoDATA (@geodata877): «Угадай страну по картинке 🖼️ Asia edition.. …… Ставьте лайк и следите за новостями 🙏❤️ #asia #mountains #beach #fyp #southasia #quiz #country». История времени — Эндер Гюней.
334 просмотра|
History Of Time — Ender Güney
geo.funn
Geo Fun
Угадай страну по картинкам 🌏🌁☺️ #fyp #geography # азия #флаг #флаги # art #pic
29,3 тыс.
лайков, 152 комментария. Видео в TikTok от Geo Fun (@geo.funn): «Угадай страну по картинкам 🌏🌁☺️#fyp #geography #asia #flag #flags #art #pic». Угадай страну по картинкам
Азия | Япония 🇯🇵 | Китай 🇨🇳 | … Пираты Карибского моря — Основная тема — Он пират — Компьютерная музыка.
591,3 тыс. просмотров|
Пираты Карибского моря — Основная тема — Он пират — Компьютерная музыка
geographyfacts.global
Geography Facts Global
После этого они начинают становиться сложнее. #geography #country #countries #guess #fact #randomfact #guessthecountry #xyz bca #europa
69,8 тыс. лайков, 2,8 тыс. комментариев. Видео TikTok от Geography Facts Global (@geographyfacts.global): «После этого они начинают становиться сложнее.
#geography #country #countries #guess #fact #randomfact #guessthecountry #xyzbca #europa». Угадай страну по картинке и случайному факту | Часть 7 | Самая посещаемая страна в мире Счета, счета, счета — Destiny’s Child.
370,7 тыс. просмотров|
Счета, Счета, Счета — Destiny’s Child
remcogrf1
Латифи > литтерли каждому водителю
«Что такое гиум»😂😂😂 #charles #carlo s #f1 #fy #foryou
408 лайков, TikTok видео от Латифи > литерно каждому водителю (@remcogrf1): «»Что такое gium»😂😂😂#charles#carlos#f1#fy#foryou». Чарльз и Карлос угадывают страну по картинкам😂 Она знает — Джей Коул.
5796 просмотров|
She Knows — J. Cole
a_familiar_grasp
Знакомая хватка
Угадай страну по ее флагу wuiz часть 2 #fyp #foryoupage 900 03 #foryourpage #recommendations #recommend #quiz #countrygame #countryquiz #flagquiz #guessthecountry #uk #england #ireland 90 003 #севернаяирландия #italy #africa #nigeria #generalknowledge #geography #part2 #countriestovisit 9000 3 #факты #флаги #европа #игра
96 лайков, 29 комментариев.
Видео TikTok от A Familiar Grasp (@a_familiar_grasp): «Угадай страну по их флагу wuiz часть 2 #fyp#foryoupage#foryourpage#recommendations #recommend#quiz#countrygame#countryquiz#flagquiz#guessthecountry#uk#england#ireland#northernireland# италия#африка#нигерия#общиезнания#география#часть2#страныпосетить#факты#флаги#европа#игра». У вас будет 3 секунды на изображение | Угадай страну по флагу
Часть 2 | Северная Ирландия | … Low Down — Венби и Дэн Фэйбл.
13,2 тыс. просмотров|
Low Down — venbee & Dan Fable
Угадай исполнителя страны… Выиграй iPad!
101-9 POR’s Джон, Джо и Кортни и Monument Records хотят отправить вас обратно в школу с новым iPad! Мы собрали много фотографий, когда некоторые из ваших любимых кантри-звезд учились в школе. Посмотрите, сможете ли вы выяснить, кто сегодня известный художник ниже! Угадайте правильно, и вы сможете выиграть новый iPad! Каждый будний день мы будем представлять разных исполнителей… так что вы можете участвовать каждый день! Мы будем раздавать iPad каждую неделю в течение сентября!
Вчерашней художницей была Каллиста Кларк.
Сможете ли вы опознать современного художника?
Идентифицируйте маленького мальчика справа, и все готово.
Его песня «You Time» только что заняла первое место!
Кто это?
Введите свое предположение ниже и вернитесь завтра, чтобы сыграть снова!
С 07.09.21 и до 01.10.21 школьная фотография другого кантри-артиста будет размещена по адресу 1019.por.com каждый будний день в 7 утра, с подсказкой об их личности. Слушатели могут регистрировать одно предположение каждый день, когда появляется новая картинка. Каждый понедельник (13.09, 20.09, 27.09 и 4.10) случайным образом будет выбран один победитель из числа слушателей, зарегистрировавших хотя бы одно верное предположение за неделю до этого. Каждый еженедельный победитель будет награжден iPad стоимостью 229 долларов США, любезно предоставленным Monument Records. Каждый человек может выиграть только один раз. С победителями свяжутся по электронной почте.
Победители должны будут подписать формы освобождения на 101.9POR Studio (или по электронной почте), 420 Western Avenue в Южном Портленде, штат Мэн, в обычное рабочее время (с понедельника по пятницу, с 8:00 до 17:00). iPad будут отправлены по почте победителю компанией Monument Records.
Из-за характера наших программ, которые транслируются в режиме онлайн через Интернет, конкурсы могут вообще не транслироваться на 101.9 WPOR. Конкурсы, слышимые в аудиопотоке интернет-радиостанции, могут быть немного задержаны с момента, когда конкурсы слышны на вещательной станции, и будут проходить за сигналом вещания. Таким образом, все конкурсы, услышанные в Интернете, задерживаются. Эта задержка может длиться до 30 секунд и более. Это означает, что при 101,9Проводятся конкурсы WPOR, в которых требуется, чтобы конкретный абонент звонил на радиостанцию (например, «Абонент номер 9, когда вы слышите звуковой эффект»). конкурсы в прямом эфире.
Все конкурсы 101.9 WPOR открыты для всех подходящих жителей штата Мэн, которые живут или работают в пределах 75 миль от нашего передатчика в возрасте 18 лет и старше и не выиграли ничего на Coast 93.
1 за последние 30 дней или каких-либо призов на сумму 600 долларов США или более в прошлом. 6 месяцев. В течение 30 дней после определения победителя в семье допускается только один победитель на домохозяйство. Любой приз, присужденный неподходящему слушателю, будет считаться недействительным, и может быть назван другой правомочный победитель.
Сотрудники 101.9 WPOR, Portland Radio Group и ее конечной материнской компании Saga Communications, Inc., их рекламных агентств, филиалов, спонсоров конкурса, сотрудников и ближайших родственников каждого из них, а также сотрудников всех средств массовой информации в пределах ста в радиусе мили от главной студии WPOR 101,9 не имеют права побеждать ни в одном конкурсе. К ближайшим родственникам относятся супруг, прадеды, бабушки и дедушки, родители, братья, сестры, дети, внуки и правнуки работника и его/ее супруги. Сюда также входят лица, для которых работник является текущим законным опекуном.
Покупка не требуется. 101.9 Единственной обязанностью WPOR будет присуждение приза.