Ситуация, в которой нужно срочно определить “происхождение” картинки – не такое уж редкое явление. Как это сделать быстро известно не всем. На самом деле, сделать это достаточно просто – функция поиска по фото с телефона в Яндексе доступна уже несколько лет. Давайте же разберемся, как это работает, а также узнаем историю появления подобной технологии.
Поиск по атрибутам
Алгоритм интеллектуального анализа содержания изображений появился не так уж и давно. Поначалу, ПС находили картинки по атрибутам, приписанным файлу, что иногда, приводило к “удивительным” результатам. Например, при попытках нахождения по фото зелёного зонтика с узором – Яндекс отображал кирпич или ещё чего похуже. Поиск нужного фото с телефона не мог увенчаться успехом в принципе. Но и это не самое страшное.
Потихоньку, по каким-то определённым запросам, «роботы» Google начали собирать фото, скажем так “непубличного” содержания. Не совсем понятно, как так получилось – нелепое стечение обстоятельств или кто-то злонамеренно распространял подобный контент, известно одно – до начала использования интеллектуального алгоритма сортировки и анализа изображений в поисковой выдаче творился настоящий хаос – один из примеров рассмотрим далее.
“Шок” в картинках
До 2011 года пользователь, ищущий определённый запрос на стартовой странице в Google натыкался на фотографии шокирующего содержания. Кстати, подобный механизм выдачи остался до сих пор, с той лишь поправкой, что теперь изображения не отображаются на главной странице. А в разделе картинки – пожалуйста, всё осталось как есть. Интересно другое: в системе Яндекса подобные запросы уже не срабатывают. Это позволяет сделать вывод, что способ эффективной модерации найден – почему им не воспользуется Гугл – остаётся загадкой.
“Умный” поиск изображений в Google
В 2011 году, сотрудники Гугл потихоньку начали внедрять новые алгоритмы распознавания и сортировки изображений. Теперь робот не доверял тегам, описывающим картинки, а разбивал отдельно взятое фото на несколько отдельных элементов и классов, присваивая каждому — отдельный, индивидуальный код. Так, незаметно для широкой массы пользователей, произошёл огромный скачок в сфере разработки технологий искусственного интеллекта, ведь ещё в 2005 году никто и не мог даже предполагать, что поисковая машина научится обрабатывать титанический объём информации, выдавая при этом точные результаты.
Похожим же образом, обрабатывать и распознавать отдельные части фото научился и Yandex, о котором и пойдёт речь далее.
Анализ медиаконтента в Яндексе
Нельзя сказать, что российский поисковик пошёл полностью “своим” путём. Фундаментальные различия в подходе к анализу и обработке фотографий, конечно есть, но “база” всё же общая. До запуска нового алгоритма поиска изображений в 2013-м году, выдача фотокарточек модерировалась специальными людьми – асессорами (основная задача которых – “очеловечивание” поисковой системы и механизмов индексации). Иными словами – асессоры, это те, кто помогают Yandexу “умнеть”. Правда, этот ресурс очень ограничен, а потому, отдел таких помощников анализировал информацию только по самым популярным запросам. Они же, старались привести поиск по фото с телефона в Яндексе в адекватный вид.
В середине года, специалисты Яндекса всё же запустили новую систему распознавания графики на базе технологии CBIR (поиск фото по содержанию). Вообще, идея осмысленного поиска фотографий не нова, и исследований с 1992 года на эту тему было сделано очень много. Немало было разработано и проектов, призванных решить проблему “осмысления” медиаконтента роботом, но к конкретным результатам пришли лишь крупнейшие поисковые агрегаторы и с десяток компаний, работающих в других направлениях разработки технологий искусственного интеллекта (например, тот же TinEye, который мы также не обойдём стороной).
Как же это работает?
CBIR Яндекса опирается на анализ и классификацию, так называемых “визуальных слов”. Это видно на следующей схеме:
Таким образом, поисковая машина теперь буквально “видит” файл, загруженный пользователем, и очень точно находит похожие фото, как по цвету – так и по содержанию.
В 2016 году, подразделение Яндекса (YDF) – осуществило пробный запуск сервиса автомодерации фотографий. Это экспериментальное решение для соц. сетей, интернет-магазинов и других ресурсов, нуждающихся в уникальном медиаконтенте. Разработка была признана перспективной, в её основу легли технологии искусственного интеллекта и компьютерного зрения.
Уже на этапе пользовательского тестирования, один из менеджеров проекта сообщил, что использование сервиса будет поставлено на коммерческие рельсы. На практике оказалось, что подобная борьба за легализацию и уникальность изображений не очень-то совпадает даже с правовой базой, не говоря уже об общих тенденциях Рунета.
Общую картину мы видим, давайте же попробуем разобраться с практическим применением.
Удобство “умного поиска”
Вы листаете новости в любимой соц. сети или что-то ожесточенно обсуждаете в групповом чате мессенджера. Поток букв, стикеров, аудиозаписей, документов и тут, ваше внимание притягивает неизвестное доселе художественное произведение. Но кто это нарисовал, Вы не знаете, и друзья пожимают плечами – не у всех в френдлисте припрятан искусствовед. Мы ищем картину, на которой изображена лодка с людьми, рядом со скалами в шторм. Вот же она:
Поиск фотографии по описанию для нас выглядел бы следующим образом:
Не очень удачно получилось, правда? И лодка у нас есть, и море и скалы, но всё не то. Придётся немного поправить запрос.
Мы подобрались ближе, но результата ещё нет.
Что же у нас тут вообще происходит? Есть море, есть буря. Что делает буря? Правильно, бушует.
Немного изменим запрос.
Вот наша картина и нашлась. Это работа Айвазовского “Бущующее Море”. Стоит заметить, что Айвазовский – известен в широких кругах, а с некоторыми его произведениями знакомят ещё со школьной скамьи. Но у него очень много картин о море, прибавим к этому кучу других фотокарточек в поисковой выдаче и готово – без “пляски” с бубном нам не разобраться. А теперь представьте всё то же самое, но с мобильного.
А что делать с произведениями других художников? Они не всегда поддаются описанию. Ниже у нас “Искушение св. Антония” написанное Босхом:
Эту картину не то что трудно описать машине, не каждому человеку то удастся объяснить, что тут изображено.
В этом и проявляется несовершенство поиска по тегам и описаниям. И если с ПК мы ещё можем немного посидеть и поискать мышью нужное нам фото, то со смартфона это очень неудобно делать. Экран не такой большой, как на стационарном компьютере или ноутбуке, а информации очень много – придётся долго проматывать вниз.
Автор рекомендует:
- Что такое OTG в смартфоне: как использовать?
- Что за программа AZFiles File Info и как пользоваться?
- Как перекинуть фото с Айфона на компьютер Windows, Mac
- Исправляем ошибку RH-01 в Google Play
Поиск по фото с телефона в Яндексе
Для того, чтобы найти фотографию нам нужно сделать следующее в браузере, запустив Yandex:
- Делаем 1 “тап” (прикосновение) в поле ввода;
- Жмём кнопку “Спросить картинкой”:
- Подгружаем файл из памяти смартфона;
- Готово, на скриншоте вы можете заметить что у нас всё получилось – это фото нашлось, а также нашлись похожие:
Поиск фотографий в Гугл
Устройства под управлением Андроид, снабжены стандартной службой поиска – Google Images. Для её использования, сделайте длительное нажатие на нужном фото.
В раскрывшемся меню тапните на “Найти это изображение”:
Если эта фотография размещена на какой-либо странице, можно “опознать” её как при помощи поиска по изображению, так и по ссылке, которую нужно будет скопировать и вставить в поисковую строку.
А вот так выглядят результаты:
Альтернативный способ – TinEye
На телефонах предыдущего поколения имеет смысл воспользоваться сервисом TinEye. Он, как и Яндекс, базируется на принципе “CBIR”, но подход сильно отличается. Это один из самых точных ресурсов поиска фото с телефона. Его интерфейс очень прост: нажмите на кнопку загрузки и выберите нужное вам изображение.
Подробнее я рассказывал в этом посте.
Вот мы и разобрались в хитросплетениях такой простой в использовании функции. Но для того чтобы она появилась – потребовалось очень много сил и времени. Теперь вы знаете, как осуществлять поиск по фото с телефона в Яндексе.
