Как создать файл для автозагрузки объявлений
Автозагрузка упрощает работу с большим количеством объявлений — с ней удобно публиковать, редактировать и продвигать их. Но у небольших компаний часто нет специалиста, который мог бы помочь с инструментом, поэтому предпринимателям или маркетологам приходится разбираться самостоятельно. В статье рассказываем, как создать файл с информацией об объявлениях, чтобы воспользоваться автозагрузкой.
Автозагрузка доступна пользователям со статусом «Компания»:
- На «Расширенном» или «Максимальном» тарифах во всех категориях.
- На «Базовом» тарифе — только для категорий «Недвижимость» и «Транспорт», кроме «Запчастей и аксессуаров».
Это упрощённая инструкция для тех, кто не планирует использовать API или интегрировать Авито со своей CRM. Познакомьтесь с общей статьёй по автозагрузке, если хотите узнать больше:
Для автозагрузки подойдут файлы форматов XLS и XLSX — обычные таблицы в Excel
Для автозагрузки можно использовать файлы четырёх форматов: XML, CSV, XLS и XLSX. В этой статье мы не будем рассматривать XML и CSV, разобраться в них с нуля довольно сложно. Расскажем про XLS и XLSX — это привычные таблицы в Excel.
XLS — устаревший формат таблицы, который широко использовали до 2007 года. Может некорректно открываться на некоторых устройствах.
XLSX — современный формат таблицы, который можно открыть и отредактировать практически на любом устройстве. Мы рекомендуем использовать его, потому что он новее. Но принципиальной разницы нет: алгоритмы Авито отлично распознают и обработают и XLS, и XLSX.
Если у компании уже есть объявления на Авито, скачайте их в виде файла
Чтобы это сделать, зайдите в профиль, перейдите во вкладку «Автозагрузка» и нажмите «Настройки». Или перейдите по прямой ссылке, если уже авторизованы в сервисе. Нажмите «Скачать файл с объявлениями» и введите почту, на которую хотите получить файл с объявлениями.
Нажмите «Скачать файл с объявлениями»
В этом файле будут собраны уже опубликованные объявления. Их параметры можно легко отредактировать и загрузить файл обратно — опубликованные объявления автоматически обновятся. А можно добавить новые строки — тогда после загрузки файла система сама создаст из них объявления на Авито.
Так выглядит таблица с уже опубликованными объявлениями
Если у компании ещё нет объявлений, скачайте шаблон файла для автозагрузки
Работать в нём будет намного проще, чем создавать документ с нуля.
- Откройте страницу с шаблонами .
- Перейдите в нужную категорию товаров. У каждой категории товаров верхнего уровня, например «Для дома и дачи», есть свой шаблон — в нём добавлено несколько примеров, как заполнить объявления для разных подкатегорий: «Мебель и интерьер», «Бытовая техника» и так далее. Если хотите создать объявления для товаров из разных категорий верхнего уровня, то нужно скачать несколько шаблонов.
- Нажмите «Скачать шаблон».
Теперь можно заполнить шаблон информацией о ваших предложениях. Чтобы не заполнять длинную таблицу на одном листе, советуем создавать отдельный лист под каждую категорию товаров. Так проще ориентироваться в объявлениях, потому что не будут мешать параметры, которые относятся к другой категории.
Система публикует на Авито только те объявления, которые находятся в последнем загруженном файле. Если вы сначала загрузите файл с предметами мебели, а после него — файл с бытовой техникой, то система снимет с публикации объявления из первого файла и опубликует только предложения техники.
Когда редактируете объявление, обращайте внимание на обязательные параметры
Строки в таблице — это объявления, одна строка — одно объявление. Столбцы — это параметры. Вот как с ними работать:
Нельзя редактировать или удалять столбцы AvitoId и Id. Если в файле уже есть эти значения, не меняйте их. Это технические параметры, с помощью которых автозагрузка связывает объявления в файле и профиле. Если их поменять, система может ошибиться. Например, не обновить старое объявление, а опубликовать новое. Или заблокировать новое объявление как дубль.
Нельзя удалять столбцы с обязательными параметрами. Для каждого товара есть обязательные и необязательные параметры — посмотреть их можно на странице с правилами:
Если случайно удалите столбец с необязательным параметром, после загрузки файла система уберёт этот параметр из всех объявлений. При следующей выгрузке можно добавить параметр обратно в таблицу, загрузить файл на Авито, и значение вернётся на место. Если случайно удалите обязательный параметр, то система выдаст предупреждение и не примет файл.
Внимательнее со столбцом «Адрес». Это обязательный параметр объявлений. Если его удалить, система не примет файл. А если случайно изменить город, система примет файл и может списать деньги за новое размещение. Но изменение адреса внутри города бесплатно, потому что магазин мог переехать, а товар — попасть с одного склада на другой.
Чтобы добавить объявление, заполните параметры на новой строчке таблицы
Чтобы узнать параметры каждого типа товаров и посмотреть инструкции, как их заполнять, изучите правила:
Вот основные моменты:
Не заполняйте столбец AvitoId, потому что объявление ещё не существует на Авито. Когда вы первый раз загрузите файл, система сама присвоит каждому объявлению свой AvitoId.
Столбец Id заполните той нумерацией, которая вам удобна. Можно писать любой набор цифр, но лучше завести какую-то систему, чтобы не запутаться. Например, 001, 002, 003 и так далее. Главное — у всех объявлений должен быть свой Id. Если у двух объявлений будут одинаковые Id, то система опубликует только одно объявление, а у второго выдаст ошибку.
Можно заполнить только обязательные параметры — они собраны в отдельную вкладку. У каждого параметра есть подробное описание и пример заполнения — достаточно просто скопировать название параметра к себе в таблицу и добавить значение по аналогии с примером.
Стоит добавить и необязательные параметры — они помогут точнее описать товар, чтобы покупатели быстрее нашли ваши объявления среди других. А ещё с помощью необязательных параметров можно применить опции автозагрузки. Например, создать отложенную публикацию или подключить услуги продвижения.
Ссылки на фотографии должны быть только прямые. По этой ссылке файл должен либо сразу скачиваться, либо открываться без элементов интерфейса облачного хранилища.
Перед загрузкой файла на Авито проверьте, нет ли в нём ошибок
У Авито есть сервис, который поможет найти ошибки в файле:
Система смотрит только на технические моменты: корректно ли составлен файл с точки зрения шаблона и правильно ли он заполнен. Например, если параметр может быть заполнен только двумя значениями, система проверит, входят ли значения из таблицы в список или нет.
Если система найдёт ошибку в необязательном параметре, то покажет жёлтое предупреждение — этот параметр не будет опубликован. Если найдёт ошибку в обязательном, покажет красное предупреждение и объявление не будет опубликовано целиком.
Система не проверяет объявления по смыслу. Некоторые из них могут быть отклонены дальше на модерации, потому что нарушают какие-то правила
Если вы уже загрузили файл на Авито, то также можно посмотреть, всё ли в нём верно. Для этого нужно зайти в историю загрузок. Там показаны все объявления, которые были обработаны, и подробно расписано, если с ними что-то не так.
В истории загрузок сохраняются все файлы, которые вы когда-либо загружали на Авито
Если вы не успели что-то поменять в объявлениях вручную в личном кабинете, то можете исправить ошибки в последнем загруженном файле. Для этого скопируйте параметр, в котором есть ошибка, и с помощью поиска найдите его в файле. Затем загрузите файл обратно на Авито. А если уже редактировали объявления в личном кабинете, то заново скачайте файл и исправьте ошибки в нём.
Редактируйте или добавляйте новые объявления с помощью автозагрузки — инструмент особенно полезен тем, кто публикует много размещений.
Перенос объявлений с сайта Авито
Современные сервисы по продаже вещей и услуг в интернете разрешают пользователям размещать ограниченное количество бесплатных объявлений. За плату можно не только снимать установленные лимиты, но и загружать публикации автоматически. Инструмент по переносу объявлений на «Авито» обладает такими возможностями.
Сервис “Авито автозагрузка”
Доска объявлений позволяет компаниям размещать, актуализировать, своевременно редактировать и удалять публикации в соответствии с внутренними информационными ресурсами фирмы.
Для работы с автозагрузкой нужно произвести подготовительные действия:
- Обратиться в отдел продаж «Авито» для получения доступа к услуге автозагрузки.
- Внести размещаемые товары в XML-файл в соответствии с требованиями сервиса.
Теперь можно отправить подготовленные данные в «Авито».
Сам сервис объявлений предлагает для этого 3 варианта:
- Через доступ по прямой ссылке. Файл с объявлениями и фотографии к нему размещаются на сервере. Ссылка на доступ к материалам через протокол HTTP/HTTPS отправляется менеджеру в «Авито».
- Через личный кабинет. XML-файл вместе с фотографиями, помещенными в ZIP-архив, отправляется в персональном разделе «Авито» через ссылку «Автозагрузка». Объем передаваемой информации не должен превышать 200 Мб.
- По электронной почте. XML-файл и ссылка на файлы картинок отправляется менеджеру в «Авито» с электронного адреса, ранее утвержденного в службе поддержки.
Перенос объявлений между аккаунтами с помощью программы «Sellavi»
Можно перенести объявления с помощью массового редактора Авито. © скриншот программы Sellavi / sellavi.pro
Создание нескольких аккаунтов на сервисах наподобие «Юлы» или «Авито» пресекается администрацией сайтов. Недобросовестные пользователи блокируются, их учетные записи и публикации деактивируются.
Некоторые продавцы все же умудряются обойти запреты интернет-площадок, заводя аккаунты с нового IP-адреса на супруга (супругу), родителей (с их разрешения) либо несуществующую личность. Для такой категории продавцов на «Авито» есть онлайн-приложение Sellavi. Оно позволяет клонировать объявления с одного аккаунта на другой.
Порядок действий в программе следующий:
- Установка Sellavi на компьютер пользователя.
- Первый вход в систему производится через учетную запись, где еще нет объявлений, но туда их надо загрузить. Пароль и логин этого аккаунта запоминается программой.
- Следующий вход в программу производится через аккаунт, с которого копируются размещенные там карточки товаров. Так система осуществляет синхронизацию двух учетных записей.
- Следующий шаг – переход во вкладку «Массовый редактор». В ней откроется окно с кнопкой «Загрузить активные объявления». Нажатие на нее запустит импорт публикаций из старого аккаунта.
- Предложения показываются постранично, по 50 штук на странице. Повторное нажатие на кнопку вызовет подгрузку публикаций. Ненужные отбрасываются с помощью кнопки Delete.
- Все, что необходимо перенести, выделяется. Теперь в списке «Смена владельца» нужно выбрать учетную запись, на которую скопируются объявления.
- Далее нужно вновь зайти в программу через аккаунт пользователя, на котором пока нет публикаций. В меню «Товары» перенесенные объявления находятся в режиме ожидания. Их можно выделить и нажать кнопку «Опубликовать». При этом размещения объявлений не произойдет – они лишь загрузятся в список задач.
- Последнее, что необходимо сделать, – задать интервал публикации, чтобы товары на сайте появлялись последовательно, а не общим потоком. В ином случае система обратит на них внимание как на подозрительную активность, что приведет к блокировке аккаунта. Подходящий временной интервал между появлением публикаций – в пределах 5-10 минут.
- При нажатии на кнопку «Старт задач» Sellavi начнет размещать продаваемые товары на «Авито» уже с нового аккаунта. Каждая подтвержденная публикация будет отмечена галочкой.
Обучиться работе с сервисом Sellavi можно быстро. Со временем наладить обмен данными между аккаунтами можно будет за считанные секунды.
Скачиваем объявления с Avito за 5 минут, не умея программировать
Вставляем адрес в поле «Start URL» в следующем формате:
https://www.avito.ru/telefonica?p=[1-12] (для того, чтобы расширение прошло по всем страницам)
Кликаем «Create Sitemap»
Кликаем «Add New Selector»
Id — пишем любое название для удобства, например, Phone
Type — выбираем «Element»
Наводим курсор мыши около цены до появления такого прямоугольника и кликаем на него
Нажимаем клавишу «P» на клавиатуре (английская буква), появляется такой прямоугольник
Кликаем около цены у объявления ниже, появится второй прямоугольник. Скроллим страницу, убеждаемся, что всё выделилось.
Кликаем «Done Selecting»
Отмечаем чекбокс «Multiple», кликаем «Save Selector»
Кликаем на строчку «phone»
Кликаем «Add New Selector»
Кликаем «Select», появится рамочка, в ней наводим курсор около названия телефона, пока не буде так, кликаем. Нажимаем «Done Selecting»
Кликаем «Save Selector».
Кликаем «Add new selector», аналогично добавляем цену телефона.
Кликаем «Sitemap %NAME%»>»Scrape»
Ничего не меняем, кликаем «Start Scraping»
Появится такое уведомление
Импортируем файл в Excel: «Данные»>»Из текста»>выбираем скачанный CSV>следуем указаниям мастера импорта текстов
формат данных — с разделителями
мои данные содержат заголовки
А как сделать автоматический парсинг и вставку на мой сайт?
а принтскрин за 5 секунд нелзя сделать?
Нет денег — нет проблем
КонсультантПлюс
с просторов интернета
Нужен солу кортеф
Ищу препарат солу кортеф в ампулах. Ребенок в коме, на фоне обезвоживания. Если имеется в свердловской, челябинской, тюменской области или пермском крае. Прошу связаться со мной. Приеду, заберу, оплачу.
Telegram для связи: @ALEKSANDR_Kab
Гранатовый сок в Багдаде
Каждая женщина должна уметь промолчать.
Утром, во время секса, муж решил привязать меня к кровати.
Намотал мне на ногу верёвку, начинает крепить к кровати. Смотрю, долго возиться с длинными хвостами веревки.
Альпинистке внутри меня очень хотелось сказать ему "да вяжи ты рифовый с контрольной!", но голос разума твердил "демонстрация твоих навыков сейчас абсолютно неуместна. АБСОЛЮТНО!"
Сравнение попы с пальцем
Ответ на пост «Откуда эти люди?»
@BarisG, все эти люди (или те из них, кто говорит правду) — одинокие и с так называемым кризисом среднего возраста.
Я, похоже, представитель этой группы, хоть и вышла за её пределы по возрасту — мне уж стукнуло 33. Детей не нажила за свой век. Отношений тоже (что-то периодически бывает, но крайне не везёт: последние отношения длились с полгода и закончились моими рогами, класс).
Так как с отношениями мне не везло всегда, я давненько стала направлять свои силы в сторону работы/карьеры, и поэтому с реализацией в работе и с деньгами у меня проблем нет. А вот с ощущением собственной нужности — ещё какие проблемы.
Поэтому я ввязываюсь во всякие активности: например, прошлым летом начала учиться играть на барабанах, а осенью успешно прошла прослушивание на вокал в группу (уже даже один концерт состоялся в начале марта, юху).
Подарила жене брата сертификат в мотошколу, чтобы когда у нас стает снег, вместе пойти учиться.
С гитаристом из группы забились летом прыгать с парашютом.
Хожу на всяческие рок-концерты (например, в ближайший месяц пойду на "Люмен" и "Пилот" ), а также в театр (в эту среду пойду на "Анну Каренину", а в воскресенье на мюзикл, хехе). А ещё летом поеду на рок-фестиваль, уже второй раз.
Два раза была на сплаве, и в этом году опять планирую "сплавиться" хотя бы разок.
Раз в неделю занимаюсь с психологом.
Люблю гулять пешком (под музыку или с кем-то под разговор) и читать книги.
Ипотеку, кстати, плачу: обременённых лишними квартирами родственников не было и нет, в родительской живёт мама и брат с женой.
Выглядит, как анкета для СЗ? Увы, это реальность отчаявшегося человека. Да я все эти активности себе придумываю, чтобы подольше после работы где-то шастать, потому что дома меня никто не ждёт. Чтобы некогда было хандрить и думать о своём одиночестве. Чтобы прийти домой без сил и лечь спать.
Выглядит, как будто у меня капец какая весёлая жизнь, для большинства знакомых тоже. А мне выть хочется. Я бы всё это отдала за отношения со взаимными чувствами. Но, судя по тенденции, так и состарюсь в попытках прикрыть чем-то пробел личной жизни.
Сорян, что в конце скатилась в нытьё)
Жалости не прошу, советов тоже.
Спасибо за внимание. Всем любви 💚
Терзают смутные сомнения
Похвалил или осудил?
Дорогой урок
Бухгалтерия
Работал в одной компании, и очень понравилась одна девушка из бухгалтерии. Все время на неё смотрел когда пересекались в офисе, однажды набрался смелости, и предложил сходить после работы поужинать в ресторан. Девушка хихикнула, сказала «я подумаю» и убежала по своим делам.
Спустя пару дней сижу за своим рабочим столом, работаю работу, вдруг на меня падает чья-то тень. Поднимаю глаза, надо мной стоит наш главбух. Очень строгая женщина.
— Это ты Ирину в ресторан приглашал?
— Так вот — говорит она — если тебе нужны проститутки, можешь даже не искать их в нашей бухгалтерии.
И пошла цокая каблучками.
Считаем дюбель TECH-KREP
На упаковке заявлено количество в 100 штук.
Открываем и считаем, оказалось 85 штук.
Китайские инновации поражают
Если ты перешел улицу в неположенном месте — тебя засекает система распознавания лиц и тут же выводит на доску позора. Но это ещё не всё — она автоматически подключается к твоей банковской карте и снимает со счёта сумму штрафа.
И всё это пока ты куда-то бежишь и торопишься. Абсолютно без твоего участия.
Ответ на пост «Откуда эти люди?»
Решила как-то тоже зарегаться на тиндере. 36, в/о, без детей, мужей, в/п, м/п. Думаю, дай посмотрю, что там девушки пишут-то.
Мама дорогая! Меня прям комплексы накрыли. У всех проф.фото, Инста как буклет пятизвездного отеля, и долбаное это «Саморазвитие». Бачата, будь она неладна. Тарологи, астрологи, прочие суетологи.
Сижу и думаю, а мне-то что писать? Инсты нет, фоткаться не люблю. Из отпусков — пейзажи на фото. Ну не додумалась я в зеркалах отелей и под пальмами себяшек наделать.
Увлечения. Ну вот дачу купила, стройка у меня там. Помидоры опять же. Рукодельничать люблю разнообразно. За грибами люблю ходить, могу весь отпуск в лесу провести. Пешком люблю гулять. Всё не формат. Из подходящего один сноуборд только (честные 3 раза за зиму). Ну и, каммон, кто-то не любит путешествовать.
Ладно. Кого я там ищу? Ну. как бы мужика бы адекватного, +/- ровню хотелось бы. Значит с руками, работой, без жестких в/п и м/п. Чтоб любил на природе время проводить. Пофиг мне, какого он роста-веса. Я и сама не модель далеко.
Открываем мужские анкеты. Все по клубам, на вейке, в бизнесе и развитии, на Бмв непременно, с фотками в дорогом спортзале.. Бля. ну где я, и где мужик из спортзала? Он хотя бы на котиков может ТАК смотреть, как на свои банки в зеркале??
Короче, подохренела и закрыла этот ваш тиндер нафиг.
На вопрос ТС могу предположить, что все неформатные туда просто не попадают.
Девушки с губами «А я риба, я риба» вполне себе ЦА тех вылизанных парней, у которых барбер для фотосессии стоит дороже моих путешествий. Алгоритмы выводят в топ самых павлинистых, усиливая такое впечатление. Это просто тусовка с определенными правилами для узкого круга позёров.
Ээх, хоть на рыбалку иди знакомиться. Так зашикают же. Рыбаки, они ж тишину любят)
Кенгуру и пиво
Ответ на пост «Сидел человек , гладил котика , никого не трогал»
26 февраля сидели с мужем в ТЦ Планерная на фудкорте. Подходят трое лиц без национальности(явно горячий молодняк), просят помочь с деньгами. Муж ответил отказом. Они: почему? Тебе проблемы нужны?
Я почуяла, что пахнет жареным. Незаметно для них вынула свою перцовку Шпагу. Один сел рядом со мной и говорит:"ты что, перцовку только купила? Пользоваться умеешь?"(тот что в очках)
Я:"а ты хочешь на себе испробовать? Легко!"
Первые начали оскорблять мужа, а на меня давить. Муж вызвал Полицию (находится в соседнем здании, которая в итоге не приехала). Зачем-то первые начали нас снимать. И тут же потихоньку ретировались с фудкорта. Охрана ТЦ пошла за ними, но толку? Их просто выставили на улицу. Вот что удалось заснять:
Мы вышли из ТЦ, эти люди стояли у выхода, ожидая нас. Муж не торопясь курил, те пытались его провоцировать, говоря, какое он ничтожество, что ходит в дешёвой обуви. Уехали на маршрутке в сторону Химок. Охранники ТЦ говорят, что они часто тусуются здесь и донимают людей.
Будьте осторожны, мы думаем, что они под камерами специально провоцируют людей на конфликт чтобы заработать на этом.
Несколько месяцев назад в ТЦ планерная меня прокляла цыганка, потому что я не дала денег. Есть видео, но это уже совсем другая история.
Милота
Очень ленивые голубцы
Записки продавца-консультанта в пивном
Работаю в местечковой сети розливного пива, в продаже куча крафта, импорта, стараемся продвигать культуру пива в массы, но куда ж без среднестатистического употребителями со своими эталонами и знаниями о пиве!
1. мужчина спрашивает светлое, не горькое, фильтрованное, примерно 4.2%. Показываю 3-5 ходовых по его запросу, спрашивает дальше — и всё? Показываю ещё примерно 10 кранов (всего в магазине 50 кранов) какие то совсем легкие по градусам, какие то крепче классических, некоторые с легкой хмелевой горчинкой, попутно рассказываю отличия друг от друга. Начинает спрашивать про другие, которые ему не показал,
-а это?
— а это нефильтрованное
— а вот какое то еще у вас тут
— а вот это тёмный крепкий эль
-эх, а вот еще какое то?
-фруктовое, вишня.
Стоит втыкает дальше, за ним заходит постоянный клиент, любитель горьких пилснеров, хвойных IPок итп, заказывает три полторашки пилснера, несколько разных ипашек по 0.5, пару банок с полок
Первый наблюдает уверенность, обьемы, спрашивает у второго:
-че, вкусное вот это?
-да, очень хорошее, постоянно пью
Расплачивается, уходит.
Первый тоже заказывает полтора горчущего пилснера.
Не стал отговаривать, пусть уроком будет, а может и что-то новое для себя откроет.
2. Предпраздники, защитники отечества, выпивающие по две три полторашки самого дешевого пивка каждый день решают устроить себе ОСОБЕННЫЙ день, запрос звучит так: — таааакс, давайте уж сегодня этого вашего крафтовского попробуем, чего его так хвалят все, праздник же, надо что то невероятное, интересное. Фильтрованное. Хорошее. Вкусное. Светлое. Без этих ваших всяких манг и мандаринов. И без горечи. елок. Цитрусов-хуитрусов.
3.Мужчина просит налить любого, говорю:
— критерии какие? Горько, сладко, кисло, крепко. темное или светлое хотяб?
— говорю ж любого, критериев нет, хорошего, вкусного
Показываю бельгийский трипель под 500р за литр.
-такой наливаю, пойдет?
-эээ, так оно денег стоит, хуяси. Бла бла
-ну так не было критерия никакого, предложил заведомо хороший сорт, крепкий, богатый, насыщенный итд
-не давай вон то, за сотку
4. Покупатель:
-дайте самого плотного!
-вас светлое, темное интересует?
-говорю же самое плотное!
-показываю краны с имперским портером, бочковым стаутом, озвучиваю плотность в 25/30, рассказываю особенности сорта, вкусовые нюансы. Кофейный аромат, послевкусие жареного арахиса, вискарная бочка.
-нет нет, ты не понял, без этих всяких ваших кофев и орехов, нужно нормальное плотное, как раньше, как в ссср, как масло подсолнечное лилось итд (классические эпитеты жиге).
Берёт жигулевочку 13% начальное плотности, уходит счастливый.
Если контент интересен, могу рассказать ещё, хватает, накопилось, практически ежедневно копится ещё .
А так же про закулисье хорошего магазина с пивом могу рассказать всем интересующимся
Как мы боремся с копированием контента, или первая adversarial attack в проде
Вы знали, что платформы для размещения объявлений часто копируют контент у конкурентов, чтобы увеличить количество объявлений у себя? Они делают это так: обзванивают продавцов и предлагают им разместиться на своей платформе. А иногда и вовсе копируют объявления без разрешения пользователей. Авито — популярная площадка, и мы часто сталкиваемся с такой недобросовестной конкуренцией. О том, как мы боремся с этим явлением, читайте под катом.
Проблема
Копирование контента с Авито на другие платформы существует в нескольких категориях товаров и услуг. В этой статье речь пойдет только про автомобили. В предыдущем посте я рассказал, о том как мы делали автоматическое скрытие номера на автомобилях.
Но получилось (судя по поисковой выдаче других платформ), что мы запустили эту фичу сразу на трёх сайтах объявлений. 
Один из этих сайтов после запуска фичи на время приостановил обзвон наших пользователей с предложениями скопировать объявление на их платформу: контента с логотипом Авито на их площадке стало слишком много, только за ноябрь 2018 года — более 70 000 объявлений. Например, вот так выглядела их поисковая выдача за сутки в Чеченской республике.
Дообучив свой алгоритм скрытия номерных знаков, чтобы он автоматически детектил и закрывал логотип Авито, они возобновили процесс.
С нашей точки зрения копирование контента конкурентов, использование его в коммерческих целях — неэтично и неприемлемо. Мы получаем жалобы от наших пользователей, которые недовольны этим, в нашу поддержку. А вот пример реакции в одном из сторов.
Надо сказать, что запрос согласия людей на копирование объявлений не оправдывает подобные действия. Это нарушение законов «О рекламе» и «О персональных данных», правил Авито, прав на товарные знаки и базу данных объявлений.
Мирно договориться с конкурентом нам не удалось, а оставлять ситуацию как есть мы не хотели.
Способы решения проблемы
Первый способ — юридический. Похожие прецеденты уже были в других странах. Например, известный американский классифайд Craigslist отсудил крупные суммы денег у копирующих с него контент сайтов.
Второй способ решения проблемы копирования — добавление большой вотермарки на изображение так, чтобы её нельзя было обрезать.
Третий способ — технологический. Мы можем затруднить процесс копирования нашего контента. Логично предположить, что скрытием логотипа Авито у конкурентов занимается какая-то модель. Также известно, что многие модели подвержены «атакам», которые мешают им работать корректно. В этой статье речь пойдёт как раз про них.
Adversarial attack
В идеале adversarial example для сети выглядит как шум, неразличимый человеческим глазом, но для классификатора он добавляет достаточный сигнал отсутствующего на картинке класса. В итоге картинка, например, с пандой, с высокой уверенностью классифицируется как гиббон. Создание adversarial шума возможно не только для сетей классификации картинок, но также для сегментации, детекции. Интересный пример — недавняя работа от Keen Labs: они обманули автопилот Tesla точками на асфальте и детектор дождя с помощью отображения как раз такого adversarial шума. Также атаки есть для других доменов, например, звука: известная атака на Amazon Alexa и другие голосовые ассистенты заключалась в проигрывании неразличимых человеческим ухом команд (взломщики предлагали купить что-то на Amazon).
Создание adversarial шума для моделей, анализирующих картинки, возможно благодаря нестандартному использованию градиента, необходимого для обучения модели. Обычно в методе обратного распространения ошибки с помощью вычисляемого градиента целевой функции изменяются только веса слоёв сети, чтобы она меньше ошибалась на обучающем датасете. Так же, как для слоёв сети, можно вычислить градиент целевой функции по входному изображению и изменить его. Изменение входного изображения с помощью градиента применялось для разных известных алгоритмов. Помните Deepdream?
Если мы итеративно вычислим градиент целевой функции по входному изображению и добавим этот градиент к нему, в изображении появится больше информации о превалирующем классе из ImageNet: появляется больше мордочек собак, благодаря чему уменьшится значение лосс функции и модель становится уверенней в классе «собака». Почему в примере именно собаки? Просто в ImageNet из 1000 классов — 120 классов собак. Схожий подход к изменению изображения использовался в алгоритме Style Transfer, известном в основном благодаря приложению Prisma.
Для создания adversarial example тоже можно использовать итеративный метод изменения входного изображения.
У этого метода существует несколько модификаций, но основная идея проста: исходное изображение итеративно сдвигается в направлении градиента лосс функции классификатора J (потому что используется только знак — sign) с шагом α. ‘y’ — класс, который представлен на изображении, чтобы уменьшить уверенность сети в правильном ответе. Такая атака называется non targeted. Можно подобрать оптимальный шаг и количество итераций, чтобы изменение входного изображения было неотличимо от обычного для человека. Но с точки зрения временных затрат такая атака нам не подходит. 5-10 итераций для одной картинки в проде — это долго.
Альтернативой итеративным методам является метод FGSM.
Это синглшот метод, т.е. для его применения нужно один раз посчитать градиент лосс функции по входному изображению, и adversarial шум для добавления к картинке готов. Такой метод очевидно производительнее. Его можно применить в продакшене.
Создание adversarial examples
Начать мы решили с взлома нашей собственной модели.
Так выглядит картинка, которая уменьшает вероятность нахождения номерного знака для нашей модели.
Видно что у этого метода есть недостаток: изменения, которые он добавляет в картинку, заметны глазу. Также этот метод non targeted, но его можно изменить, чтобы сделать направленную атаку. Тогда модель будет предсказывать место для номерного знака в другом месте. Это метод T-FGSM.
Для того, чтобы этим методом сломать нашу модель, нужно уже чуть заметнее изменить входное изображение.
Пока нельзя сказать, что результаты идеальны, но хотя бы проверена работоспособность методов. Также мы пробовали готовые библиотеки для взлома сетей Foolbox, CleverHans и ART-IBM, но с их помощью не получилось сломать нашу сеть для детекции. Методы, приведенные там, подходят для классификационных сетей лучше. Это общая тенденция во взломе сетей: для object detection сделать атаку сложнее, особенно если речь идёт о сложных моделях, например, Mask RCNN.
Тестирование атак
Всё, что пока описывалось, не выходило дальше наших внутренних экспериментов, но надо было придумать, как тестировать атаки на детекторах других платформ подачи объявлений.
Оказывается, при подаче объявлений на одну из платформ детекция номерного знака происходит автоматически, так что можно много раз загружать фото и проверять, как алгоритм детекции справляется с новым adversarial example.
Это отлично! Но…
Ни одна из сработавших на нашей модели атак не сработала при тестировании на другой платформе. Почему так произошло? Это следствие различий в моделях и того, насколько плохо обобщаются adversarial attacks на разные архитектуры сетей. Из-за сложности воспроизведения атак их делят на две группы: white box и black box.
Те атаки, которые мы делали на свою модель, — это был white box. То, что нам нужно — это black box с дополнительными ограничениями на инференс: API нет, всё что можно сделать — это вручную загружать фото и проверять атаки. Если бы был API, то можно было сделать substitute model.
Идея заключается в создании датасета входных изображений и ответов black box модели, на которых можно обучить несколько моделей разных архитектур, так чтобы аппроксимировать black box модель. Тогда можно провести white box атаки на эти модели и они с большей вероятностью сработают на black box. В нашем случае это подразумевает много ручной работы, поэтому такой вариант нам не подошёл.
Выход из тупика
В поисках интересных работ на тему black box атак была найдена статья ShapeShifter: Robust Physical Adversarial Attack on Faster R-CNN Object Detector
Авторы статьи делали атаки на object detection сети self-driving машин с помощью итеративного добавления изображений, отличных от истинного класса, в фон стоп-знака.
Такая атака хорошо заметна человеческому глазу, тем не менее, она успешно ломает работу object detection сети, что нам и требуется. Поэтому мы решили пренебречь желаемой невидимостью атаки в угоду работоспособности.
Мы захотели проверить, насколько модель детекции переобучена, использует ли она информацию об автомобиле, или нужна только плашка Авито?
Для этого создали такое изображение:
Загрузили его как машину на платформу объявлений с black box моделью. Получили:
Значит, можно изменять только плашку Авито, остальная информация во входном изображении не является необходимой для детекции модели black box.
После нескольких попыток возникла идея добавления в плашку Авито adversarial шума, полученного методом FGSM, который ломал нашу собственную модель, но с довольно большим коэффициентом ε. Получилось так:
На машине это выглядит так:
Загрузили фото на платформу с black box моделью. Результат оказался успешным.
Применив этот способ к нескольким другим фотографиям, мы выяснили, что он срабатывает не часто. Тогда после нескольких попыток мы решили сосредоточиться на другой самой заметной части номера — границе. Известно, что начальные сверточные слои сети имеют активации на простых объектах вроде линий, углов. «Сломав» линию границы, мы сможем помешать сети корректно обнаружить область номера. Сделать это можно, например, добавив шум в виде белых квадратов случайного размера по всей границе номера.
Загрузив такую картинку на платформу с black box моделью, мы получили успешный adversarial example.
Попробовав этот подход на наборе других картинок, мы выяснили, что black box модель больше не может задетектить плашку Авито (набор собирался вручную, там меньше сотни картинок, и он, разумеется, не репрезентативен, но сделать больше требует много времени). Интересное наблюдение: атака успешна только при комбинировании шума в буквах Avito и рандомных белых квадратов в рамке, использование этих способов по отдельности не даёт успешного результата.
В итоге мы выкатили этот алгоритм в прод, и вот что из этого вышло 🙂
Несколько найденных объявлений
Мы даже попали в рекламу платформы:
Итого
В итоге у нас получилось сделать adversarial attack, которая в нашей имплементации не увеличивает время обработки изображения. Время, которое мы потратили на создание атаки — две недели перед Новым годом. Если бы не получилось за это время её сделать, то разместили бы вотермарку. Сейчас adversarial номерной знак отключен, потому что теперь конкурент звонит пользователям, предлагает им самим загружать фотографии в объявление или заменяет фото машины на стоковые из интернета.