Боты-парсеры и их роль в скликивании рекламы

парсеры и скликивание ркламы

Парсинг – это автоматический сбор больших объемов данных с веб-страниц и приложений ботами. Это может включать в себя сборку контента, описаний продуктов, данных инвентаризации цен и другой общедоступной информации. Боты очищают эту информацию, чтобы сократить количество сделок, отвлечь посетителей или украсть клики. Это включает в себя:

  • Сайты объявлений, на которых конкуренты крадут списки, очищая контент, влияющий на трафик и доходы
  • атаки электронной коммерции, когда боты пытаются украсть информацию о ценах в режиме реального времени и использовать ее в качестве конкурентной разведки.
  • Сайты продажи билетов через отказ в инвентаризации, спиннинг и скальпирование, очистку инвентаря карты мест и мошенничество.

Все компании, работающие в Интернете (то есть все компании), подвергаются парсингу. Эти атаки с использованием бот-парсеров например, включали запуски на сайте модной одежды, на которые боты выполнили 473 миллиона запросов на покупку кроссовок за один день. Ticketmaster подал в суд после того, как более 1000 страниц сайта были обработаны ботами, сделав более 800 запросов на резервирование за 24 часа. В результате потенциально злоумышленники несли ответственность за ущерб в размере двадцати пяти центов (0,25 доллара США) за каждый запрос страницы или запрос на резервирование.

В ходе другой атаки парсингом 1012 билетов на концерт U2 в Мэдисон-Сквер-Гарден были куплены за минуту – почти 17 билетов в секунду. Совершение мошенничества путем покупки билетов или других предметов оптом с целью их перепродажи по гораздо более высоким ценам в настоящее время регулируется Законом о B.O.T.S от 2016 года.

Это похоже на незаконные атаки с использованием мошенничества с кликами. Однако, поскольку боты составляют 45% Интернета, а плохие боты играют непропорционально большую роль, их влияние на любой бизнес является всеобъемлющим. Это также, как мы увидим, оказывает прямое негативное влияние на рентабельность инвестиций в цифровой маркетинг.

Парсинг и скликивание рекламы

Парсеры могут нажимать на целевые объявления, чтобы попасть на веб-сайты и целевые страницы. В этих случаях рекламодатели неосознанно платят за клики, созданные ботами. Иными словами происходит скликивание. Более того, парсеры крадут интеллектуальную собственность бренда и зарабатывают деньги на монетизации контента, созданного брендами.

В одном случае CHEQ for PPC работал с компанией, маркетинговая стратегия которой заключалась в привлечении пользователей на ее сайты рецептов. Эти рецепты будут украдены, скопированы и монетизированы через интернет-рекламу, пока мы не удалим их с сайта.

Google предоставил и другие примеры парсинга и мошенничества с рекламой, даже если это называется «побочным ущербом» атак. В своем блоге по безопасности Вегард Джонсен, менеджер по продукту Google Ad Traffic Quality, описывает компанию, которую они исследовали, которая «использует ботов для очистки Интернета, чтобы выяснить, какие рекламные объявления показываются на каких веб-сайтах и ​​в каком масштабе. Парсеры компании также нажимают рекламные объявления для анализа целевых страниц. Чтобы предоставить своим клиентам максимально точную информацию, парсеры этой компании работают с необычайными масштабами, и они также делают это без включения идентификаторов ботов в свои строки User-Agent.

“Хотя цель этой компании не состоит в том, чтобы заставить рекламодателей платить за фальшивый трафик, парсеры компании тратят впустую расходы рекламодателей. Они не только генерируют нечеловеческие впечатления; они также искажают показатели, которые рекламодатели используют для оценки эффективности кампании, в частности , показатели кликов “.

Издатели разорились из-за парсинга ценного контента

Издатели ежедневно сталкиваются с проблемами со стороны парсеров-ботов. В ходе одного расследования репортер CNBC Меган Грэм исследовала эту практику после того, как увидела, что ее недавние статьи на CNBC были полностью опубликованы и монетизированы за счет рекламы на фальшивых новостных сайтах.

Эта стратегия сбора данных и монетизации коснулась даже бывшего царя мошенничества с Google Click Шумана Гхосемаджумдера. Он сказал, что через час после публикации статьи для VentureBeat она была размещена на веб-сайте под названием «Best Gaming Pro». Он говорит, что сайт «автоматически переписал статью, чтобы люди, которые гуглили связанные, но разные ключевые слова, могли найти свою статью». Он добавляет: «Такие контент-фермы обманным способом привлекают трафик на свои сайты, но затем монетизируются с помощью законной рекламы. Моя команда в Google постоянно занималась этим, но со временем они стали более изощренными».

Повышается изощренность парсинга

Как описал Гхосемаджумдер, все боты стали более искусными в имитации реальных пользователей и маскировке их целей, что делает идентификацию труднее, чем когда-либо. Развертывая решения для устранения недействительных кликов на платных платформах, включая Google Ads, Microsoft Ads, Pinterest, LinkedIn и Twitter, он также предотвращает плохую активность парсеров. Это предотвращает финансовые потери, упущенный доход от рекламы и потраченные впустую маркетинговые расходы. Дополнительным бонусом является предотвращение сканирования ботов.

Как защитится от роботы- парсеров?

Тег JavaScript находится на целевых страницах клиента. Каждый раз, когда пользователь нажимает на объявление и попадает на целевую страницу, система защиты проверяет UA браузера (пользовательский агент браузера). Законные парсеры и сканеры обычно раскрывают, что они бот на уровне браузера, поэтому алгоритм защиты может идентифицировать их и добавлять в недопустимую аудиторию для исключения в будущем. Те, которые не раскрывают свою личность, будут обнаружены различными модулями обнаружения кибербезопасности.

Почему маркетологи ненавидят парсинг?

Маркетологи, которые заботятся о своих расходах, рентабельности инвестиций или своем бренде, ненавидят скребков. Они перенаправляют сообщения, наносят ущерб вашему бренду и перегружают веб-инфраструктуру, отправляя миллионы запросов по определенному пути, например, страницам входа или оформления заказа, что приводит к замедлению работы. Вредоносные боты-скраперы могут украсть ваш контент и изображения, защищенные авторским правом, нанести ущерб SEO-рейтингам, когда поисковые системы обнаруживают страницы с дублированным контентом. Это вредит каждой части маркетингового комплекса.