Согласно результатам нашего недавнего опроса, большинство (80%) компаний утверждают, что вредоносные боты становятся все более изощренными, и их средствам безопасности становится все труднее их обнаруживать. В то же время только 15% компаний сообщают, что их решение по борьбе с ботами сохранило свою эффективность через год после первоначального развертывания. Случайные пользователи Интернета могут считать, что это относительно простой процесс: направить браузер на веб-сайт, нажать кнопку “ввод”, и вот, пожалуйста, вы получили то, за чем пришли. Однако все редко бывает так просто, особенно когда речь идет о таком сложном и разветвленном явлении, как интернет. Многое в Интернете происходит за закрытыми дверями, невидимо для общественности, невидимо даже для людей, которые управляют веб-сайтами. Многие из этих элементов носят логистический характер и не представляют интереса ни для кого, кроме заядлых любителей Интернета. Но есть некоторые невидимые элементы, которые должны быть интересны владельцам сайтов (и всем остальным). Они называются ботами. Не все они плохие (на самом деле, многие из них хорошие), но они представляют угрозу, с которой необходимо бороться. В этом блоге мы рассмотрим все, что связано с ботами, включая различные типы, угрозы, которые они представляют, а также важность защиты от ботов.
Что такое боты?
Итак, для начала давайте рассмотрим, что такое боты. Если вы обычный пользователь Интернета, то, скорее всего, вы уже слышали это название, но знаете ли вы, что это такое? По сути, это просто программные приложения, которые выполняют автоматизированные задачи в Интернете. Ну, мы говорим, что это “просто” – они довольно сложны по своей природе. Они выполняют функции с гораздо большей скоростью и в большем объеме, чем это может сделать человек. Это роботы в форме программного обеспечения, откуда и пошло название “боты”. Как и в случае с любым способным инструментом, проблемы возникают не из-за существования ботов. Проблемы возникают из-за того, что боту приказывают делать. У вас может быть хороший бот, который ползает по Интернету, чтобы найти наиболее релевантные веб-страницы, связанные с поиском (как в случае с Google и другими поисковыми системами). Но точно так же у вас может быть плохой бот, который заинтересован исключительно в том, чтобы быть плохим – именно такие боты ответственны за хакерство, рассылку спама и все другие опасные вещи, которые мы ассоциируем с недобросовестным использованием Интернета. Такие боты никому не нужны (кроме тех, кто за ними стоит).
Типы ботов
Как мы уже говорили выше, то, что боты существуют, не является проблемой. На самом деле, хорошие части интернета не могли бы функционировать так, как они функционируют без ботов. Поэтому мы не должны слишком критично относиться к этим программам, по крайней мере, не в целом. Но, увы, многие плохие стороны интернета, даже просто раздражающие, можно отнести на счет ботов. Чтобы получить более четкое представление о степени влияния ботов на интернет, давайте подробнее разберемся, что такое хорошие и плохие боты. Начнем с хороших, потому что всегда нужно стараться возвысить человека (прежде чем сбивать его с ног, как мы это сделаем).
Хорошие боты
Торговые боты
Одна из радостей использования Интернета для покупки товаров заключается в том, что обычно вы можете получить то, что ищете, по более низкой цене, чем в реальном мире. Но иногда найти такие предложения бывает непросто. На сайтах сравнения покупок используются боты, которые просматривают Интернет и сообщают лучшую цену на искомый товар. Некоторые интернет-магазины также используют ботов, чтобы показать пользователю лучшую цену на основе его использования сайта.
Веб-архиваторы
Веб-сайты не обязательно существуют вечно. Если владелец сайта решил перейти к новым проектам, то сайт вместе со всем содержимым умрет. Но иногда это содержание стоит сохранить. Парсеры обходят веб-страницы и записывают данные, к которым можно получить доступ, если сайт выйдет из сети. Примером такого использования может служить Wayback Machine, сайт интернет-архива. Следует отметить, что парсеры могут использоваться и для более зловещих целей.
Чат-боты
Если вы когда-нибудь пользовались функцией “живого чата” на сайте, то, скорее всего, вы общались с чат-ботом. Эти боты созданы для того, чтобы стимулировать разговор с реальным человеком, выдавая ответы, основанные на формулировках клиента. Многие из этих ботов идентифицируют себя как нечеловеческие. Они могут быть базовыми (собирающими основную информацию перед передачей ее живому агенту) или сложными, предоставляющими полный спектр услуг по предоставлению информации практически так же, как это сделал бы “настоящий человек”.
Распространение информации
Боты все чаще используются для распространения важной информации в мире. Они рассылают срочные новости через уведомления, а в некоторых случаях – например, в TechCrunch – боты используются для рассылки персонализированных историй своим пользователям. Многие автоматизированные Twitter-руки публикуют важные новости по мере их поступления, без какого-либо контроля со стороны человека.
Просто для удовольствия
Большая часть разговоров, связанных с ботами, довольно серьезная, или это может так казаться. Если это несерьезно, то это скучно. Но боты также создаются и для развлечения. Существует множество игр, в которых можно играть “против” бота, а некоторые боты просто сидят и создают искусство. Хорошая жизнь!
Боты-краулеры поисковых систем
И, пожалуй, самый полезный аспект бот-программы: поисковая система. Невозможно представить, каким был бы Интернет без надежной поисковой системы рядом с нами (действительно: что бы вы делали? Спрашивали бы у друзей, знают ли они какой-нибудь сайт?). Большую роль в успехе Google сыграла сложная природа его поисковых ботов. То, что ищут эти боты, находится в руках поисковой системы, и время от времени они меняются. В конечном счете, они существуют для того, чтобы предоставить пользователю наилучший возможный опыт.
Плохие боты
Хорошо, теперь мы разобрались с хорошими ботами, давайте сосредоточимся на их менее звездных родственниках. Неизменно плохие боты используются в преступных целях как способ получения денег от ничего не подозревающих частных лиц и компаний. Но использование плохих ботов выходит за рамки наличных денег – действительно, не будет преувеличением сказать, что плохие боты являются одним из самых вредных аспектов современной жизни, тем более что они могут существенно влиять на выборы.
Хакерские боты
Хакерские боты делают именно то, что они называют: они взламывают. Они обманывают людей, устанавливают вредоносные программы, атакуют веб-сайты и вообще занимаются всякой ерундой. Они проникают в компьютеры или сети людей, раскрывая уязвимости в системе безопасности и вставляя строку кода в движок. Почти всегда за этими ботами стоит финансовый мотив: владельцам взломанных компьютеров и сетей приходится платить за удаление вредоносного кода.
Парсинг-боты
Мы упоминали ботов-парсеров в списке “хороших ботов”, но они также могут быть включены в этот список. Как мы уже говорили, почти все инструменты могут быть использованы как во благо, так и во вред! Боты-парсеры предназначены для кражи информации с сайта, включая контент, изображения, дизайн, цены и тому подобное. В чем преимущество кражи этой информации? В том, что человек, у которого есть эти данные, может создать свой собственный сайт, используя украденную информацию. Это может показаться не очень важным – кто будет посещать копию сайта, когда есть настоящий? – Но это имеет серьезные последствия. Есть некоторые “украденные” сайты, которые занимают более высокие позиции в списке результатов поисковых систем, чем оригинал. Цены на “краденые” сайты могут также использоваться для того, чтобы занизить ваши цены и уничтожить вашу маржу. Если вы занимаетесь бизнесом, то это может иметь катастрофические последствия.
Spambots
Вы, вероятно, видели работу спам-ботов в Интернете. Они вставляют ссылки туда, где им не место – вспомните, скажем, ответ на сообщение в Facebook. Обычно это просто ссылки на довольно бедный сайт, которому нужна любая помощь. Они становятся все менее эффективными, потому что их так легко обнаружить, а также потому, что количество спам-комментариев уменьшилось. Это был один из самых раздражающих аспектов Интернета, и из-за этого власть предержащие очистили его – то есть приняли меры по ограничению их количества.
Боты-самозванцы
Эти типы ботов не нацелены на конкретных людей или компании. Их цель – повлиять на общественную дискуссию. Именно они отвечают за размещение политически мотивированных сообщений на каналах социальных сетей. Их запускают в действие политические деятели, которые хотят укрепить свою власть или иным образом повлиять на общественное мнение. Нам не нужны исследования, чтобы подчеркнуть проблемы, которые это может вызвать, но те исследования, которые были проведены, показывают то, что мы все знаем: эти боты распространяют дезинформацию и серьезно влияют на демократический процесс.
Цифры, стоящие за ботами
Хорошо, теперь мы имеем представление о проблемах, которые могут вызвать боты. Но действительно ли это такая уж проблема? То, что боты могут быть использованы в неблаговидных целях, не обязательно означает, что они таковыми являются. Поэтому вопрос заключается в том, являются ли они таковыми? Цифры говорят о том, что да, боты – это серьезная проблема, которую необходимо решать. На самом деле, цифры просто ошеломляют. По оценкам, около 30% интернет-трафика поступает от плохих ботов, которые отвечают за 40% попыток входа в систему. То есть 40% попыток входа в систему предпринимаются ненастоящими пользователями. И чтобы понять, насколько серьезным может быть влияние этих плохих ботов – они могут нести ответственность за 25,6 миллиардов долларов США в ежегодных убытках от мошенничества в Интернете. Это не так уж мало.
Кто стоит за плохими ботами?
Конечно, боты – как хорошие, так и плохие – не появляются из воздуха. Их воплощают в жизнь люди и организации, преследующие определенную цель. Не существует единого типа людей или групп, стоящих за ботами, во многом потому, что цели каждого из них различны. Цель некоторых ботов – выманить с трудом заработанные деньги у ничего не подозревающих жертв. Другие пытаются сократить свой путь к успеху (или, по крайней мере, к сладкому рекламному доходу), воруя содержимое других сайтов. А в случае с политическими ботами цель более проста – власть. Иногда использование плохих ботов не обязательно противозаконно, просто оно не одобряется – примером тому могут служить люди, которые используют ботов, чтобы урвать кроссовки для востребованных товаров и поднять продажи. Они способны расхватать товар в течение нескольких секунд после его поступления в продажу и затем перепродать его за значительно большие деньги.
Риск плохих ботов
Плохих ботов следует избегать любой ценой, во многом потому, что они, как и подобает их названию, замышляют недоброе. Хотя многие из них, например, спам-комментарии, которые можно найти в группах Facebook, скорее раздражают, другие гораздо опаснее. И для бизнеса они могут быть катастрофическими. Мы уже упоминали смехотворно высокую цифру о том, во сколько плохие боты обходятся деловому миру каждый год. Это деньги, которые утекают из бизнеса в руки тех, кто стоит за плохими ботами. Ниже мы рассмотрим различные способы, с помощью которых киберпреступники используют ботов для этого.
Захват счета
Захват аккаунта – это еще один способ сказать о краже личных данных. В этой афере киберпреступник использует ботов для введения украденных учетных данных, чтобы получить доступ к банковскому счету жертвы, счету электронной коммерции или другому виду цифрового онлайн-счета. Если бот получит доступ к счету одного из ваших клиентов, то он сможет совершать мошеннические покупки. После обнаружения эти деньги могут быть возвращены клиенту, в результате чего компания останется не у дел. Даже если этого не произойдет, репутация компании, как правило, пострадает.
Кардочесание
Подобно захвату счета, кардинг подразумевает попытку ботов использовать данные украденных кредитных карт на сайте. Как и в случае с захватом счета, эти деньги обычно возвращаются первоначальному владельцу в случае обнаружения. Хуже того, если это происходит слишком регулярно, тогда предприятие будет иметь плохую торговую историю, что означает, что оно не сможет принимать платежи по кредитным картам в будущем.
Парсинг веб-сайтов
Чтобы создать сайт электронной коммерции, настроенный на успех, требуется много времени, усилий и денег. Поэтому, конечно, может быть более чем разочаровывающим видеть, как ваши труды появляются на другом сайте. В некоторых случаях это может привести к значительному сокращению посетителей, а значит, и доходов. Некоторые боты настраиваются таким образом, чтобы соскабливать цены, описания товаров и другую информацию с сайта, которую они затем размещают на своем собственном сайте. Это дает мощный толчок новому сайту, который получает высококачественную интеллектуальную собственность бесплатно, и оказывает негативное влияние на целевой сайт, поскольку дублированный контент может отрицательно повлиять на SEO.
Нагромождение запасов
На сайтах электронной коммерции имеется лишь ограниченное количество запасов товаров. Когда кто-то кладет товар в свою корзину, его количество уменьшается. Если бы все имеющиеся в наличии количества товара были в корзинах людей, то товар отображался бы на сайте как недоступный. Существуют боты, которые добавляют товары в корзины без намерения завершить покупку. Это означает, что другие люди не могут совершить покупку, что приводит к потере дохода для бизнеса.
DDoS приложения
Иногда атаки ботов на веб-сайты более тонкие. Действительно, они могут быть настолько тонкими, что могут остаться незамеченными, поскольку нет очевидной проблемы, по крайней мере, со стороны владельца. DDoS-приложения вызывают всплеск трафика на сайт, что приводит к замедлению отклика или отключению сайта. Помимо потери дохода из-за простоя, это может повлиять на пользовательский опыт и снизить коэффициент конверсии сайта.
Как боты влияют на конкретные отрасли
Методы, которые мы описали выше, могут повлиять на предприятия всех отраслей и размеров. Но есть некоторые отрасли, где проблемы, создаваемые ботами, носят более целенаправленный характер. В частности, боты чаще всего атакуют рекламные компании, компании, предоставляющие финансовые услуги, веб-сайты торговых площадок и туристическую отрасль. Давайте рассмотрим, как боты воздействуют на каждую из этих отраслей.
Реклама
Чтобы реклама работала, ей нужно доверять. Между продавцом рекламного пространства и рекламодателем должно существовать понимание полезности рекламного пространства. Боты могут негативно повлиять на это соглашение, генерируя искусственные клики, что приводит к завышению стоимости рекламы. Это плохая практика, которая забирает деньги у невинной стороны и передает их злонамеренной стороне. Если рекламная компания стала жертвой атаки ботов, то ей придется заняться устранением репутационного ущерба, чтобы восстановить свою репутацию.
Финансовые услуги
Сфера финансовых услуг является очевидной мишенью для ботов только потому, что она представляет собой самую большую дойную корову. Это высокодоходная цель, которая, если она окупится, может окупиться с лихвой. Люди, стоящие за ботами, применяют различные тактики для обмана этих учреждений. Например, они пытаются захватить учетную запись, используют DDoS-атаки и соскабливают контент. Изощренность этих атак позволяет им медленно и незаметно продвигаться в течение определенного периода времени, пока они в конечном итоге не достигнут успеха (если их вовремя не остановить, то есть).
Веб-сайты рынка
Эти типы сайтов ориентированы на контент, который является их бизнес-моделью. Они полагаются на постоянный приток свежих и уникальных публикаций, чтобы создать свою аудиторию. Киберпреступники перебирают данные на сайте и публикуют их в другом месте, а в некоторых случаях продают их другому сайту. Они также могут отвечать на рекламные объявления поддельными ссылками, которые замедляют работу и в конечном итоге вообще ни к чему не приводят.
Туристические сайты
Онлайновые туристические сайты получают прибыль, предлагая динамическое ценообразование, а также держа свои цены в секрете, кроме тех, кто проявляет искренний интерес к бронированию. Конкуренты могут запустить ботов, которые соскабливают данные сайта и в процессе смотрят, сколько они берут. Они также делают поддельные запросы на сайты, что отнимает время и ресурсы компании, и все это ради запросов, которые ни к чему не приведут.
Известные атаки ботов
Атаки ботов происходят каждый день и могут нанести серьезный ущерб конкурентоспособности и прибыли компании. Время от времени бот-атака попадает в новости из-за масштаба атаки или из-за того, на кого она была направлена. Большинство таких атак совершается киберпреступниками (или, по крайней мере, людьми без морали) с целью наживы. Например, за последние несколько лет такие известные исполнители, как Coldplay, Ed Sheeran и BTS, провели концерты, билеты на которые были распроданы в считанные секунды, а спустя несколько минут они вновь появились на сайтах перепродажи – по цене, превышающей номинальную стоимость билета на 3000%. Некоторые атаки менее мгновенны. В 2018 году компания Panera Bread обнаружила, что она непреднамеренно передала данные своих клиентов хакерам, а все потому, что на ее веб-сайт была вставлена простая строка кода .txt. Иногда борьба идет между двумя компаниями – так, бюджетная авиакомпания Ryanair обратилась в суд на компанию Expedia за то, что та содрала цены на их билеты с сайта Ryanair. Самая громкая атака политических ботов произошла в компании Cambridge Analytica, которая, как выяснилось, собрала данные почти 90 миллионов граждан США из Facebook с целью повлиять на их поведение.
Как боты атакуют конкретные каналы
Существует не один способ внедрения бота. Существуют основные каналы, на которые нацелены киберпреступники: API, мобильные приложения и веб-сайты. Однако эти сети редко существуют изолированно, то есть если вы получаете доступ к одной из них, то обычно имеете доступ и к другим. Боты обычно нацелены на все три сети, поскольку чем больше целей, тем выше вероятность получения доступа. Ниже мы более подробно рассмотрим каждый из этих каналов и общие уязвимости каждого из них.
API
API – это основа, которая позволяет системам общаться друг с другом. Использование веб-интерфейсов API неуклонно растет в течение последних десяти лет и, похоже, за ними будущее, тем более что они являются основным компонентом мобильных приложений и продуктов IoT. Уязвимость заключается в том, что API полагаются на межмашинное взаимодействие, и бывает трудно определить, является ли машина настоящей или это плохой агент. На веб-сайте боту может потребоваться имитировать реального пользователя (например, в процессе регистрации). При использовании API им достаточно говорить на языке машины, и они могут оказаться внутри. Уязвимости усугубляются при использовании сторонних компаний, которые многие предприятия используют для своих нужд API. На этом этапе риск безопасности становится более масштабным и его сложнее отследить.
Мобильные приложения
Мобильные приложения появились недавно, и это делает их более уязвимыми для атак. Это объясняется двумя причинами. Во-первых, обычные меры безопасности, применяемые на веб-сайте, обычно не так эффективны в мобильных приложениях. Во-вторых, любой может создать мобильное приложение, и если он не будет так тщательно подходить к аспекту безопасности, то возникнет риск. Мобильные приложения предназначены для использования, конечно, на мобильных устройствах, но если хакер сможет подключить приложение к виртуальной машине (не Android или iOS), то он сможет запускать сценарии с гораздо большей скоростью и в конечном итоге получить доступ к личной информации клиентов, платежным реквизитам и конфиденциальной деловой информации.
Сайты
Наиболее часто боты используются на веб-сайтах. Они повсюду: в разделах комментариев, при попытках входа в систему, при соскабливании. Мы уже упоминали о масштабах активности ботов в Интернете; подавляющее большинство этих атак происходит через Интернет. Они могут быть простыми или сложными, но они повсюду – и это означает, что все компании должны знать об этом.
Обнаружение ботов
Итак, мы рассмотрели все страшные сценарии, которые могут произойти в результате появления ботов. Вопрос в том, можете ли вы что-нибудь с ними сделать? К счастью, ответ – да, можете. У киберпреступников не все идет своим чередом. На самом деле, у них почти ничего не получается по-своему. Каждый раз, когда разрабатывается новый подход к борьбе с ботами, вскоре появляется средство борьбы с этой угрозой. Однако – и это очень важно – эти угрозы можно сдержать, только если владелец компании/веб-сайта активно работает над их устранением. Первый шаг к управлению ботами – это их обнаружение. Вы не сможете найти что-то, если не знаете, что это за враг. Однако обнаружение ботов – непростой клиент. Во-первых, не похоже, что существует только один бот, которого вам следует искать. Во-вторых, определение того, что у вас может быть проблема, не говорит вам, в чем она заключается. Это просто говорит о том, что что-то не совсем так. Кроме того, наличие программного обеспечения, идентифицирующего ботов, может быть полезным, но может и навредить. Например, если ваше программное обеспечение для выявления ботов слишком оборонительное, то оно может просто заблокировать доступ к вашему сайту всем, включая реальных потенциальных клиентов. Вместо того чтобы пытаться заблокировать все, лучше подумать о смягчении воздействия ботов.
Уничтожение ботов
Что же такое минимизация ботов и как она может помочь в борьбе с ботами? По сути, можно считать, что борьба с ботами – это способ управления ботами. И вы можете управлять ими так, чтобы они не оказывали негативного влияния на ваш бизнес. Ниже мы рассмотрим некоторые из наиболее эффективных подходов к борьбе с ботами. Не все из них будут актуальны для вашего бизнеса, но вы, скорее всего, обнаружите, что можете применить один или два из них.
Поддельные данные
Если вы не можете победить их, то, по крайней мере, можете назвать это ничьей. Если вы обнаружили бота в своей системе, то одним из решений является подача ему поддельных данных. Например, неправильную цену на ваши товары. Мы называем это ничьей, но это скорее выигрыш для вас, поскольку вы можете заставить бота поверить в то, во что вы хотите, чтобы он поверил. Недостатком является то, что это отнимет у вас некоторое время, но не настолько, чтобы это не приносило удовлетворения!
Используйте капчу
Как пользователь Интернета, вы наверняка сталкивались с CAPTCHA. Это поле, в котором вы ставите галочку и сообщаете сайту, что вы человек (в некоторых случаях вам нужно пройти небольшой тест). Другие поставщики средств защиты от ботов называют это эффективным способом убедиться в том, что все посетители вашего сайта – люди. Однако сложные боты могут быть в состоянии легко и недорого обойти CAPTCHA. Если это произойдет, то они получат доступ к вашему сайту (если у вас нет других мер безопасности).
Невидимые вызовы
Самое приятное в людях то, что их взаимодействие с веб-сайтами более или менее одинаково. Они двигают мышью и нажимают. Вы можете установить систему, в которой ожидаете, что эти действия будут происходить, а если они не происходят, значит, у вас на руках бот, которого можно выгнать. Это эффективно в том смысле, что не влияет на пользовательский опыт – но сложные боты могут обойти и этот метод.
Заблокировать его напрямую
Если вы знаете, от какого типа ботов вы пытаетесь защитить свой сайт, то вы можете просто запретить им доступ к вашему сайту. Единственным недостатком этого способа является то, что он не является постоянным решением – бот, который был заблокирован, может появиться снова в виде более сложного бота.
Работа с компанией по управлению ботами
Современные проблемы требуют современных решений. Нереально ожидать, что компания будет располагать собственными ресурсами или опытом, чтобы держать всех ботов на расстоянии. Именно поэтому сотрудничество с компанией по управлению ботами, такой как Kasada, может быть очень полезным. Используя новейшие технологии, компания по управлению ботами может помочь предотвратить и остановить вредоносную автоматизацию еще до того, как она успеет проникнуть в вашу систему. Самые лучшие компании по борьбе с ботами предлагают полный уровень услуг против всех типов ботов, включая захват системы, захват аккаунта, отказ в обслуживании и соскабливание контента.
Заключение
Боты не собираются уходить в ближайшее время. Для защиты долгосрочных интересов вашей компании важно, чтобы вы серьезно относились к угрозе, которую они представляют. Именно те компании, которые так поступают, имеют больше шансов сохранить свои данные и системы в целости и сохранности, обеспечив при этом процветание своего онлайн-бизнеса.
