Боты составляют почти половину мирового веб-трафика, и хотя существуют все виды интернет-ботов для самых разных целей, значительная часть этого трафика поступает от плохих ботов со злым умыслом. Хорошие боты могут предоставлять полезные услуги: например, Googlebot и Bingbot очень важны для того, чтобы ваш сайт был проиндексирован двумя основными поисковыми системами, чтобы ваши потенциальные клиенты могли вас найти. Плохие боты, с другой стороны, могут нанести всевозможный ущерб вашему сайту и бизнесу:
- попытка распределенной атаки уровня 7 (DDoS) с целью отказа в обслуживании.
- парсинг с вашего сайта частной информации, которая может быть использована незаконно, например, для продажи данных пользователей
- репостинг вашего контента на других сайтах, создание дублирования контента и другие проблемы.
Кроме того, даже хорошие боты могут создавать дополнительную нагрузку на ресурсы вашего сервера, если ими не управлять должным образом, что приводит к увеличению нагрузки на трафик и замедлению скорости работы вашего сайта. Одним словом, управление и блокировка ботов, особенно плохих, очень важны, если у вас есть сайт и сервер, но при этом есть две основные проблемы:
- Мы не можем просто заблокировать всех ботов, поскольку есть хорошие боты, которые могут быть полезны.
- Мы не хотим случайно заблокировать законных пользователей и принять их за действия ботов.
Поэтому в этом руководстве мы обсудим, как эффективно блокировать ботов на вашем сайте и сервере. Давайте начнем с основ.
Что такое плохие боты?
Интернет-роботы – или просто боты – это автоматизированные программы, предназначенные для выполнения относительно простых, повторяющихся действий через Интернет. Ключевой характеристикой является то, что бот может выполнять эту задачу с гораздо большей скоростью, чем это может сделать человек, и делать это круглосуточно, без перерывов и отдыха. Как мы уже кратко обсуждали, существуют как хорошие, так и плохие боты. Хороший бот обычно принадлежит законной, известной компании (например, Google или Facebook), он не будет скрывать, что является ботом, и будет следовать правилам и политике файла robots.txt вашего сайта. Плохой бот, с другой стороны, может попытаться замаскироваться под человека, что приведет к разного рода проблемам. Для некоторых видов атак, таких как DDoS, хакеры также могут использовать бот-сети. Ботнет – это группа устройств (например, персональных компьютеров или устройств IoT), которые были заражены вредоносным ПО и теперь находятся под контролем злоумышленника, превращая их, по сути, в зомби-устройства. После заражения устройства оно может заразить другие устройства (например, путем рассылки спама по электронной почте), и таким образом коллекция ботов в ботнете может увеличиться до тысяч и даже миллионов компьютеров-зомби.
Как плохие боты могут повлиять на ваше присутствие в Интернете
Почему эти плохие боты так опасны? Плохие боты предназначены для выполнения различных вредоносных атак, от атаки грубой силы/заполнения учетных данных до веб-скрейпинга и масштабных DDoS-атак, и могут повлиять на ваш бизнес многими способами, включая, но не ограничиваясь ими:
Кража конфиденциальных данных
Боты-скреперы могут украсть и повторно использовать ваш контент без вашего разрешения. Хуже того, получив доступ, они могут украсть конфиденциальные данные пользователей из вашей базы данных, что может повлечь за собой юридические санкции и повлиять на вашу репутацию в долгосрочной перспективе. Некоторые боты даже достаточно продвинуты, чтобы собирать информацию о кредитных картах пользователей, если она не защищена должным образом.
Боты могут замедлить скорость вашего сайта
Деятельность ботов на вашем сайте создает дополнительную нагрузку на производительность вашего сервера, что, в свою очередь, может замедлить работу вашего сайта. Медленная скорость страницы может оттолкнуть посетителей и в долгосрочной перспективе повлиять на SEO-показатели вашего сайта.
Спам вашего сайта мошенническими ссылками
Спамботы могут спамить ваши формы, разделы комментариев и другие области на вашем сайте/платформе, которые позволяют вводить пользовательские данные. Они часто содержат ссылки на мошеннические/аферистические сайты, что может испортить вашу репутацию, а также привести к штрафным санкциям со стороны Google.
Искажение аналитики и расходов
Боты могут нарушить общую деятельность вашего сайта и повлиять на стоимость вашей рекламы. Издатели рекламы могут брать гораздо больше за рекламное место, потому что они предполагают, что у вас увеличился трафик (хотя он исходит от ботов). Если вы являетесь издателем и не остановите плохих ботов, то отправка бот-трафика рекламодателям повредит вашей репутации.
Разрушить ваше конкурентное преимущество
Суровая правда заключается в том, что хакеры могут работать от имени или продавать ваши данные вашим конкурентам, в результате чего вы можете потерять ценное конкурентное преимущество. Это особенно распространено в отраслях, где цена и/или информация могут сделать или сломать бизнес, например, сайты электронной коммерции по продаже билетов, сайты гостиничного бизнеса и так далее. Например, если вы не блокируете вредоносных ботов, они могут украсть ваши данные о ценах и продать их вашим конкурентам, чтобы ваши конкуренты могли еще больше снизить свои цены, устранив ваше конкурентное преимущество.
Люди и боты: как отличить их друг от друга
Современные “плохие боты” чрезвычайно изощрены, и визит таких ботов теперь очень трудно отличить от визита реального человека. Эти плохие боты не только ведут себя так же, как законный посетитель, но и могут использовать отпечатки пальцев/подписи, характерные для человеческих пользователей, такие как законный IP-адрес, согласованный заголовок браузера и данные ОС, а также другую кажущуюся законной информацию. Исходя из того, насколько хорошо плохой бот копирует поведение человека, мы можем разделить этих плохих ботов на четыре различные группы:
- Простые боты: эти боты заходят на сайт с помощью автоматических скриптов (не притворяясь, что используют браузер), и обычно заходят на сайт только с одного IP-адреса (назначенного провайдером). Как следствие, таких ботов очень легко обнаружить с помощью современных анти-бот решений.
- Боты умеренного уровня: эти боты обычно используют безголовые браузеры (виртуальное программное обеспечение, имитирующее браузеры), чтобы выглядеть как легитимные посетители, использующие настоящие браузеры.
- Сложные боты: могут имитировать простые человеческие действия, такие как нелинейные движения мыши, случайные щелчки и т. д. Они также используют безголовые браузеры и/или программы автоматизации браузеров, чтобы обмануть решение для управления ботами.
- Продвинутые боты: эти боты сочетают в себе все различные технологии для имитации человеческого поведения, подделывают свои пользовательские агенты (UA) и вращаются через огромное количество IP-адресов.
Однако, как бы хорошо боты ни имитировали человеческий трафик, они не совершенны в этом (по крайней мере, пока), и в целом мы можем использовать три основных подхода для различения плохих ботов и настоящего человеческого трафика и их эффективной остановки:
- Подход на основе вызовов: этот метод блокировки плохих ботов на вашем сайте использует вызовы и тесты для фильтрации ботов от легитимных пользователей. CAPTCHA является наиболее распространенным примером таких тестов, которые разработаны так, чтобы быть очень простыми для людей, но в то же время очень сложными, если не невозможными для ботов. Однако в настоящее время существуют обходные пути, которые хакеры могут использовать для обхода этих тестов, например, сервисы CAPTCHA farm, которые позволяют хакерам передавать CAPTCHA сотруднику-человеку для решения, прежде чем передать ее обратно боту.
- Статический подход/подход на основе отпечатков пальцев: при этом методе пресечения деятельности ботов управление ботами анализирует сигнатуры и отпечатки пальцев клиента и сравнивает их с известной базой данных. Например, управление ботами может проверить данные об ОС и браузере, IP-адреса, местоположения и другую информацию, которую можно перепроверить.
- Динамический/поведенческий подход: этот метод сосредоточен на анализе поведения (что делает бот), а не его отпечатков (что представляет собой бот). Например, менеджер бота будет проверять движения мыши клиента (движения человеческой мыши, как правило, более рандомизированы), набор текста и общую активность.
Хорошее решение для управления ботами будет сочетать в себе все эти подходы. В большинстве случаев, чтобы обнаружить и остановить наиболее продвинутых ботов, механизм обнаружения будет использовать ИИ и машинное обучение для анализа поведения.
Смягчение последствий против блокировки плохих ботов. При управлении деятельностью ботов блокировка активности бота не всегда является лучшим подходом по двум основным причинам:
- Мы хотим максимально избежать ложных срабатываний (случайной блокировки хороших ботов/легитимного человеческого трафика), поэтому при блокировке клиента мы должны быть уверены на 100%.
- Даже если мы уверены, что это вредоносный бот, иногда мы не хотим, чтобы бот знал, что он был обнаружен и заблокирован.
Вместо этого мы можем использовать следующие методы для более детального смягчения последствий:
- Медовая ловушка: вы позволяете боту работать как обычно, но кормите его поддельным контентом/данными, чтобы потратить его ресурсы и обмануть его операторов. В качестве альтернативы вы можете перенаправить бота на другую страницу, которая похожа визуально, но имеет более тонкий/поддельный контент.
- Вызов боту: мы можем бросить вызов боту с помощью CAPTCHA или невидимых тестов, например, внезапно попросить клиента переместить курсор мыши определенным образом, что будет очень трудно решить боту.
- Дросселирование/ограничение скорости: позволяет боту получить доступ к сайту, но замедляет распределение полосы пропускания, делая его работу гораздо менее эффективной. Надеемся, что оператор сдастся из-за очень низкой скорости.
Существуют векторы атак, при которых лучшим подходом будет полная блокировка активности бота, например, если он очень явно содержит/распространяет вредоносное ПО или осуществляет DDoS-атаку. Подходите к каждому боту индивидуально, и именно здесь наличие правильного решения для управления ботами может существенно помочь в борьбе с ботами на вашем сайте.
Инвестиции в решение для управления ботами
В связи с изощренностью современных вредоносных ботов, наличие правильного решения для управления ботами, которое может выполнять анализ на основе поведенческих факторов, очень важно, если вы хотите эффективно блокировать ботов на своем сайте и сервере. DataDome использует технологии искусственного интеллекта и машинного обучения для обнаружения действий ботов в режиме реального времени и может смягчать последствия действий вредоносных ботов на автопилоте. Без надлежащего решения по управлению ботами для вашего бизнеса обнаружить современные сложные действия ботов может быть крайне сложно.
Итог
Инвестиции в правильное решение для защиты от ботов – это лучший подход к блокированию и уменьшению количества ботов на вашем сайте и веб-сервере, и эти решения могут помочь вам в этом:
- Дифференциация между легитимными пользователями-людьми и вредоносными ботами, имитирующими людей, чтобы снизить количество ложных срабатываний как можно ниже
- Определение источника бот-трафика и его репутации для предотвращения ложных срабатываний
- Использование технологий искусственного интеллекта для анализа поведения каждого бота и принятия индивидуального решения по управлению деятельностью этих ботов
- Позволяет хорошим ботам получать доступ к вашему сайту и предоставлять свои преимущества
Полная блокировка ботов во многих случаях может показаться наиболее экономически эффективным подходом, но на самом деле в долгосрочной перспективе она может оказаться контрпродуктивной. Настойчивые злоумышленники сразу же узнают, когда их боты блокируются вашей инфраструктурой безопасности, и вместо этого могут использовать информацию об этом инциденте для обновления бота, чтобы он еще эффективнее обходил ваши меры безопасности. Поскольку боты становятся все более сложными, чем когда-либо, наличие правильной стратегии управления ботами для блокирования плохих ботов уже не роскошь, а необходимость.
