Как обходить блокировки сайтов?
Это не новый текст, это копипейст карточки «Медузы», написанной несколько лет назад и постоянно обновляемой. Но поскольку есть страны, где «Медуза» заблокирована (привет, Казахстан и Узбекистан), то мы решили, что лучше выложить этот текст там, где его могут прочитать все.
Почему надо уметь обходить блокировки?
Российские власти пытаются бороться с нежелательной информацией в интернете и контролировать интернет-компании. Они вносят в запретные списки отдельные страницы или целые сайты, причем часто доступ оказывается попутно ограничен и к другим, случайным ресурсам. Заставляют провайдеров блокировать и мессенджеры, которые не собираются предоставлять им переписку пользователей. Объявляют о вечной блокировке «пиратских» торрент-сайтов, стараясь замедлить скорость скачивания файлов.
Кроме того недостатки системы блокировок научились использовать интернет-активисты. Они вынуждают некоторых провайдеров ограничивать доступ к сервисам, которых нет в списке запрещенных.
Первая версия этой карточки была опубликована в 2014-м. Тогда текст касался только блокировки сайтов. С тех пор государство ужесточило контроль над интернетом.
И эти блокировки можно обойти?
Да. Можно устроить так, что ваш провайдер не будет знать, что вы посещается запрещенный сайт или используете заблокированный мессенджер. Для этого нужны специальные посредники: они помогут создать зашифрованные каналы связи с находящимися за границей серверами и перенаправить через них ваш интернет-трафик.
Что это за посредники?
Это могут быть специальные сайты или серверы, расширения для браузеров или сами браузеры со встроенными функциями обхода блокировок, а также программы, которые подключают ваше устройство к защищенным сетям. Некоторые из них полностью бесплатны, за другие нужно платить деньги.
А разве посредники сами не могут быть заблокированы?
Могут, хотя сейчас это происходит очень редко. Но все может измениться после того, как в России будет принят закон о запрете обхода блокировок. Власти будут отыскивать таких посредников, предлагать им сотрудничать и самостоятельно ограничивать доступ к ресурсам из запрещенного списка, а в случае отказа — блокировать.
Даже в случае принятия такого закона блокировки можно будет обойти, правда сделать это будет немного сложнее. Инструкции на этот случай мы выделили желтым цветом.
Ладно, что делать, если мне надо просто быстро прочитать одну заблокированную страницу?
Откройте веб-анонимайзер — это такой сайт, где достаточно ввести ссылку на конкретный материал, чтобы получить доступ к его содержанию. Есть много сайтов, предоставляющих такиеуслуги, их довольно легко найти. Вот, например:
Как и обычные веб-сайты такие анонимайзеры легко заблокировать. Некоторые уже оказались в черном списке по решению российских судов. Такой вариант подойдет как временное решение, но постоянно им пользоваться неудобно. В случае блокировки вам придется либо выяснять, на какой домен переехал ваш любый сервис, либо искать новый.
А если я регулярно хочу посещать заблокированные сайты?
Тогда лучше воспользоваться специальными расширениями для браузеров вроде Browsec или Zenmate для Google Chrome и Mozilla Firefox. Или установите себе Opera — браузер со встроенным защищенным прокси-сервером. Следует учесть, что обходить блокировки сможет только тот браузер, для которого вы поставите расширение. Остальные приложения (вроде торрент-клиентов или мессенджеров) не смогут воспользоваться обходом блокировок.
Если авторы таких расширений не будут сотрудничать с властями, им придется играть в «кошки-мышки», постоянно меняя IP-адреса. Но для пользователей это будет выглядеть как простое автоматическое обновление расширений.
А есть какие-то универсальные средства?
Есть. Это зарубежные VPN. Они пропускают через свои серверы весь ваш интернет-трафик и позволяют обойти блокировку для любого приложения, например, мессенджера, или справится с замедлением скачивания торрентов. К такой сети можно подключить стационарные компьютеры и ноутбуки, мобильные устройства и даже некоторые домашние роутеры. Все зависит от конкретного провайдера. Можете попробовать бесплатные сервисы Opera Free VPN (только мобильные устройства) или CyberGhost VPN.
Если владельцы VPN-сервисов согласятся сотрудничать с властями, то для обхода блокировок вам потребуется не один, а сразу два законопослушных VPN-провайдера. Первый позволит вам прикинуться иностранцем, из-за чего второй не будет применять к вам блокировки из российского черного списка. Кроме того, блокировки официально разрешат обходить корпоративным VPN, которыми пользуются сотрудники компании.
Что делать, если я параноик?
Для вас создана анонимная сеть Tor. Вы можете просто скачать специальный защищенный браузер и пользоваться им вместо обычного. Можете установить на флешку Tails или Subgraph OSи загрузить ее вместо вашей операционной системы. Как только вы выключите компьютер (в случае опасности — просто выдерните флешку), данные о ваших действиях в интернете бесследно исчезнут. Если не хотите постоянно перезагружаться ради заблокированных сайтов, но боитесь взлома браузера Tor, научитесь работать с виртуальными машинами и запускать операционную систему Whonix. Для самых осторожных предлагаем запускать Whonix внутри операционной системы Qubes OS, считающейся одной из самых безопасных.
Если под запрет попадает Tor, то власти могут заблокировать публичные узлы анонимной сети (так происходит, например, в Китае). В таком случае для подключения к сети и доступа к запрещенным сайтам вам придется использовать мосты (bridges). Их специально придумали для обхода таких блокировок.
А без посредников вообще никак не обойтись?
В некоторых случаях можно. Ряд провайдеров хитрят и вместо полноценной блокировки с разрывом соединения с запрещенным сайтом лишь создают ее видимость. Например, они подменяют ответ запрещенного сайта собственным. Но такие упреждающие ответы провайдера можно попытаться отфильтровать и разблокировать весь свой трафик. Для этого вам, правда нужно знать, что такое dnscrypt и iptables, или попросить помочь разбирающегося в этом друга/подругу в настройке компьютера или домашнего роутера.
А меня вообще не накажут за то, что я воспользуюсь этими инструкциями для обхода блокировок?
Роскомнадзор заблокировал мой любимый сайт. Что делать? Самые простые способы обойти цензуру в интернете
Роскомнадзор каждую неделю блокирует десятки сайтов — как совсем неизвестных, так и тех, которые посещают миллионы людей. 14 сентября ведомство внесло в реестр запрещенных сайтов крупнейшие порноресурсы PornHub и YouPorn: из решения судов следует, что на них размещалась запрещенная информация. Сервисы уже недоступны в сетях части российских провайдеров. «Медуза» рассказывает о самых простых способах обходить блокировки: они не так эффективны и надежны, как платные VPN-сервисы, но могут пригодиться, если нужно быстро открыть какую-нибудь страницу.
Opera и «Яндекс.Браузер»
В браузерах Opera и «Яндекс.Браузер» есть «Турбо-режим», который включается, когда падает скорость соединения. Если этот режим активирован (а это можно сделать вручную), сайты, которые вы открываете, передаются вам через серверы Opera и «Яндекса». Эти серверы нередко расположены за пределами России, поэтому для них блокировка Роскомнадзора не работает. Пользователи Google Chrome могут установить расширение, выполняющее ту же задачу.
Кэш Google
Этот метод едва ли сработает с PornHub, зато он незаменим, когда нужно прочитать текстовую заметку на заблокированном ресурсе (особенно, если у вас есть прямая ссылка). В браузере перед адресом страницы нужно дописать слово «cache:», и тогда вместо самой страницы откроется ее копия в кэше Google.
Этот способ сработает, только если в вашем браузере Google стоит поиском по умолчанию. Если нет — вводите «cache:» и адрес страницы в поисковой строке на google.com.
Кэш страницы можно поискать и в «Яндексе», но делать это менее удобно: нужно добиться, чтобы ваша страница появилась в выдаче, затем нажать на стрелочку в зеленой строке и выбрать пункт «Сохраненная копия».
Анонимайзеры
Анонимайзеры, например Hideme.ru, «Хамелеон» или Hideme.in, — это сервисы, которые должны скрыть ваши данные от владельцев сайта. Но они же помогают обходить блокировки, потому что «переносят» пользователя в другую страну.
Расширения для браузера
В магазине расширений для Chrome можно найти несколько удобных и популярных расширений, позволяющих обходить блокировки. Например, friGate и ZenMate. А вот популярным расширением Hola мы пользоваться не советуем: его создатели продавали пользовательский трафик, в том числе и для организации атак на сайты.
Какое бы расширение вы ни выбрали, старайтесь придерживаться двух простых правил: отключайте эти расширения, когда они не нужны, и не вводите на страницах, открытых через них, конфиденциальную информацию.
Онлайн-переводчики
Еще один способ использовать сервисы Google не по назначению. Google Translate умеет переводить целые страницы — достаточно ввести в левое поле соответствующий адрес и кликнуть по ссылке, которая появится справа.
Почему сайт может попасть в бан? (что такое бан, причины, как выйти из бана)
Не секрет, что создатели поисковых систем побуждают вебмастеров совершенствовать качество контента на сайтах, объясняя это заботой о пользователях. Поскольку разработчики поисковиков дают владельцам сайтов возможность монетизации контента, взамен они ждут отдачи. Им важно показывать пользователям полезный, релевантный и качественный контент на страницах ранжируемых в ТОПе веб-ресурсов.
Для выявления среди миллионов сайтов тех, что не будут полезны юзеру, поисковиками задействуются специальные алгоритмы. Боты сканируют ресурсы на предмет бесполезного и даже опасного для пользователей контента. Находя нарушения правил, поисковый алгоритм не щадит администрацию сайта-нарушителя и применяет к веб-ресурсу санкции, иногда довольно жесткие.
Нарушения возникают нередко, ведь все владельцы сайтов хотят, чтобы их ресурс находился как можно выше в поисковой выдаче. При этом, далеко не всем хочется тратить время и деньги на качественное SEO-продвижение. В условиях жесткой конкуренции, многие идут по упрощенному пути. Они применяют черные и серые методы оптимизации.
Выделяют различные методы SEO-продвижения: белые, черные и серые. Белые — легальные способы оптимизации. Серые сопровождаются некими хитрыми приемами, и хотя они не несут 100% риска наложения санкций, но дают поисковому боту повод заподозрить нарушения. Черные методы — это грубые нарушения установленных поисковиком правил продвижения веб-ресурсов. В случае применения черного SEO высока вероятность, что сайт попадет в бан. Да, существуют специфические (нелегальные) ниши, где белыми методами особого успеха добиться не получится, и для продвижения сайтов там приходится использовать черные и серые методы. Однако мы их в данной статье не рассматриваем.
Начиная продвижение веб-ресурса, важно ознакомиться с понятием бана сайтов и причинами его возникновения. Важно уяснить, какие действия приводят к бану и как проверить его наличие на вашем ресурсе. А также стоит очертить для себя план действий по выходу из бана. Давайте подробнее рассмотрим эти вопросы.
Ни для кого не секрет, что ключевая цель в SEO — место в ТОП-10 по максимально возможному объему поисковых запросов. Этому способствует привлечение нового трафика и рост индексации сайта. Когда веб-ресурс индексируется, происходит то самое желаемое действие, при котором робот добавляет сведения о сайте в базу данных поисковой машины. И в дальнейшем, при запросах пользователей, поисковик ищет информацию именно в этой базе. Следовательно, раз все борются за индексацию, самой болезненной санкцией для сайта является ее снижение или полное ограничение.
Бан в поисковой системе заключается в том, что веб-ресурс прекращает индексироваться. Созданные ранее разделы сайта исчезают из поисковой выдачи. А вновь добавляемые страницы ресурса игнорируются поисковым ботом.
Поисковые боты регулярно проводят мониторинг содержимого проиндексированных веб-ресурсов. Они анализируют их на предмет качества и релевантности контента, наполненности исходящими ссылками, а также выявляют поведенческие факторы посетителей сайта. Результаты этих регулярных проверок влияют на позицию сайта в поисковой выдаче, наложение на него бана или фильтра.
По результатам одной из таких проверок сайт может попасть в черный список, конечно, если поисковые боты обнаружат на то веские причины. В таком случае объем страниц в результатах выдачи снижается. И даже если за неделю до бана веб-ресурс находился в ТОП-10, поисковый робот сделает кардинальную зачистку, такую, что сайт невозможно будет найти даже по прямому запросу. То есть, потенциальный покупатель не сможет найти ваш сайт, даже если введет в поисковой строке запрос, по которому тот ранжировался в ТОПе неделю назад. Более того, поиск не выдаст ваш ресурс, даже если клиент укажет брендовый ключ. Ваша площадка будет изолирована от пользователей интернета.
Единственно возможный вариант посетить сайт в данном случае — direct трафик (пользователю нужно ввести полную ссылку в поисковой строке, перейти на нужную страницу из закладки в браузере или через QR-код со стороннего источника информации). Такой способ, увы, не привлекает много клиентов.
Для понимания, что ваш сайт не находится под риском бана, убедитесь, что при работе ресурса не использованы запрещенные “приемы”. К нежелательным инструментам продвижения сайтов относятся следующие нарушения:
- Применение клоакинга. Это прием, который позволяет показывать пользователю один контент, а поисковому боту — другой. На одной версии сайта размещается SEO-оптимизированный текст, который нравится поисковому роботу, а на другой — тот, который необходимо показать посетителям. Не стоит это делать. Алгоритмы поисковых ботов способны выявить клоакинг. При его обнаружении сайт блокируют.
- Накрутка поведенческих факторов. Как известно, при ранжировании сайта в поисковой выдаче учитывается не только количество ключей. Бот также анализирует поведение пользователей на ресурсе. Например, длительность пребывания юзера на сайте. Зная это, сеошники или владельцы сайтов применяют накрутку поведенческих факторов. Данный прием можно отнести к черному SEO. При помощи специального ПО выполняется имитация длительного нахождения посетителя на ресурсе. Данный прием рано или поздно приведет к исключению сайта из поисковой выдачи.
- Использование сайтов-дорвеев. Дорвей (от англ. doorway — входная дверь) — специально созданный отдельный веб-ресурс, цель которого — явно не польза для читателя. Текстовое наполнение дорвея ориентировано на конкретный запрос или группу схожих ключей. Зачастую он создается на бесплатном хостинге с одной целью — индексация и повышение позиций в результатах поисковой выдачи. А уже при клике по ссылке или переходе на него происходит автоматическое перенаправление юзера на целевой веб-ресурс. Поскольку дорвеи не несут никакой информационной пользы для читателя, а создаются для обмана поисковика и перенаправления трафика, боты отслеживают их и блокируют. Если у целевого веб-ресурса в ссылочном профиле большинство бэклинков с дорвеев, он также может пострадать и попасть в бан.
- Налчие на сайте вирусов и троянов. Если поисковый бот выявит на ресурсе файлы, угрожающие безопасности пользователей, такой сайт подлежит автоматической блокировке. Нередко право на восстановление ресурса в таком случае запрещается.
- Заспамленность ссылками и ключевыми словами. Не секрет, что поисковый бот учитывает ключевые слова и фразы при ранжировании сайта. Однако здесь не работает принцип “чем больше, тем лучше”. Такой подход мог сработать 8 лет назад и более. Сейчас поисковик заметно поумнел. Заспамленность ключами может привести к блокировке веб-ресурса. Та же участь ожидает и сайт, который перенасыщен ссылками.
- Применение скрытого текста. Данный фокус заключается в закрашивании части текстовых материалов фоновым цветом. Смысл в том, чтобы включить в этот “невидимый” текст много ключей. Цель — показать роботу ключи и повысить позиции сайта в поисковой выдаче. При этом обычный юзер не видит скрытые слова, он читает легкий и понятный текст. Если при сканировании сайта, поисковый бот выявляет скрытый текст, веб-ресурс исключается из индекса.
- Неуникальный контент. Обязательно проверяйте тексты, подготовленные копирайтерами, на предмет уникальности текста. Нередко встречается явление, когда копирайтер безответственно подходит к созданию контента: копирует материал из нескольких источников, изменяет абзацы местами и выдает статью за авторскую. Каждый текст стоит “прогонять” через сервисы проверки уникальности.
- Применения попандеров и кликандеров. Некоторые SEO-шники применяют запрещенные манипуляции с рекламой. Например, попандер,- рекламные баннеры, которые размещены поверх контента. К нежелательным инструментам относятся также кликандеры. Это баннеры, открываемые в новом окне браузера при клике на любое место веб-ресурса.
- Прочие причины, не относящиеся к SEO. В отдельных случаях веб-ресурс подлежит бану из-за объективных факторов, не связанных с черными методами продвижения. Например, это может быть запрет со стороны правоохранительных органов государства, граждане которого входят в состав аудитории. В зоне риска находятся ресурсы, на которых замечены призывы к терроризму, нарушению закона, применению насилия, нарушению авторского права и прочее.
Как упоминалось в начале статьи, существуют черные и серые методы SEO-продвижения сайтов. Мы выяснили, что при выявлении ботом черных способов раскрутки, сайт отправляется в бан и исчезает из индексации. Что же может произойти, когда SEO специалист прибегает к серым методам продвижения? Тут к сайту могут применить фильтр.
Когда сайт оказался под фильтром, он не исключается из поисковой выдачи полностью. Он продолжает индексироваться и доступен для поиска пользователем, однако его позиции в результатах поиска резко снижаются. Если до наложения фильтра ресурс находился на 1-й странице поисковой выдачи, то после — может оказаться на 10-й.
Под фильтр могут попасть сайты, содержащие следующие материалы:
- Контент для взрослых (18+) на сайтах, которые изначально не позиционировались как источники adult-контента.
- Тексты с низкой уникальностью. Не уникальный контент может привести не только в фильтру, но и к бану веб-ресурса поисковиком. Жесткость «наказания» зависит от объемов плагиата.
- Сайты, заспамленные ключами. Тут работает тот же подход. Робот отправляет ресурс в бан или под фильтр, исходя из объемов спама ключами.
- Отсутствие адаптации сайта под мобильные устройства. Учитывая алгоритм mobile-first index и все больший объем трафика с мобильных устройств, веб-ресурсы, не имеющие адаптивной верстки, имеют низкие позиции в поисковой выдаче.
- Создание нескольких похожих сайтов в одной и той же нише. С целью недопущения монополизации контента, поисковик оставит в зоне видимости только один ресурс, а остальные будут пессимизированы (понижены в индексации).
- Некачественный и бесполезный контент. Апдейты последних лет призваны бороться с плохим контентом. Что для Гугла, что для Яндекса важно показывать пользователям страницы сайтов, наиболее точно отвечающие их запросам и предоставляющие по ним исчерпывающую, экспертную информацию.
Рассмотрим на примере поисковика Google ситуацию, когда владелец сайта хочет проверить, не попал ли его ресурс под бан. Чтобы прояснить ситуацию, есть два варианта:
- Самостоятельная проверка. Способ заключается в следующем: нужно в строке поиска перед урлом вашего веб-ресурса набрать «site:». Так вы сфокусируете робота именно на поиске вашего сайта. Он не будет анализировать всю базу данных. Если страницы индексируются, значит бан отсутствует. В случае нулевого результата по запросу, сайт, скорее всего, забанен и блокировка мешает роботу “пробраться” на него. Этот способ не прояснит вам причины бана, вы просто поймете, что ресурс больше не индексируется в поисковой выдаче.
- Проверка через Google Search Console. Если вы добавили адрес вашего сайта в данный сервис, то проверить наличие бана несложно. Нужно зайти на вкладку “проблемы безопасности и меры, принятые вручную”. В случае наложения санкций на ресурс, здесь отобразится соответствующее уведомление.
- Обращение в техническую поддержку. Этот способ стоит применять после первого и второго. Когда вы уже знаете, что бан есть и хотите разобраться в причинах. Тогда нужно сформулировать суть вопроса и направить его специалистам Google. Оставить обращение можно несколькими способами (рассмотрим на примере Гугла): через сервис Google My Business, через форму “Связаться с нами” Google Ads, прямо со страницы поиска Google, нажав “Настройки” — “Отправить отзыв”. Если возникают трудности с вышеуказанными методами, стоит найти в поиске номер телефона техподдержки для вашей страны. В результате обращения вы сможете получить развернутый ответ по причинам исключения из индекса вашего ресурса. Также вы сможете понять, возможна ли разблокировка или целесообразно создать новый сайт и продвигать его белыми методами.
Если вы получили ответ от тех. поддержки с причинами блокировки сайта, и при этом не было указано, что бан применен навсегда, можно поработать над разблокировкой ресурса.
Во-первых , внесите исправления в структуру сайта, с учетом выставленных замечаний. Во-вторых, тщательно изучите правила пользовательской политики поисковой системы. Прочитайте обо всех возможных нарушениях, за использование которых предусмотрена блокировка. Ведь до бана вы могли нарушать только часть правил, а в дальнейшем есть вероятность нарушения какого-то другого запрета.
Чтобы вернуть сайт в индекс нужно исправить все ошибки и устранить причину попадания веб-ресурса в бан или под фильтр. После этого сделайте повторный запрос в службу поддержки. Попросите специалистов разблокировать сайт, постарайтесь убедить их, что подобное не повторится. И, если у вас получится вернуть доверие поисковика, забудьте о серых и черных методах SEO-продвижения. Повторное нарушение может «похоронить» ваш сайт навсегда.
Увы, даже если сайт “реанимируют”, процесс возврата на прежние позиции будет очень долгим. После снятия блокировки поисковик накладывает на ресурс временный фильтр и сильно снижает его позиции в выдаче. Здесь выбор дальнейших действий остается за владельцем сайта — длительное ожидание или регистрация нового домена, перенос ресурса туда и честное SEO-продвижение в дальнейшем.
Бан сайта
Бан — это запрет на индексирование сайта, самая жесткая санкция поисковой системы. Накладывается на сайт в случае, если на нем обнаружено большое количество нарушений. Под баном можно провести от 4-х месяцев до 1 года.
О нарушениях, за которые на сайт могут наложить бан, подробно рассказывается в правилах Яндекса и Google.
Рассмотрим эту санкцию на примере поисковой системы Яндекс. Если на сайт наложен бан, то в индексе поисковой системы нет ни одной страницы ресурса, а при добавлении его адреса на панель Яндекс.Вебмастер выдается сообщение «запрещен к индексации».
Заниматься продвижением такого сайта бесполезно. Чтобы бы вы ни делали, поисковые системы все равно не будут показывать его в естественной выдаче. Прежде необходимо снять запрет на индексирование, что является долгой и трудоемкой задачей.
Как вывести сайт из бана Яндекса
Чтобы написать в техподдержку, надо войти в Яндекс.Вебмастер под тем аккаунтом, на который зарегистрирован ресурс. Попав в систему, следует перейти по ссылке «Задать вопрос о сайте службе поддержки».
Процесс выхода из-под бана может занять много месяцев, и даже после возвращения в индекс сайту будет сложно поднять свои позиции, поскольку репутация ресурса испорчена. Зачастую бывает проще запустить сайт на новом домене и не повторять ошибок.