На заметку Вся жизнь ради рекламы

Тема в разделе "Защита приватной информации", создана пользователем virt, 28 ноя 2017.

↑ ↓
  1. virt Уважаемый пользователь
    virt
    Ответить в чате

    Форумчанин

    Регистрация:
    24.11.2016
    Сообщения:
    315
    Симпатии:
    80
    Пол:
    Мужской
    Репа:
    +140 / 4 / -2
    Интересная статья с хакера:Адблок от блох. Выбираем и настраиваем блокировщик для борьбы с трекерами, рекламой и майнингом - «Хакер»

    Интернет пестрит рекламой, методы показа которой становятся все агрессивнее. Анимированные гифки и флеш, отдельные фреймы и всплывающие окна — это еще цветочки. Все чаще встречаются фишинговые редиректы, трояны и скрытые майнеры, которые добывают криптовалюту при посещении сайтов. Оградить от них пользователя помогают браузерные расширения, но не все блокировщики оказались на поверку честны и эффективны.

    Маркетинг без правил

    Современные средства веб-разработки помогают не только делать крутые веб-сервисы, но и обогащаться не вполне законными методами. Назойливая реклама, подмена настроек браузера, скрытые в коде страниц JS-майнеры — все это следствия бесконечной погони за прибылью.

    Бороться с этим на стороне пользователя можно при помощи фильтрации. В простейшем случае известные ресурсы с недобросовестной рекламой, фишинговые сайты и прочий сетевой мусор просто добавляются в файл hosts, где им жестко прописывается перенаправление на локальный хост вместо удаленного IP-адреса с сомнительной репутацией.


    Преимущество этого метода в том, что он не зависит от используемого браузера. Localhost один для всех программ, и его можно использовать в любой современной операционке. К примеру, опенсорсная программа AdAway позволяет избавить от рекламы рутованный девайс с Android 4.1 и новее.

    Другой популярный вариант — использовать браузерные расширения, которые фильтруют контент. Среди таких борцов с рекламой большую популярность получил AdBlock и его аналоги.


    Не всплывать!
    Самая назойливая реклама стала отфильтровываться уже на уровне браузеров. По умолчанию Chrome, Firefox, Safari и Edge блокируют всплывающие окна. Также в браузерах давно начали блокировать Flash, поскольку их часто используют для отслеживания пользовательской активности, да и сам Flash Player изобилует дырами в безопасности.

    С версии 53 Chrome сначала пытается загрузить версию страницы без Flash, и другие разработчики стали делать так же. Safari, начиная с версии 11, запрещает автоматически воспроизводить видео на странице. И такие функции встречаются все чаще. Поэтому прежде, чем ставить какой-нибудь блокировщик, открой настройки своего браузера. Часть надоедающей ерунды можно скрыть встроенными средствами.


    Почему AdBlock уже не торт

    Многие путают AdBlock и Adblock Plus, считая второй продвинутой версией первого. В действительности история их создания гораздо запутаннее. Дело было так…

    Первую версию расширения под названием AdBlock for Firefox написал Хенрик Сёренсен (Henrik Aasted Sørensen) в 2002 году. Как легко догадаться, оно работало только в Firefox. Из-за ограничений браузерного движка AdBlock for Firefox плохо боролся со вставками рекламных роликов, а интерфейс был довольно скудным. Спустя пару лет появился форк Adblock Plus, в котором многое было улучшено. Отчасти из-за этого в 2006 году разработка оригинального AdBlock for Firefox приостановилась.

    После трехлетнего затишья уже другой разработчик — Майкл Гундлах (Michael Gundlach) использовал наработки Adblock Plus, взял название оригинального проекта AdBlock и выпустил свою версию блокировщика рекламы в 2009 году.

    Новый AdBlock — это форк форка, который имеет мало общего с одноименным родоначальником. Он был написан как расширение для Chrome, Firefox, Safari, Opera и Edge. Среди преимуществ этого дополнения — универсальность, полностью переработанный интерфейс и возможность использовать списки Adblock Plus, которые совпадали по формату. Однако не все нововведения пришлись по вкусу пользователям и владельцам сайтов.

    Вырезание рекламы в AdBlock порой работает странно. К примеру, на скриншотах ниже показано, как выглядит сайт «Эха Москвы» при его посещении без блокировщиков и с установленным AdBlock.

    [​IMG]
    Сайт «Эха Москвы». Отображение без блокировщиков

    [​IMG]
    Сайт «Эха Москвы». Отображение с установленным AdBlock

    Видишь разницу? Я тоже не вижу, а счетчик AdBlock показывает, что она есть!

    При этом на сайте РенТВ (да, мы специально отобрали самые «вкусные» странички) картина иная. Если зайти на него без AdBlock, то можно получить психическую травму. Рекламы повалится столько, что ее не уместить на одном скриншоте.

    [​IMG]
    Фрагмент сайта РенТВ без фильтрации рекламы, начало

    [​IMG]
    Фрагмент сайта РенТВ без фильтрации рекламы, продолжение

    Стоит включить AdBlock, как вырезаются целые ленты и страница сжимается по вертикали в разы, но часть рекламы все равно остается.

    [​IMG]
    Сайт РенТВ. Вид через призму AdBlock

    Запрет рекламы как источник дохода

    С рекламой связаны миллионные бюджеты, и возникает закономерный вопрос: ради чего люди пишут клоны AdBlock, а затем годами занимаются поддержкой этих проектов? Вряд ли авторами движут исключительно альтруистические соображения. Блокирование рекламы может быть просто прибыльнее, чем ее показы. По подсчетам пользователей Quora AdBlock приносил разработчику от 6 до 25 миллионов долларов ежегодно только за счет добровольных пожертвований на его поддержку.

    [​IMG]
    Сбор пожертвований

    Сколько в действительности собрали по схеме доната за freemium — официально не сообщается. Однако технически здесь возможны и теневые методы монетизации. Например, новый AdBlock умеет не просто блокировать рекламу, а подменять вырезанные баннеры чем угодно. В 2012 году Гундлах стал заменять их фотографиями улыбающихся кошек (этот эксперимент объяснялся как затянувшийся первоапрельский розыгрыш), а в 2016 году вместо баннеров уже появились ссылки на статьи о Сноудене и другую пропаганду Amnesty International. Как говорится, здесь могла быть ваша реклама.

    В настоящее время Гундлах отошел от разработки, а развитием AdBlock руководят Габриэль Каббадж (Gabriel Cubbage) и Антуан Боглер (Antoine Boegler). Подробности этой сделки официально не сообщались, но разговоры о продаже AdBlock за внушительную сумму велись еще с 2015 года. При этом AdBlock использует труд волонтеров. Десятки людей продолжают бесплатно делать переводы и помогают улучшить продукт.


    Adblock Plus

    Сегодня расширение Adblock Plus доступно для браузеров Chrome, Firefox, Safari, Opera и Edge. Это один из самых популярных блокировщиков рекламы, скачанный более 100 миллионов раз. Он умеет выборочно фильтровать рекламу (в том числе видеоролики), отключать кнопки соцсетей, предотвращать переход на фишинговые сайты и защищать пользователя от слежки через счетчики и рекламные блоки. Однако и запрашивает он внушительный набор разрешений. Гораздо больше, чем аналоги.

    [​IMG]
    Разреши Adblock Plus все

    Adblock Plus распространяется бесплатно по лицензии GPLv3, но это не означает, что он не приносит прибыли своим хозяевам. Просто подходы к монетизации у разработчиков этого форка немного отличаются.

    Созданная для продвижения блокировщика компания Eyeo делает ставку на белые списки. Они включены в настройках по умолчанию и содержат правила, разрешающие показ «некоторой ненавязчивой рекламы».

    С 2011 года Eyeo взаимодействует с рекламодателями через платформу AAP — Acceptable Ads Platform. «Допустимая» реклама также может отображаться вместо вырезанной «недопустимой».

    Разработчики Adblock Plus открыто заключают контракты с рекламными сетями, которые хотят добавить свой контент в белые списки. Официально они должны проходить проверку и гарантировать соответствие своей рекламы критериям допустимости, но эти критерии определяет сама Eyeo. Конечно, откровенно навязчивая реклама вряд ли пройдет модерацию даже за большое вознаграждение. Многолетняя репутация банально стоит дороже разовой прибыли.

    Некоторые владельцы веб-сайтов считают практику избирательной блокировки рекламы и ее замены на «правильную» схемой недобросовестной конкуренции. Вместо участия в программе AAP они подают иски в суд и порой даже выигрывают. К примеру, немецкий издательский дом Axel Springer добился через суд бесплатного добавления своих журналов в белый список Adblock Plus.

    В нашем тесте Adblock Plus показал себя наравне с другими участниками, исправно вырезая рекламу. Однако некоторые сайты просто отказывались загружаться, пока мы его не отключим. Подробнее об этом смотри во врезке про adwall.

    [​IMG]
    С Adblock Plus вход запрещен!

    Как составляются списки фильтров

    Все блокировщики используют открытые списки небезопасных сайтов и источников назойливой рекламы. Их обновляют разные организации, каждая из которых руководствуется своими критериями для бана.

    Обычно сайт или его отдельный компонент получают «черную метку» после жалоб пользователей на доконавшую рекламу или мошенничество. Потенциально опасным сайт считается, когда попадает на прицел облачной системы антивирусной проверки. Например, такой как Google Safebrowsing или Norton Safe Web.

    Перечень популярных черных списков с их кратким описанием доступен здесь. Они частично совпадают, поэтому перед использованием их требуется объединить, очистив от повторяющихся записей. AdAway и современные блокировщики делают это автоматически. Допустимо использование любого количества списков — главное, чтобы их формат совпадал.

    Однако «допустимо» не означает «рекомендуется». Большинству пользователей хватает заданных по умолчанию двух-трех списков. Здесь нет смысла гнаться за количеством, поскольку длинный перечень блокируемых ресурсов замедляет работу браузера.

    Гораздо важнее учитывать региональные особенности. Например, вряд ли пользователям из России будут актуальны списки назойливой рекламы, докучающей веб-серферам в Аргентине. На практике оказывается эффективнее применять дефолтные региональные списки и добавлять к ним свои единичные фильтры, чем пытаться сразу прикрутить как можно больше готовых.


    Альтернативы AdBlock

    Помимо старого-нового AdBlock и его форка с припиской Plus есть масса других блокировщиков рекламы, но в основном это узкоспециализированные дополнения или просто поделки, сильно уступающие в функциональности. Однако встречаются и приятные исключения.


    uBlock Origin

    На мой взгляд, отдельного упоминания заслуживает uBlock Origin Раймонда Хилла (Raymond Hill). Он использует больше фильтров, но при этом умудряется задействовать меньше системных ресурсов, чем Adblock Plus. Вот собственные тесты разработчика, подтверждающие качество кода.

    uBlock Origin очень тонко конфигурируется. Более детальных настроек я не встречал ни в одном другом блокировщике. Отдельными списками загружаются правила для фильтрации обычной и назойливой рекламы, мошеннических и вредоносных сайтов, региональные и универсальные перечни. Дополнительные списки также блокируют следящие компоненты сайтов, заботясь о приватности.

    [​IMG]
    Большой выбор подписок

    Вдобавок uBlock Origin позволяет отдельно настраивать отключение всплывающих окон, блокировку загрузки крупных медиафайлов для уменьшения трафика и использование «косметических фильтров». По сути это таблицы стилей, без которых вместо вырезанных элементов отображались бы пустые прямоугольники. Они переверстывают страницу на лету, делая ее более компактной за счет того, что основной контент перемещается на место удаленной рекламы. Аналогичные функции встречаются и у других блокировщиков, но по моему опыту в uBlock Origin он работает лучше всего.

    Для каждого сайта легко задать свои установки, несложно и отключать uBlock Origin полностью или выборочно — для отдельных страниц сайта. Еще проще в нем разрешать или запрещать обращения к определенным сторонним сайтам. Для этого достаточно кликнуть по списку заблокированных элементов на текущей странице.

    [​IMG]
    Задаем правила на лету

    Белый список у uBlock Origin тоже существует. По умолчанию в него добавлены источники дополнений и компонент behind-the-scene. Так uBlock помечает все HTTP-запросы, которые не могут быть ассоциированы с какой-то определенной вкладкой браузера. К таким запросам относятся автоматические обновления самого браузера и его дополнений, системы поисковых подсказок и прочий служебный трафик.

    Если uBlock Origin пропустил рекламу или ты просто не желаешь видеть какой-то типовой фрагмент веб-страницы, то можно задать собственное правило блокировки. Для этого нужно зайти в режим затирания элементов и кликнуть на то, что тебе не понравилось.

    [​IMG]
    Режим затирания

    Таким образом я легко убирал сообщения и видеовставки на сайтах — не рекламные, но просто отвлекающие.

    [​IMG]
    Выбор элемента для удаления

    Расширенные настройки uBlock становятся доступны после установки флажка «Я — опытный пользователь». После этого включается режим динамической фильтрации контента, который нацелен преимущественно на блокировку межсайтовых запросов ради повышения приватности и безопасности.

    [​IMG]
    uBlock Origin — настройки для опытных пользователей

    Начиная с версии 1.1.0.0 uBlock Origin поддерживает облачную синхронизацию настроек через Firefox Sync или аккаунт Google. С ее помощью все правила фильтрации, настроенные на одном устройстве, легко экспортировать на другие. Также для этих целей можно использовать функцию бэкапа настроек.

    [​IMG]
    Сохраняем настройки фильтрации

    AdGuard

    Когда еще не было никаких расширений для браузеров, я использовал программный файрвол AtGuard. В девяностых годах на dial-up-подключении он был настоящим спасением, поскольку эффективно снижал объем трафика. AtGuard не боролся конкретно с рекламой, но умел «замораживать» анимацию GIF, блокировать скрипты и компоненты ActiveX. Это не только добавляло комфорта, но и сильно помогало избежать заражения.

    С тех пор многое изменилось, и сегодня под схожим названием AdGuard существуют два разных продукта: бесплатное дополнение для браузера за авторством Андрея Мешкова и платный кросс-платформенный файрвол, созданный в его же компании AdGuard Software.

    В этой статье мы рассмотрим браузерное расширение «AdGuard Антибаннер». Оно бесплатное и распространяется с открытыми исходниками. Помимо обычной и навязчивой рекламы, «Антибаннер» умеет блокировать рекламные видеоролики на YouTube и других сайтах, а также виджеты социальных сетей.

    «AdGuard Антибаннер» интересен и тем, что не только режет рекламу, но и препятствует установке Spyware и Adware. При этом сам он рекламирует полную версию AdGuard (отдельное приложение), чей установщик по умолчанию пытается нафаршировать систему сомнительным партнерским софтом — в частности, яндексовским. Я рефлекторно убрал флажки прежде, чем сделал скриншот.


    Блокировщики рекламы против скрытых майнеров.
    В последнее время на многих сайтах появились JS-майнеры, которые скрыто запускаются при посещении страниц независимо от действий пользователя. Причем в большинстве случаев это оказывалось сюрпризом и для владельцев сайтов. Кто-то по-тихому инфицировал популярные веб-страницы и заставил их добывать криптовалюту на всех компьютерах и мобильных устройствах посетителей. Чем не ботнет?

    С сентября 2017 года в Adblock Plus появилась функция запрета скриптов скрытого майнинга. Технически это просто еще один фильтр вроде *coinhive.min.js, поэтому можно вручную превратить любой настраиваемый блокировщик в «антимайнер». Тем более что, помимо Coinhive, есть множество других скриптов для онлайнового майнинга. Их список можно посмотреть в описании таких дополнений, как Mining Blocker или NoMiner.

    Сами эти дополнения использовать я не рекомендую, поскольку универсальный блокировщик функциональнее. Несколько одновременно работающих дополнений со схожими задачами могут конфликтовать друг с другом.


    «Отключи AdBlock или уходи»

    Наверняка ты часто видел просьбы отключить AdBlock и его аналоги на разных сайтах. В какой-то момент эти просьбы превратились в требования. Теперь некоторые веб-страницы скрывают свое содержимое до тех пор, пока ты не добавишь их в белый список. Такое явление получило название adwall по аналогии с paywall — ограничением показа контента только для платных подписчиков.

    Возьмем для примера forbes.com. Если зайти на него без блокировщиков, то реклама начнет вылезать еще при загрузке.

    [​IMG]
    Forbes — реклама прежде всего!

    Далее она будет отображаться на каждой странице в приоритетных местах. Например, вверху, сдвигая заголовки статей.

    [​IMG]
    Пример навязчивой рекламы

    Если же у тебя установлен какой-то блокировщик, то с большой вероятностью тебе просто заблокируют просмотр сайта. Такое поведение все чаще встречается на крупных западных сайтах, в особенности связанных с финансами и бизнесом. Расчет на то, что приличный человек, у которого по какой-то причине стоит Adblock Plus, просто добавит сайт в белый список и пойдет дальше.

    Интересно, что большинство «рекламных стен» сейчас определяют Adblock Plus и плохо детектируют AdBlock.

    [​IMG]
    Не все форки разбиваются о стену adwall

    Блокировщик для блокировщиков

    Отдельное расширение IsraBlock скрывает с веб-страниц требования отключить AdBlock и его аналоги.

    [​IMG]
    Пример работы IsraBlock

    Последняя версия IsraBlock 0.0.35 гораздо лучше работает в Chrome, чем в Firefox. Если версия для Chrome позволяет задать расширенные настройки, то в дополнении для Firefox настроек нет вообще.

    [​IMG]
    Расширенные настройки IsraBlock для Chrome

    Сейчас разработка IsraBlock приостановлена, но он еще исправно работает.

    [​IMG]
    Каков ответ на главный вопрос? 42!

    В нашем тесте uBlock Origin и «AdGuard Антибаннер» легко преодолели adwall на сайте Forbes.com. Никаких требований отключить AdBlock при посещении этого сайта с ними не появлялось, а рекламные элементы были аккуратно вырезаны из контента страницы.

    [​IMG]
    Сайт Forbes при посещении с AdGuard

    Объясняется это просто. Для борьбы с adwall был создан скрипт и обновляемый список под названием Anti-Adblock Killer. Сначала он отдельно добавлялся в разные блокировщики, а затем в слегка измененном виде вошел в состав наиболее продвинутых.

    Функция Anti-Adblock Killer вырезает из кода загружаемой страницы все, что распознает как требования разрешить показ рекламы.

    [​IMG]
    Что обычно вырезает Anti-Adblock Killer

    Ее дальнейшее развитие происходит уже внутри разных форков. Например, для uBlock Origin доступен uBlock Protector, а для AdBlock и Adblock Plus сейчас в разработке AdBlock Protector 2.

    Механизмы противодействия, аналогичные Anti-Adblock Killer, уже добавлены в последние версии uBlock Origin и «AdGuard Антибаннер». Уверен, скоро они появятся и в других блокировщиках — это лишь вопрос времени.