Такі пошуковики, як Google, Bing, Yandex, Yahoo та інші стали буквально вікном в інтернет, адже робота в ньому починається з пошуку необхідних сайтів. І зловмисники користуються цим, виводячи свої сайти з низькоякісним контентом в топ пошукової видачі, що змушує користувачів шукати потрібну їм інформацію довше. Компанії борються з цим, використовуючи складні інструменти, до яких входить також психологія, щоб краще розуміти мотиви зловмисників.
Що таке веб-спам
Визначення терміну веб-спам на перший погляд досить просте: це веб-сторінка, власник якої використовує чорні технології просування (SEO). Завдяки ним він намагається перехитрити алгоритми пошуковика та отримати топові позиції в його пошуковому рейтингу. Завдяки цьому зловмисники отримують великий потік відвідувачів на свої ресурси. Останні клікають на рекламу або заражають свій ПК шкідливими програмами.
У реальності визначити веб-спам виявляється складніше через те, що між легальними та чорними техніками просування проходить тонка грань. Окрім цього, навіть якщо власник веб-сторінки зловживає інструментами SEO, часто важко сказати, він робить це навмисно чи випадково. Буває також, що навіть очевидні спам-сторінки мають цінність для користувачів, і тому їх не можна блокувати, як решту.
Необхідність відсіювати спам
Очищати пошуковий рейтинг від веб-спаму потрібно для підвищення якості роботи пошуковика. Адже такі веб-сторінки часто мають низьку якість контенту, однак займають топові місця в пошуковому рейтингу. Через це якісні та потрібні сторінки губляться в нижніх місцях списку, і користувачі не можуть отримати до них доступ.
Ще однією причиною фільтрувати веб-спам є те, що на таких сайтах часто міститься зловмисне програмне забезпечення, яке заражає комп’ютери відвідувачів. До того ж, зменшення кількості таких веб-сайтів поліпшує екосистему інтернету, зменшуючи обсяги трафіку та привабливість такого заняття серед кіберзловмисників.
Не треба також забувати, що пошуковий рейтинг займає апаратні ресурси, які коштують грошей та мають обмежений обсяг для зберігання інформації. Видалення з нього веб-спаму дозволяє оптимізувати систему та звільнити місце для корисних веб-сторінок.
Підходи до спаму
У Google протиспамовий захист складається з двох частин: автоматизованої системи та команди експертів, які підчищають пропущені сайти вручну. Кількість останніх є таємницею, однак фахівці з відділу якості пошуку (відомий також як команда анти-спам) Каспар Шиманскі та Філі Вайз розповіли в інтерв’ю, що їхній відділ знаходиться в декількох точках планети та кожну хвилину хтось з їхніх колег очищає інтернет від сміття.
Причому працюють у цьому відділі не лише комп’ютерні спеціалісти. Вайз каже, що його колегами також є кайт-серфери, марафонці, аквалангісти, шкіпери, сомельє, бойові пілоти та навіть капітани підводних човнів. Вони постійно надсилають свої коментарі та думки до відділу автоматизованих систем фільтрації, і таким чином Google поліпшує результати пошуку.
У Bing, наприклад, більше сподіваються на автоматизовані фільтри, для чого перш, ніж зайнятися відсіюванням спамерів у пошуку, його творці намагаються зрозуміти їхню мотивацію. Знаючи її буде простіше визначити належність веб-сторінки до спаму.
Як визначають спам
Боротьба пошуковиків з веб-спамом нагадує суперництво меча та щита. Зловмисники постійно маскуються та захищають свої сайти, а пошуковики розробляють методи їхнього визначення, а також ускладнюють кіберзлочинцям обхід пошукових алгоритмів. Саме через це пошуковики тримають точні особливості своєї роботи та функціонування протиспамових фільтрів в таємниці.
Загалом створювати спам-сторінки зловмисників змушують гроші, адже це є бізнес. Іноді з цього правила бувають винятки – деякі кіберзлочинці працюють з політичних чи ще якихось мотивів. Однак більшість з них намагається заробляти таким чином гроші. Найпопулярніший способ отримати кошти зі спам-сайтів – це показ реклами. Чим більше оголошень проглянуть відвідувачі такого веб-ресурсу, тим більший прибуток. Адже якийсь відсоток з користувачів клікне на оголошення, що принесе зловмисникові гроші.
Знаючи, навіщо кіберзловмисники створюють спам-сайти, буде простіше визначити корисність веб-ресурсу. Пошуковики аналізують наступні параметри:
- якість контенту. Оскільки спамер бажає отримувати гроші від реклами, сам зміст сторінки йому потрібен на стільки, щоб досягти цієї мети. Тому вони не створюють якісні тексти, а намагаються задовольнити вимоги пошуковиків та підвищити рейтинг сайту. В більшості випадків це означає, що відвідувачі таких спам-ресурсів не знайдуть на них потрібні їм речі. Визначення корисності веб-сторінки проводиться за сотнями параметрів, серед яких – кількість слів на сторінці, унікальність контенту тощо;
- присутність реклами. Сьогодні майже кожна веб-сторінка в інтернеті має рекламу, однак це не робить її автоматично спамом. Показником цього є кількість оголошень на екрані, їхній тип (банери, вікна, що спливають тощо), а також їхня нав’язливість;
- верстка. Розміщення контенту та реклами на веб-сторінці також може сказати багато чого про сайт. Наприклад, оголошення можуть займати основне місце на екрані або акуратно відділятися від контенту;
- соціальні сигнали. Коли контент якісний, тоді його обговорюють читачі у своїх соцмережах. Це підказує пошуковикам, що сайт не відноситься до спаму;
- персональні фото. Пошуковики більше довіряють тим веб-сторінкам, на яких можна знайти інформацію про автора контенту: його фото, профілі в соцмережах тощо.
Наступна мета спамерів – заробити більше грошей. Коли кіберзловмисники вже мають декілька прибуткових веб-сторінок, вони хочуть максимізувати свій заробіток. Для цього вони часто використовують чорні методи просування та зловживання ними.
Для максимізації присутності в Мережі зловмисники різні підходи, які дозволяють швидко та дешево створити велику кількість власних веб-сторінок. Для цього вони можуть, наприклад, копіювати чужий контент повністю або вносити в нього незначні зміни, використовувати програми автоматичної генерації текстів, популяризувати сторінки з неунікальним контентом.
Щоб збільшити рейтинг сторінки у пошуковику, також існують десятки методів. До них входять: насичення сайту ключовими словами, маніпулювання посиланнями за допомогою відповідних ресурсів, об’єднання мереж, зловживання форумами, додавання невидимого користувачам контенту.
Пошуковики борються з ними, змінюючи алгоритми своєї роботи, що можна легко помітити самостійно. Коли на один і той же запит пошуковик видає різний результат, значить, він змінив принцип своєї роботи. Яндекс, наприклад, ввів нові правила побудови рейтингу цього літа. Google оновився приблизно рік, а Bing – навесні цього року.
Спамери намагаються захиститись від цих методів, адже визначення пошуковиком сайту як спамерського означає зниження прибутку. Для цього вони використовують перенаправлення, приховування контенту, маскують його під легітимний та використовують динамічні тексти.
Де зустрічається веб-спам
Побачити спам-сторінку можна будь-де, хоча в деяких сегментах інтернету (завантаження програм, музика тощо) вони зустрічаються частіше. Спам можна знайти на звичних веб-сторінках, форумах, соцмережах, персональних блогах і навіть в рекламі, яку показують пошуковики.
Google, наприклад, у 2011 році відрапортував про найбільше зниження кількості заразних посилань в топі своєї пошукової видачі. Тоді їх число вдалося зменшити на 50%, для чого пошуковий гігант витратив мільйони доларів на доопрацювання своєї системи. У цифрах таке зменшення означало пропажу 130 млн шкідливих сайтів з пошукової видачі.
Повністю позбутися від шкідливих сайтів пошуковики не можуть, хоча й працюють над цим. Сьогодні найбільш безпечно шукати у Google – він показує всього 272 шкідливих сайти на 10 млн веб-ресурсів. Для порівняння, Bing показує користувачам 1285 небезпечних сторінок, а Яндекс – 3330.
За матеріалами: Microsoft Daily
