Slide1
Slide1
previous arrow
next arrow

Поисковые системы: что такое и как работают

Поисковая система (браузер)

Поисковая система — алгоритмы и реализующая их совокупность компьютерных программ, предоставляющая пользователю возможность быстрого доступа к необходимой ему информации при помощи поиска в обширной коллекции доступных данных.

Общие понятие о браузере

Поисковая система обеспечивает пользователей функционалом, позволяющим получить доступ к контенту в интернете. Она служит для просмотра выбранных веб-страниц. С помощью браузера можно найти нужные сведения, пообщаться с друзьями в социальных сетях, посмотреть фильмы и сериалы, купить товары и многое другое. Первая поисковая система появилась в 1989 году.

Как работает поисковая система

У каждой поисковой системы — свой алгоритм работы, который держится в строгом секрете. Однако условно весь процесс подбора нужной информации поисковиком можно разделить на три этапа: сканирование (поиск и сохранение страниц), индексация и ранжирование.

  •  Сканирование

Чтобы поисковая система смогла найти нужную информацию в большом количестве сайтов, эти сайты должны быть ей известны, то есть прочитаны и сохранены в памяти.

Можно сравнить с библиотекой: если вы не знаете, какие книги стоят на полках и никогда не заглядывали в них, то вероятность того, что вы быстро сориентируетесь и найдете нужную цитату, равна нулю.

Поисковая система узнает о содержимом сайтов с помощью специального робота — краулера, или паука. Название происходит от английского crawler (ползающее насекомое, ползунок). Робот обходит все страницы, переходит по ссылкам и постепенно охватывает миллиарды веб-страниц в сети, сохраняет их и отправляет на индексацию.

  • Индексация

Следующий этап — подробный анализ загруженных страниц и добавление информации о том, какие сведения в них содержатся, в базу поисковой системы (создание индекса).

Индексный робот разбивает каждую сохраненную страницу на части (заголовки, текст, ссылки, теги html и т.д), изучает их содержимое, переваривает и структурирует. В результате получается упорядоченный список адресов страниц и размещенной на них информации.

По аналогии с библиотекой недостаточно знать, какие книги есть на полках. Важно составить подробный и удобный каталог, который расскажет, в каких книгах и на каких страницах искать нужную информацию.

Пока страница не проиндексирована, для поисковика она не существует. Поэтому важно, чтобы сайт был открыт для индексации. При необходимости можно закрыть от поисковых роботов отдельные страницы, например личный кабинет и корзину, чтобы они не попали в выдачу.

  • Ранжирование и поисковая выдача

Когда человек вводит запрос в поисковую строку, поисковик выбирает все страницы, которые имеют отношение к запросу, прогоняет их через свои алгоритмы и выдает список сайтов в определенном порядке. При этом чем выше сайт оказался в выдаче, тем лучше он соответствует запросу пользователя и требованиям поисковика.

Процесс сортировки сайтов по определенному списку критериев называется ранжированием. На результаты ранжирования влияет релевантность контента запросу, качество и удобство сайта, его технические и пользовательские характеристики и многое другое. Точный список критериев поисковые системы держат в секрете и постоянно обновляют свои алгоритмы.

По итогам ранжирования можно получить разные результаты поисковой выдачи:

  • в разных поисковиках, так как используются различные критерии фильтрации;
  • в разных регионах, так как в запросах учитывается местонахождение пользователя;
  • на разных устройствах — в десктопной и мобильной версии, так как имеет значение удобство использования сайта на разных устройствах;
  • по одинаковым запросам у разных пользователей, так как учитывается индивидуальная история поиска.

Ряд востребованных поисковых систем

  • Google Chrom — самый популярный браузер в мире, который используют более 70% пользователей. Он быстрый, удобный и безопасный. Поддерживает синхронизацию между устройствами, имеет множество расширений для улучшения функциональности.
  • Yandex Browser — поисковая система популярная в России, имеющая высокую скорость работы и удобный интерфейс. Обладает функцию синхронизации, защиты от мошенничества и переводчик. Есть встроенная нейросеть.
  • Mozilla Firefox — популярная поисковая система, которая отличается своей безопасностью и стабильностью. Имеет функцию многоязычности и встроенный переводчик. Обладает большим набор дополнений.
  • Microsoft Edge — браузер, разработанный компанией Microsoft. Он отличается высокой скоростью работы и безопасностью. Обладает встроенным магазином приложений, где можно найти множество полезных расширений.

Технология IndexNow от Яндекса и Microsoft

Технология IndexNow от Яндекса и Microsoft

Технология IndexNow от Яндекса, разработанная совместно с Microsoft, представляет собой новый протокол. С его помощью сайты будут взаимодействовать  с поисковыми системами по-новому. Благодаря ему можно в автоматическом режиме уведомлять поисковые системы о том, что на сайте произошли изменения: появились новые страницы, обновлены или удалены уже проиндексированные страницы.

На данный момент новая технология IndexNow от Яндекса поддерживается только Яндексом, а также поисковыми системами Bing и Baidu. Работа по данному проколу доступна исключительно владельцу того или иного сайта. Один POST-запрос может содержать в себе не более 10 000 адресов, а статусы отправленных страниц могут быть любыми (200, 301, 302, 404, 410). Для передачи подходят страницы, изменения в которых произошли не ранее, чем с начала поддержки новой технологии IndexNow.

Обработка страниц, которые были отправлены этим способом, входит в тот же краулинговый бюджет. Все обходы контента входят в квоту обхода сайта. Как правило, у поисковых систем данные URL-адреса находятся в приоритете над остальными известными адресами.

Специалисты Яндекса рекомендуют один и тот же адрес очень часто не отправлять. Однако, в ситуации, когда без этого не обойтись, необходимо выдерживать 10-минутную паузу между попытками отправки. При большом потоке запросов в действие вступают препятствующие этому алгоритмы Яндекса.

Ознакомиться с подключением нового протокола вы можете в справочной информации Яндекс.