Индексирование в поисковиках: что это такое и как работает

Ранжирование – конечная сортировка сайтов, которые находятся в выдаче, и присвоение им определенных позиций или рангов. Конкретный ранг может быть дан определенной странице, когда она окажется в индексе, и только в тот момент, когда пользователь осуществит поиск по какой-то фразе. Такой порядок внедрен, чтобы обеспечить наличие максимально релевантных страниц в результатах поиска.
Индексирование происходит благодаря краулеру: он обходит страницы всех сайтов в интернете и отправляет получаемую информацию в базу данных поисковой системы. Она и называется индексом. В дальнейшем собранные данные задействуются по-разному. Частично – для выстраивания ранжирования и формирования максимально релевантных поисковой фразе результатов поиска. Частично – для иных, например, служебных целей.
Как мы уже выяснили выше, индекс – это большая база данных, которая состоит из нескольких ключевых разделов. Углубляться в них не буду – это не так важно. Скажу лишь, что в этой базе данных имеются сведения о нескольких миллионах страниц. При сканировании краулеры «ощупывают» не только видимую посетителю текстовую информацию страницы, но и другие данные: атрибуты документа, информацию из тегов (alt, title, description), другие технические данные.
Вторая – формирование списка слов-лексем . Краулер формирует специальную выборочную совокупность. Делается это, чтобы в дальнейшем выделить так называемую лексему. Если вы имеете какое-то отношение к изучению русского языка, то знаете, что в лингвистике термин «лексема» передает некое слово или выражение, которые принято считать за одну единицу. Собственно, аналогичные лексемы выделяются и на втором этапе индексирования страницы. Лексемы собираются со всех текстов (точнее, выделяются со всех слов), которые есть на странице.