TeoreticQuiz

Elasticsearch / OpenSearch / Meilisearch

Материал для подготовки к собеседованию (Middle / Senior). Поисковые движки: полнотекстовый поиск, аналитика, векторный (семантический) поиск. Elasticsearch и OpenSearch — «тяжёлые» движки на Lucene; Meilisearch — лёгкий и простой. Термины на английском там, где это принято.

Содержание


Зачем нужен поисковый движок

Обычная БД плохо приспособлена для полнотекстового поиска: LIKE '%текст%' не использует индексы, не учитывает морфологию, опечатки, релевантность, синонимы. Поисковый движок решает это: строит специальные индексы, ранжирует результаты по релевантности, работает с языком (стемминг, стоп-слова), даёт фасеты, автодополнение, нечёткий поиск.

Типовые задачи: поиск по товарам/статьям, автокомплит, фильтры и фасеты, логи и метрики (ELK-стек), аналитика, а теперь и семантический (векторный) поиск для AI/RAG.

Elasticsearch и OpenSearch построены на библиотеке Apache Lucene (низкоуровневый поисковый движок), добавляя распределённость, REST API, кластеризацию.


Инвертированный индекс

Основа полнотекстового поиска. Обычный («прямой») индекс: документ → его слова. Инвертированный индекс: слово (term) → список документов, где оно встречается (+ позиции, частоты).

Документы:
  doc1: "быстрая рыжая лиса"
  doc2: "рыжая собака"

Инвертированный индекс:
  быстрая → [doc1]
  рыжая   → [doc1, doc2]
  лиса    → [doc1]
  собака  → [doc2]

Поиск «рыжая» — мгновенно вернёт [doc1, doc2] по индексу, без перебора всех документов. Именно поэтому поиск по миллионам документов быстрый. Это концептуальный аналог GIN-индекса в PostgreSQL.


Анализаторы, токенизация, стемминг

Прежде чем попасть в инвертированный индекс, текст проходит анализ (analyzer). Анализатор состоит из этапов:

  1. Character filters — предобработка (убрать HTML-теги и т.п.).
  2. Tokenizer — разбить текст на токены (обычно по словам/пробелам).
  3. Token filters — преобразовать токены: привести к нижнему регистру, убрать стоп-слова (и, в, the), применить стемминг (привести к основе: «бегает», «бегал» → «бег»), синонимы, транслитерацию.
"Быстрые Рыжие Лисы" 
  → токены: [быстрые, рыжие, лисы]
  → lowercase: [быстрые, рыжие, лисы]
  → стемминг: [быстр, рыж, лис]  → это и попадает в индекс

Важно: один и тот же анализатор применяется и при индексации, и при поиске — иначе запрос не совпадёт с индексом. Для морфологии русского/английского берут языковые анализаторы. Для автокомплита — ngram/edge-ngram (разбивка на подстроки).

text vs keyword (ключевое различие полей): text анализируется (полнотекстовый поиск, морфология); keyword не анализируется (хранится как есть — для точного совпадения, сортировки, агрегаций, фильтров). Часто поле индексируют и как text, и как keyword (title + title.keyword).


Релевантность: TF-IDF и BM25

Поиск возвращает результаты, отсортированные по релевантности (score) — насколько документ соответствует запросу.

  • TF-IDF — классическая модель: TF (term frequency) — чем чаще слово в документе, тем релевантнее; IDF (inverse document frequency) — редкие слова важнее частых (слово, встречающееся во всех документах, малоинформативно).
  • BM25 — улучшенная модель (по умолчанию в Lucene/Elasticsearch/OpenSearch): как TF-IDF, но с насыщением TF (после какого-то числа повторов слова релевантность растёт медленнее) и учётом длины документа (в длинном документе слово «весит» меньше).

Управление релевантностью:

  • boosting — повысить вес поля/условия (title^3 — заголовок втрое важнее тела).
  • function_score — своя формула score (учесть популярность, свежесть, расстояние).
  • В bool-запросе: must (обязательно, влияет на score), should (желательно, повышает score), filter (обязательно, не влияет на score — и кэшируется), must_not (исключить).

Elasticsearch / OpenSearch: архитектура

Кластер состоит из узлов (nodes) с ролями:

  • Master node — управляет кластером (метаданные, распределение шардов), не хранит данные (в проде — выделенные).
  • Data node — хранит данные (шарды), выполняет поиск/индексацию.
  • Coordinating node — принимает запрос, рассылает его по шардам, собирает и объединяет результаты (любой узел может быть координатором).
  • Ingest node — предобработка документов (пайплайны) перед индексацией.

Взаимодействие — через REST API (JSON по HTTP). Данные организованы в индексы, индекс делится на шарды, шарды имеют реплики.


Индексы, шарды, реплики

  • Index (индекс) — коллекция документов схожей структуры (аналог таблицы/БД). Документ — JSON.
  • Shard (шард) — часть индекса; индекс физически разбит на шарды (каждый — самостоятельный Lucene-индекс). Шардирование позволяет горизонтально масштабировать и распараллелить поиск.
  • Primary shard — основной; число задаётся при создании индекса и у существующего индекса не меняется. Изменить можно только созданием нового индекса: _split (увеличить в кратное число раз), _shrink (уменьшить до делителя; исходный индекс должен быть read-only) или reindex.
  • Replica shard — копия primary: отказоустойчивость (если узел упал) + масштабирование чтения (поиск идёт и по репликам). Реплика всегда на другом узле, чем её primary.
Index "products" (3 primary + 1 replica)
  Node A: P0, R1, R2
  Node B: P1, R0
  Node C: P2, R... (реплики на других узлах, чем их primary)

Практика: слишком много мелких шардов — overhead; слишком мало — плохое распараллеливание. Ориентир — шард в десятки ГБ. Для временных данных (логи) — индексы по датам (logs-2024.01.01) + ILM/ISM (управление жизненным циклом: rollover, удаление старых).


Маппинг и типы полей

Mapping — схема индекса: какие поля и каких типов. Бывает динамический (ES сам угадывает типы) и явный (рекомендуется в проде).

PUT /products
{
  "mappings": {
    "properties": {
      "title":    { "type": "text", "analyzer": "russian",
                    "fields": { "keyword": { "type": "keyword" } } },
      "price":    { "type": "double" },
      "in_stock": { "type": "boolean" },
      "tags":     { "type": "keyword" },
      "created":  { "type": "date" },
      "location": { "type": "geo_point" },
      "embedding":{ "type": "knn_vector", "dimension": 768 }
    }
  }
}

Типы: text (анализируется), keyword (точное совпадение/фильтры/агрегации/сортировка), числовые (integer, long, double), boolean, date, object/nested (вложенные), geo_point/geo_shape, knn_vector/dense_vector (векторы). Ключевой нюанс — text vs keyword (см. выше): по text ищут полнотекстом, по keyword фильтруют/агрегируют/сортируют.


Query DSL

Запросы — JSON (Query DSL). Два контекста: query context (влияет на релевантность, score) и filter context (да/нет, без score, кэшируется — быстрее).

GET /products/_search
{
  "query": {
    "bool": {
      "must":   [ { "match": { "title": "рыжая лиса" } } ],   // полнотекст (влияет на score)
      "filter": [ { "term": { "in_stock": true } },           // фильтр (без score)
                  { "range": { "price": { "gte": 100, "lte": 500 } } } ],
      "should": [ { "match": { "brand": "premium" } } ],       // повышает score
      "must_not":[ { "term": { "hidden": true } } ]
    }
  },
  "sort": [ { "price": "asc" } ],
  "from": 0, "size": 20
}

Основные запросы:

  • match — полнотекстовый поиск по анализируемому полю (запрос тоже анализируется).
  • term — точное совпадение по неанализируемому полю (keyword, число, bool). По text term обычно не сработает (там хранятся токены/основы).
  • range — диапазон (числа, даты).
  • bool — комбинирование (must/should/filter/must_not).
  • multi_match — поиск по нескольким полям, match_phrase — точная фраза, wildcard/prefix — по маске/префиксу, fuzzy — с опечатками.

Правило производительности: то, что не нужно для релевантности (флаги, диапазоны, категории), выносить в filter (не считает score, кэшируется).


Агрегации

Агрегации (aggregations) — аналитика поверх результатов (аналог GROUP BY + функции), основа фасетного поиска и дашбордов (Kibana/OpenSearch Dashboards).

GET /orders/_search
{
  "size": 0,                             // сами документы не нужны — только агрегаты
  "aggs": {
    "by_status": {
      "terms": { "field": "status" },    // группировка (bucket)
      "aggs": {
        "avg_amount": { "avg": { "field": "amount" } }  // метрика внутри группы
      }
    }
  }
}

Виды: bucket (группировка — terms, date_histogram, range), metric (avg, sum, min, max, cardinality — число уникальных, приближённо через HyperLogLog++, точность настраивается precision_threshold), pipeline (агрегации над агрегациями). Фасетный поиск (фильтры «категория/бренд/цена» с числом результатов) делается через terms-агрегации.


Пагинация

  • from / size — как offset/limit. Просто, но дорого на больших смещениях (нужно собрать и отсортировать from + size на каждом шарде). Есть жёсткий лимит index.max_result_window (по умолчанию 10 000).
  • search_after — keyset-пагинация: передаём значения сортировки последнего документа, получаем следующие. Эффективно для «листания» и бесконечного скролла (нужен уникальный tie-breaker в сортировке).
  • Scroll API — для выгрузки больших объёмов (снимок на момент запроса); устаревает в пользу search_after + PIT (point-in-time).

Для глубокой пагинации/экспорта — search_after, не from/size.


Векторный (семантический) поиск и kNN

Зачем. Полнотекстовый поиск ищет по совпадению слов (лексический). Векторный (семантический) поиск ищет по смыслу: запрос «обувь для бега» найдёт «кроссовки», даже если этих слов нет в документе. Основа современных AI-поиска и RAG (Retrieval-Augmented Generation).

Как работает. Текст (и запрос) преобразуют в вектор (embedding) — массив чисел (например, 768 измерений) с помощью ML-модели. Похожие по смыслу тексты дают близкие векторы. Поиск = найти ближайшие векторы к вектору запроса по метрике расстояния (косинусное сходство, L2/евклидово, скалярное произведение). Это задача kNN (k nearest neighbors) — k ближайших соседей.

Точный kNN (перебор всех векторов) дорог, поэтому используют приближённый ANN (Approximate Nearest Neighbors) — алгоритм HNSW (граф) или IVF; чуть жертвуют точностью ради скорости.

Векторный поиск в OpenSearch

У OpenSearch есть плагин k-NN (из коробки в дистрибутиве). Поле — тип knn_vector; индекс включает "index.knn": true; движки — Lucene, Faiss (алгоритм HNSW/IVF) и nmslib (устарел: deprecated в 2.x, в 3.0 новые индексы на нём создавать нельзя — использовать Faiss/Lucene).

PUT /docs
{
  "settings": { "index.knn": true },
  "mappings": {
    "properties": {
      "text":      { "type": "text" },
      "embedding": {
        "type": "knn_vector",
        "dimension": 768,
        "method": {
          "name": "hnsw",
          "space_type": "cosinesimil",   // или l2, innerproduct
          "engine": "lucene"             // или faiss (nmslib устарел)
        }
      }
    }
  }
}

kNN-запрос — найти ближайшие к вектору запроса:

GET /docs/_search
{
  "size": 5,
  "query": {
    "knn": {
      "embedding": {
        "vector": [0.12, -0.03, ...],   // вектор запроса (эмбеддинг текста запроса)
        "k": 5
      }
    }
  }
}

Гибридный поиск (hybrid search) — комбинация лексического (BM25) и векторного поиска: одно ловит точные термины/фильтры, другое — смысл. Результаты объединяют (нормализация score, RRF — reciprocal rank fusion). Это часто даёт лучшее качество, чем каждый по отдельности. OpenSearch поддерживает hybrid query и ML-пайплайны (в т.ч. для генерации эмбеддингов на лету через ML Commons).

В Elasticsearch аналог — поле dense_vector + knn-поиск (HNSW), а также ELSER (разрежённая модель) и гибридный поиск с RRF. Специализированные векторные БД — Qdrant, Pinecone, Weaviate, Milvus, pgvector (в PostgreSQL).


Elasticsearch vs OpenSearch

История: OpenSearch — форк Elasticsearch 7.10, созданный Amazon (и сообществом) в 2021 после того, как Elastic сменила лицензию Elasticsearch с Apache 2.0 на SSPL/Elastic License (не полностью open source). OpenSearch остался под Apache 2.0 (полностью открытый).

Аспект Elasticsearch OpenSearch
Владелец Elastic сообщество / Linux Foundation (изначально Amazon)
Лицензия SSPL / Elastic License, с 2024 добавлен вариант AGPLv3 (Apache 2.0 не вернулся) Apache 2.0 (полностью open source)
Дашборды Kibana OpenSearch Dashboards (форк Kibana)
Платные фичи часть в подписке (X-Pack) всё бесплатно и открыто
API во многом совместимы (форк 7.10), но расходятся
Векторный поиск dense_vector + kNN, ELSER плагин k-NN (Lucene/Faiss; nmslib устарел), ML Commons

Концептуально (индексы, шарды, реплики, инвертированный индекс, Query DSL, агрегации) они очень похожи — знания переносятся. Различия — в лицензии, некоторых фичах и экосистеме.


Meilisearch

Meilisearch — лёгкий, быстрый, простой в настройке поисковый движок (на Rust), нацеленный на поиск для пользователя (search-as-you-type, автокомплит) с минимумом конфигурации. Не для аналитики/логов (это к Elastic/OpenSearch).

Особенности:

  • Из коробки: typo-tolerance (устойчивость к опечаткам), префиксный поиск (as-you-type), релевантность с разумными дефолтами, очень низкая задержка.
  • Настройка индекса: заранее задают searchable attributes (по каким полям искать), filterable attributes (по каким фильтровать — для фасетов), sortable attributes (сортировка), ranking rules (правила ранжирования).
  • Фасетный поиск и фильтры, синонимы, стоп-слова, выделение совпадений (highlight).
  • Простой REST API, быстрый старт; поддержка векторного/гибридного поиска появилась в новых версиях (эксперим.→ стабильно).
POST /indexes/products/documents        # добавить документы
POST /indexes/products/search
{ "q": "кросовки", "filter": "price < 5000", "limit": 20 }
# найдёт "кроссовки" несмотря на опечатку (typo tolerance)

Ограничения vs Elastic/OpenSearch: меньше возможностей для сложной аналитики, агрегаций, распределённости больших объёмов, гибкости запросов. Зато проще, легче и быстрее для типичного поиска по каталогу/контенту небольшого-среднего масштаба. Похожая альтернатива — Typesense; в облаке — Algolia.


Индексация и синхронизация с БД

Поисковый движок — вторичное хранилище: исходные данные обычно в основной БД, а в индекс их надо синхронизировать.

Подходы:

  • Прямая индексация из приложения — при создании/изменении сущности сразу шлём документ в индекс (просто, но риск рассинхрона при сбое).
  • Через очередь/события — при изменении публикуем событие, воркер индексирует (надёжнее, асинхронно).
  • CDC (Change Data Capture) — ловим изменения БД (например, из binlog/WAL через Debezium/Logstash) и обновляем индекс.
  • Bulk API — индексировать пачками (_bulk), а не по одному (намного быстрее).

Переиндексация без даунтайма (важно): число primary-шардов и часть маппинга нельзя менять на лету (_split/_shrink тоже создают новый индекс). Паттерн — алиасы: приложение обращается к индексу через alias products; создаём новый индекс products_v2, reindex данные, затем атомарно переключаем alias с products_v1 на products_v2. Пользователи ничего не замечают.

Также: refresh interval — как быстро новые документы становятся видимыми для поиска (near real-time, по умолчанию ~1с); при массовой загрузке его увеличивают/отключают для скорости.


Что и когда выбирать

  • Elasticsearch / OpenSearch — сложный полнотекстовый поиск + аналитика + логи/метрики (ELK), большие объёмы, распределённость, агрегации, векторный/гибридный поиск, RAG. Выбор ES vs OpenSearch — по лицензии и экосистеме (OpenSearch полностью open source и бесплатен).
  • Meilisearch / Typesense — быстрый простой поиск по каталогу/контенту (autocomplete, typo-tolerance) с минимумом настройки; небольшой/средний масштаб.
  • pgvector / Qdrant / Pinecone — если нужен в основном векторный поиск (RAG) без тяжёлого полнотекста.

Вероятные вопросы

Что такое инвертированный индекс? Структура «слово → список документов, где оно встречается». Позволяет искать по терму мгновенно, без перебора всех документов.

Что делает анализатор? Преобразует текст перед индексацией: char filters → tokenizer (разбить на токены) → token filters (lowercase, стоп-слова, стемминг). Один анализатор применяется и при индексации, и при поиске.

text vs keyword? text анализируется (полнотекстовый поиск, морфология); keyword не анализируется (точное совпадение, фильтры, сортировка, агрегации). Часто индексируют оба.

TF-IDF vs BM25? Оба ранжируют по релевантности (частота терма + редкость). BM25 (по умолчанию) добавляет насыщение TF и учёт длины документа — точнее.

Что такое шард и реплика? Шард — часть индекса (отдельный Lucene-индекс) для масштабирования/параллелизма; реплика — копия шарда для отказоустойчивости и масштабирования чтения (на другом узле).

Роли узлов в кластере? master (управление), data (данные/поиск), coordinating (приём запроса, сбор результатов), ingest (предобработка).

query context vs filter context? query — влияет на score (релевантность); filter — да/нет без score, кэшируется (быстрее). Диапазоны/флаги/категории — в filter.

match vs term? match — полнотекст по анализируемому полю (запрос тоже анализируется); term — точное совпадение по неанализируемому (keyword/число/bool).

Что такое агрегации? Аналитика поверх результатов (bucket/metric/pipeline), аналог GROUP BY; основа фасетов и дашбордов.

Как правильно пагинировать? from/size дорого на больших смещениях (лимит 10k); для глубокой пагинации/экспорта — search_after (+ PIT), scroll — устаревает.

Что такое векторный (семантический) поиск? Поиск по смыслу через эмбеддинги (векторы): текст → вектор ML-моделью, ищем ближайшие по косинусному сходству/L2 (задача kNN). Находит релевантное, даже без совпадения слов; основа RAG.

Как работает kNN в OpenSearch? Поле knn_vector + "index.knn": true; приближённый поиск (ANN) алгоритмом HNSW через движки Lucene/Faiss (nmslib устарел); запрос knn с вектором запроса и k.

Что такое гибридный поиск? Комбинация лексического (BM25) и векторного поиска, результаты объединяют (нормализация/RRF) — обычно качество выше, чем у каждого по отдельности.

Точный kNN vs ANN? Точный — перебор всех векторов (дорого); ANN (HNSW/IVF) — приближённый, чуть жертвует точностью ради скорости; используется в проде.

Elasticsearch vs OpenSearch? OpenSearch — форк ES 7.10 (Amazon), Apache 2.0, всё открыто и бесплатно (Dashboards вместо Kibana). ES — SSPL/Elastic License, с 2024 ещё и AGPLv3; часть фич платные. Концептуально почти идентичны.

Когда Meilisearch, а когда Elastic/OpenSearch? Meilisearch — быстрый простой поиск по каталогу (typo-tolerance, autocomplete, минимум настройки), небольшой/средний масштаб. Elastic/OpenSearch — сложный поиск + аналитика + логи, большие объёмы, распределённость, векторный поиск.

Как синхронизировать индекс с БД? Прямая индексация из приложения, через события/очередь, CDC (Debezium/Logstash); пачками через _bulk.

Как переиндексировать без даунтайма? Через алиасы: новый индекс → reindex → атомарное переключение alias. Число primary-шардов и часть маппинга нельзя менять на лету.