Elasticsearch / OpenSearch / Meilisearch
Материал для подготовки к собеседованию (Middle / Senior). Поисковые движки: полнотекстовый поиск, аналитика, векторный (семантический) поиск. Elasticsearch и OpenSearch — «тяжёлые» движки на Lucene; Meilisearch — лёгкий и простой. Термины на английском там, где это принято.
Содержание
- Зачем нужен поисковый движок
- Инвертированный индекс
- Анализаторы, токенизация, стемминг
- Релевантность: TF-IDF и BM25
- Elasticsearch / OpenSearch: архитектура
- Индексы, шарды, реплики
- Маппинг и типы полей
- Query DSL
- Агрегации
- Пагинация
- Векторный (семантический) поиск и kNN
- Elasticsearch vs OpenSearch
- Meilisearch
- Индексация и синхронизация с БД
- Что и когда выбирать
- Вероятные вопросы
Зачем нужен поисковый движок
Обычная БД плохо приспособлена для полнотекстового поиска: LIKE '%текст%' не использует индексы, не учитывает морфологию, опечатки, релевантность, синонимы. Поисковый движок решает это: строит специальные индексы, ранжирует результаты по релевантности, работает с языком (стемминг, стоп-слова), даёт фасеты, автодополнение, нечёткий поиск.
Типовые задачи: поиск по товарам/статьям, автокомплит, фильтры и фасеты, логи и метрики (ELK-стек), аналитика, а теперь и семантический (векторный) поиск для AI/RAG.
Elasticsearch и OpenSearch построены на библиотеке Apache Lucene (низкоуровневый поисковый движок), добавляя распределённость, REST API, кластеризацию.
Инвертированный индекс
Основа полнотекстового поиска. Обычный («прямой») индекс: документ → его слова. Инвертированный индекс: слово (term) → список документов, где оно встречается (+ позиции, частоты).
Документы:
doc1: "быстрая рыжая лиса"
doc2: "рыжая собака"
Инвертированный индекс:
быстрая → [doc1]
рыжая → [doc1, doc2]
лиса → [doc1]
собака → [doc2]
Поиск «рыжая» — мгновенно вернёт [doc1, doc2] по индексу, без перебора всех документов. Именно поэтому поиск по миллионам документов быстрый. Это концептуальный аналог GIN-индекса в PostgreSQL.
Анализаторы, токенизация, стемминг
Прежде чем попасть в инвертированный индекс, текст проходит анализ (analyzer). Анализатор состоит из этапов:
- Character filters — предобработка (убрать HTML-теги и т.п.).
- Tokenizer — разбить текст на токены (обычно по словам/пробелам).
- Token filters — преобразовать токены: привести к нижнему регистру, убрать стоп-слова (
и,в,the), применить стемминг (привести к основе: «бегает», «бегал» → «бег»), синонимы, транслитерацию.
"Быстрые Рыжие Лисы"
→ токены: [быстрые, рыжие, лисы]
→ lowercase: [быстрые, рыжие, лисы]
→ стемминг: [быстр, рыж, лис] → это и попадает в индекс
Важно: один и тот же анализатор применяется и при индексации, и при поиске — иначе запрос не совпадёт с индексом. Для морфологии русского/английского берут языковые анализаторы. Для автокомплита — ngram/edge-ngram (разбивка на подстроки).
text vs keyword (ключевое различие полей): text анализируется (полнотекстовый поиск, морфология); keyword не анализируется (хранится как есть — для точного совпадения, сортировки, агрегаций, фильтров). Часто поле индексируют и как text, и как keyword (title + title.keyword).
Релевантность: TF-IDF и BM25
Поиск возвращает результаты, отсортированные по релевантности (score) — насколько документ соответствует запросу.
- TF-IDF — классическая модель: TF (term frequency) — чем чаще слово в документе, тем релевантнее; IDF (inverse document frequency) — редкие слова важнее частых (слово, встречающееся во всех документах, малоинформативно).
- BM25 — улучшенная модель (по умолчанию в Lucene/Elasticsearch/OpenSearch): как TF-IDF, но с насыщением TF (после какого-то числа повторов слова релевантность растёт медленнее) и учётом длины документа (в длинном документе слово «весит» меньше).
Управление релевантностью:
- boosting — повысить вес поля/условия (
title^3— заголовок втрое важнее тела). - function_score — своя формула score (учесть популярность, свежесть, расстояние).
- В
bool-запросе:must(обязательно, влияет на score),should(желательно, повышает score),filter(обязательно, не влияет на score — и кэшируется),must_not(исключить).
Elasticsearch / OpenSearch: архитектура
Кластер состоит из узлов (nodes) с ролями:
- Master node — управляет кластером (метаданные, распределение шардов), не хранит данные (в проде — выделенные).
- Data node — хранит данные (шарды), выполняет поиск/индексацию.
- Coordinating node — принимает запрос, рассылает его по шардам, собирает и объединяет результаты (любой узел может быть координатором).
- Ingest node — предобработка документов (пайплайны) перед индексацией.
Взаимодействие — через REST API (JSON по HTTP). Данные организованы в индексы, индекс делится на шарды, шарды имеют реплики.
Индексы, шарды, реплики
- Index (индекс) — коллекция документов схожей структуры (аналог таблицы/БД). Документ — JSON.
- Shard (шард) — часть индекса; индекс физически разбит на шарды (каждый — самостоятельный Lucene-индекс). Шардирование позволяет горизонтально масштабировать и распараллелить поиск.
- Primary shard — основной; число задаётся при создании индекса и у существующего индекса не меняется. Изменить можно только созданием нового индекса:
_split(увеличить в кратное число раз),_shrink(уменьшить до делителя; исходный индекс должен быть read-only) илиreindex. - Replica shard — копия primary: отказоустойчивость (если узел упал) + масштабирование чтения (поиск идёт и по репликам). Реплика всегда на другом узле, чем её primary.
Index "products" (3 primary + 1 replica)
Node A: P0, R1, R2
Node B: P1, R0
Node C: P2, R... (реплики на других узлах, чем их primary)
Практика: слишком много мелких шардов — overhead; слишком мало — плохое распараллеливание. Ориентир — шард в десятки ГБ. Для временных данных (логи) — индексы по датам (logs-2024.01.01) + ILM/ISM (управление жизненным циклом: rollover, удаление старых).
Маппинг и типы полей
Mapping — схема индекса: какие поля и каких типов. Бывает динамический (ES сам угадывает типы) и явный (рекомендуется в проде).
PUT /products
{
"mappings": {
"properties": {
"title": { "type": "text", "analyzer": "russian",
"fields": { "keyword": { "type": "keyword" } } },
"price": { "type": "double" },
"in_stock": { "type": "boolean" },
"tags": { "type": "keyword" },
"created": { "type": "date" },
"location": { "type": "geo_point" },
"embedding":{ "type": "knn_vector", "dimension": 768 }
}
}
}
Типы: text (анализируется), keyword (точное совпадение/фильтры/агрегации/сортировка), числовые (integer, long, double), boolean, date, object/nested (вложенные), geo_point/geo_shape, knn_vector/dense_vector (векторы). Ключевой нюанс — text vs keyword (см. выше): по text ищут полнотекстом, по keyword фильтруют/агрегируют/сортируют.
Query DSL
Запросы — JSON (Query DSL). Два контекста: query context (влияет на релевантность, score) и filter context (да/нет, без score, кэшируется — быстрее).
GET /products/_search
{
"query": {
"bool": {
"must": [ { "match": { "title": "рыжая лиса" } } ], // полнотекст (влияет на score)
"filter": [ { "term": { "in_stock": true } }, // фильтр (без score)
{ "range": { "price": { "gte": 100, "lte": 500 } } } ],
"should": [ { "match": { "brand": "premium" } } ], // повышает score
"must_not":[ { "term": { "hidden": true } } ]
}
},
"sort": [ { "price": "asc" } ],
"from": 0, "size": 20
}
Основные запросы:
match— полнотекстовый поиск по анализируемому полю (запрос тоже анализируется).term— точное совпадение по неанализируемому полю (keyword, число, bool). Поtexttermобычно не сработает (там хранятся токены/основы).range— диапазон (числа, даты).bool— комбинирование (must/should/filter/must_not).multi_match— поиск по нескольким полям,match_phrase— точная фраза,wildcard/prefix— по маске/префиксу,fuzzy— с опечатками.
Правило производительности: то, что не нужно для релевантности (флаги, диапазоны, категории), выносить в filter (не считает score, кэшируется).
Агрегации
Агрегации (aggregations) — аналитика поверх результатов (аналог GROUP BY + функции), основа фасетного поиска и дашбордов (Kibana/OpenSearch Dashboards).
GET /orders/_search
{
"size": 0, // сами документы не нужны — только агрегаты
"aggs": {
"by_status": {
"terms": { "field": "status" }, // группировка (bucket)
"aggs": {
"avg_amount": { "avg": { "field": "amount" } } // метрика внутри группы
}
}
}
}
Виды: bucket (группировка — terms, date_histogram, range), metric (avg, sum, min, max, cardinality — число уникальных, приближённо через HyperLogLog++, точность настраивается precision_threshold), pipeline (агрегации над агрегациями). Фасетный поиск (фильтры «категория/бренд/цена» с числом результатов) делается через terms-агрегации.
Пагинация
from/size— как offset/limit. Просто, но дорого на больших смещениях (нужно собрать и отсортироватьfrom + sizeна каждом шарде). Есть жёсткий лимитindex.max_result_window(по умолчанию 10 000).search_after— keyset-пагинация: передаём значения сортировки последнего документа, получаем следующие. Эффективно для «листания» и бесконечного скролла (нужен уникальный tie-breaker в сортировке).- Scroll API — для выгрузки больших объёмов (снимок на момент запроса); устаревает в пользу
search_after+ PIT (point-in-time).
Для глубокой пагинации/экспорта — search_after, не from/size.
Векторный (семантический) поиск и kNN
Зачем. Полнотекстовый поиск ищет по совпадению слов (лексический). Векторный (семантический) поиск ищет по смыслу: запрос «обувь для бега» найдёт «кроссовки», даже если этих слов нет в документе. Основа современных AI-поиска и RAG (Retrieval-Augmented Generation).
Как работает. Текст (и запрос) преобразуют в вектор (embedding) — массив чисел (например, 768 измерений) с помощью ML-модели. Похожие по смыслу тексты дают близкие векторы. Поиск = найти ближайшие векторы к вектору запроса по метрике расстояния (косинусное сходство, L2/евклидово, скалярное произведение). Это задача kNN (k nearest neighbors) — k ближайших соседей.
Точный kNN (перебор всех векторов) дорог, поэтому используют приближённый ANN (Approximate Nearest Neighbors) — алгоритм HNSW (граф) или IVF; чуть жертвуют точностью ради скорости.
Векторный поиск в OpenSearch
У OpenSearch есть плагин k-NN (из коробки в дистрибутиве). Поле — тип knn_vector; индекс включает "index.knn": true; движки — Lucene, Faiss (алгоритм HNSW/IVF) и nmslib (устарел: deprecated в 2.x, в 3.0 новые индексы на нём создавать нельзя — использовать Faiss/Lucene).
PUT /docs
{
"settings": { "index.knn": true },
"mappings": {
"properties": {
"text": { "type": "text" },
"embedding": {
"type": "knn_vector",
"dimension": 768,
"method": {
"name": "hnsw",
"space_type": "cosinesimil", // или l2, innerproduct
"engine": "lucene" // или faiss (nmslib устарел)
}
}
}
}
}
kNN-запрос — найти ближайшие к вектору запроса:
GET /docs/_search
{
"size": 5,
"query": {
"knn": {
"embedding": {
"vector": [0.12, -0.03, ...], // вектор запроса (эмбеддинг текста запроса)
"k": 5
}
}
}
}
Гибридный поиск (hybrid search) — комбинация лексического (BM25) и векторного поиска: одно ловит точные термины/фильтры, другое — смысл. Результаты объединяют (нормализация score, RRF — reciprocal rank fusion). Это часто даёт лучшее качество, чем каждый по отдельности. OpenSearch поддерживает hybrid query и ML-пайплайны (в т.ч. для генерации эмбеддингов на лету через ML Commons).
В Elasticsearch аналог — поле dense_vector + knn-поиск (HNSW), а также ELSER (разрежённая модель) и гибридный поиск с RRF. Специализированные векторные БД — Qdrant, Pinecone, Weaviate, Milvus, pgvector (в PostgreSQL).
Elasticsearch vs OpenSearch
История: OpenSearch — форк Elasticsearch 7.10, созданный Amazon (и сообществом) в 2021 после того, как Elastic сменила лицензию Elasticsearch с Apache 2.0 на SSPL/Elastic License (не полностью open source). OpenSearch остался под Apache 2.0 (полностью открытый).
| Аспект | Elasticsearch | OpenSearch |
|---|---|---|
| Владелец | Elastic | сообщество / Linux Foundation (изначально Amazon) |
| Лицензия | SSPL / Elastic License, с 2024 добавлен вариант AGPLv3 (Apache 2.0 не вернулся) | Apache 2.0 (полностью open source) |
| Дашборды | Kibana | OpenSearch Dashboards (форк Kibana) |
| Платные фичи | часть в подписке (X-Pack) | всё бесплатно и открыто |
| API | во многом совместимы (форк 7.10), но расходятся | |
| Векторный поиск | dense_vector + kNN, ELSER |
плагин k-NN (Lucene/Faiss; nmslib устарел), ML Commons |
Концептуально (индексы, шарды, реплики, инвертированный индекс, Query DSL, агрегации) они очень похожи — знания переносятся. Различия — в лицензии, некоторых фичах и экосистеме.
Meilisearch
Meilisearch — лёгкий, быстрый, простой в настройке поисковый движок (на Rust), нацеленный на поиск для пользователя (search-as-you-type, автокомплит) с минимумом конфигурации. Не для аналитики/логов (это к Elastic/OpenSearch).
Особенности:
- Из коробки: typo-tolerance (устойчивость к опечаткам), префиксный поиск (as-you-type), релевантность с разумными дефолтами, очень низкая задержка.
- Настройка индекса: заранее задают searchable attributes (по каким полям искать), filterable attributes (по каким фильтровать — для фасетов), sortable attributes (сортировка), ranking rules (правила ранжирования).
- Фасетный поиск и фильтры, синонимы, стоп-слова, выделение совпадений (highlight).
- Простой REST API, быстрый старт; поддержка векторного/гибридного поиска появилась в новых версиях (эксперим.→ стабильно).
POST /indexes/products/documents # добавить документы
POST /indexes/products/search
{ "q": "кросовки", "filter": "price < 5000", "limit": 20 }
# найдёт "кроссовки" несмотря на опечатку (typo tolerance)
Ограничения vs Elastic/OpenSearch: меньше возможностей для сложной аналитики, агрегаций, распределённости больших объёмов, гибкости запросов. Зато проще, легче и быстрее для типичного поиска по каталогу/контенту небольшого-среднего масштаба. Похожая альтернатива — Typesense; в облаке — Algolia.
Индексация и синхронизация с БД
Поисковый движок — вторичное хранилище: исходные данные обычно в основной БД, а в индекс их надо синхронизировать.
Подходы:
- Прямая индексация из приложения — при создании/изменении сущности сразу шлём документ в индекс (просто, но риск рассинхрона при сбое).
- Через очередь/события — при изменении публикуем событие, воркер индексирует (надёжнее, асинхронно).
- CDC (Change Data Capture) — ловим изменения БД (например, из binlog/WAL через Debezium/Logstash) и обновляем индекс.
- Bulk API — индексировать пачками (
_bulk), а не по одному (намного быстрее).
Переиндексация без даунтайма (важно): число primary-шардов и часть маппинга нельзя менять на лету (_split/_shrink тоже создают новый индекс). Паттерн — алиасы: приложение обращается к индексу через alias products; создаём новый индекс products_v2, reindex данные, затем атомарно переключаем alias с products_v1 на products_v2. Пользователи ничего не замечают.
Также: refresh interval — как быстро новые документы становятся видимыми для поиска (near real-time, по умолчанию ~1с); при массовой загрузке его увеличивают/отключают для скорости.
Что и когда выбирать
- Elasticsearch / OpenSearch — сложный полнотекстовый поиск + аналитика + логи/метрики (ELK), большие объёмы, распределённость, агрегации, векторный/гибридный поиск, RAG. Выбор ES vs OpenSearch — по лицензии и экосистеме (OpenSearch полностью open source и бесплатен).
- Meilisearch / Typesense — быстрый простой поиск по каталогу/контенту (autocomplete, typo-tolerance) с минимумом настройки; небольшой/средний масштаб.
- pgvector / Qdrant / Pinecone — если нужен в основном векторный поиск (RAG) без тяжёлого полнотекста.
Вероятные вопросы
Что такое инвертированный индекс? Структура «слово → список документов, где оно встречается». Позволяет искать по терму мгновенно, без перебора всех документов.
Что делает анализатор? Преобразует текст перед индексацией: char filters → tokenizer (разбить на токены) → token filters (lowercase, стоп-слова, стемминг). Один анализатор применяется и при индексации, и при поиске.
text vs keyword? text анализируется (полнотекстовый поиск, морфология); keyword не анализируется (точное совпадение, фильтры, сортировка, агрегации). Часто индексируют оба.
TF-IDF vs BM25? Оба ранжируют по релевантности (частота терма + редкость). BM25 (по умолчанию) добавляет насыщение TF и учёт длины документа — точнее.
Что такое шард и реплика? Шард — часть индекса (отдельный Lucene-индекс) для масштабирования/параллелизма; реплика — копия шарда для отказоустойчивости и масштабирования чтения (на другом узле).
Роли узлов в кластере? master (управление), data (данные/поиск), coordinating (приём запроса, сбор результатов), ingest (предобработка).
query context vs filter context? query — влияет на score (релевантность); filter — да/нет без score, кэшируется (быстрее). Диапазоны/флаги/категории — в filter.
match vs term? match — полнотекст по анализируемому полю (запрос тоже анализируется); term — точное совпадение по неанализируемому (keyword/число/bool).
Что такое агрегации? Аналитика поверх результатов (bucket/metric/pipeline), аналог GROUP BY; основа фасетов и дашбордов.
Как правильно пагинировать? from/size дорого на больших смещениях (лимит 10k); для глубокой пагинации/экспорта — search_after (+ PIT), scroll — устаревает.
Что такое векторный (семантический) поиск? Поиск по смыслу через эмбеддинги (векторы): текст → вектор ML-моделью, ищем ближайшие по косинусному сходству/L2 (задача kNN). Находит релевантное, даже без совпадения слов; основа RAG.
Как работает kNN в OpenSearch? Поле knn_vector + "index.knn": true; приближённый поиск (ANN) алгоритмом HNSW через движки Lucene/Faiss (nmslib устарел); запрос knn с вектором запроса и k.
Что такое гибридный поиск? Комбинация лексического (BM25) и векторного поиска, результаты объединяют (нормализация/RRF) — обычно качество выше, чем у каждого по отдельности.
Точный kNN vs ANN? Точный — перебор всех векторов (дорого); ANN (HNSW/IVF) — приближённый, чуть жертвует точностью ради скорости; используется в проде.
Elasticsearch vs OpenSearch? OpenSearch — форк ES 7.10 (Amazon), Apache 2.0, всё открыто и бесплатно (Dashboards вместо Kibana). ES — SSPL/Elastic License, с 2024 ещё и AGPLv3; часть фич платные. Концептуально почти идентичны.
Когда Meilisearch, а когда Elastic/OpenSearch? Meilisearch — быстрый простой поиск по каталогу (typo-tolerance, autocomplete, минимум настройки), небольшой/средний масштаб. Elastic/OpenSearch — сложный поиск + аналитика + логи, большие объёмы, распределённость, векторный поиск.
Как синхронизировать индекс с БД? Прямая индексация из приложения, через события/очередь, CDC (Debezium/Logstash); пачками через _bulk.
Как переиндексировать без даунтайма? Через алиасы: новый индекс → reindex → атомарное переключение alias. Число primary-шардов и часть маппинга нельзя менять на лету.