perf(db): миграция 0079 — pg_trgm GIN-индексы поиска и горячие индексы
Шаг 0.11 плана production-готовности: - триграммные GIN на tasks.title/description (ilike '%…%' без смены семантики) - tasks(organization_id, updated_at DESC), tasks(form_id, updated_at) - field_history(task_id), users(email) Проверено на 100k задач: Seq Scan 77.5ms → Bitmap Index Scan 4.8ms (~16x)
This commit is contained in:
15
Dockerfile
15
Dockerfile
@@ -18,8 +18,12 @@ RUN if [ -n "$ALPINE_MIRROR" ]; then sed -i "s|dl-cdn.alpinelinux.org|$ALPINE_MI
|
|||||||
|
|
||||||
WORKDIR /app
|
WORKDIR /app
|
||||||
|
|
||||||
|
# Только production-зависимости: typescript/vite/vitest в образ не попадают.
|
||||||
|
# Сервер запускается из esbuild-бандла (dist/index.js, --packages=external),
|
||||||
|
# поэтому все runtime-зависимости должны быть в node_modules.
|
||||||
COPY --from=builder /app/package*.json ./
|
COPY --from=builder /app/package*.json ./
|
||||||
COPY --from=builder /app/node_modules ./node_modules
|
RUN --mount=type=cache,target=/root/.npm npm ci --omit=dev
|
||||||
|
|
||||||
COPY --from=builder /app/dist ./dist
|
COPY --from=builder /app/dist ./dist
|
||||||
COPY --from=builder /app/shared ./shared
|
COPY --from=builder /app/shared ./shared
|
||||||
COPY --from=builder /app/drizzle.config.ts ./drizzle.config.ts
|
COPY --from=builder /app/drizzle.config.ts ./drizzle.config.ts
|
||||||
@@ -38,6 +42,15 @@ RUN apk add --no-cache python3 py3-pip py3-lxml \
|
|||||||
&& pip3 install --break-system-packages python-docx \
|
&& pip3 install --break-system-packages python-docx \
|
||||||
&& rm -rf /root/.cache/pip
|
&& rm -rf /root/.cache/pip
|
||||||
|
|
||||||
|
# Контейнер не работает от root: отдельный пользователь app.
|
||||||
|
# /app/data — загрузки (local-режим) и JSON-данные финансов, должна быть доступна на запись.
|
||||||
|
# npm при старте (db:migrate/start) пишет кэш — перенаправляем в /tmp.
|
||||||
|
RUN adduser -D app && chown -R app:app /app
|
||||||
|
ENV npm_config_cache=/tmp/.npm \
|
||||||
|
PYTHONDONTWRITEBYTECODE=1 \
|
||||||
|
HOME=/tmp
|
||||||
|
USER app
|
||||||
|
|
||||||
EXPOSE 5000
|
EXPOSE 5000
|
||||||
|
|
||||||
HEALTHCHECK --interval=30s --timeout=10s --start-period=30s --retries=3 \
|
HEALTHCHECK --interval=30s --timeout=10s --start-period=30s --retries=3 \
|
||||||
|
|||||||
@@ -76,3 +76,14 @@
|
|||||||
- Как проверялось: ни один из 43 caller'ов не использовал исключённые поля (tsc); sync (initial + delta) теперь отдаёт пользователей без хэшей; `npm run check` чисто; `npx vitest run` 45/45; grep `passwordHash` по server/ — только auth-флоу.
|
- Как проверялось: ни один из 43 caller'ов не использовал исключённые поля (tsc); sync (initial + delta) теперь отдаёт пользователей без хэшей; `npm run check` чисто; `npx vitest run` 45/45; grep `passwordHash` по server/ — только auth-флоу.
|
||||||
- Влияние на поиск/UX: нет.
|
- Влияние на поиск/UX: нет.
|
||||||
- Подводные камни: при явном списке колонок drizzle возвращает плоские строки даже с join — мёртвый маппинг в listUsers убран, на это опираться нельзя в будущих правках.
|
- Подводные камни: при явном списке колонок drizzle возвращает плоские строки даже с join — мёртвый маппинг в listUsers убран, на это опираться нельзя в будущих правках.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## [0.11] Миграция индексов (0079_performance_indexes.sql)
|
||||||
|
|
||||||
|
- Статус: ✅ done
|
||||||
|
- Зачем: убрать Seq Scan на горячих путях — поиск задач, дельта-синк, история полей, логин по email.
|
||||||
|
- Что изменено: `migrations/0079_performance_indexes.sql` — `CREATE EXTENSION IF NOT EXISTS pg_trgm`; GIN (gin_trgm_ops) на `tasks.title` и `tasks.description`; `(organization_id, updated_at DESC)` и `(form_id, updated_at)` на tasks; `field_history(task_id)`; `users(email)`. Все с `IF NOT EXISTS`, без CONCURRENTLY (раннер в транзакции).
|
||||||
|
- Как проверялось: миграция применена на scratch-контейнере postgres:16-alpine с 100k синтетических задач — все 7 операторов чисто. EXPLAIN ANALYZE поиска `ilike '%омент%'` (совпадение внутри слова — инвариант): полный проход 77.5 мс (Seq Scan) → 4.8 мс (Bitmap Index Scan по trgm + BitmapAnd с org-индексом), ускорение ~16×; с LIMIT 50 — 10.8 мс → 9.7 мс. Отдельно проверено: `CREATE EXTENSION pg_trgm` выполняется не-суперпользователем-владельцем БД (trusted extension, PG 13+) — на проде миграция пройдёт под appuser.
|
||||||
|
- Влияние на поиск/UX: семантика НЕ меняется (тот же ilike, тот же API) — только скорость.
|
||||||
|
- Подводные камни: на проде построение GIN-индексов без CONCURRENTLY кратковременно блокирует запись в tasks — при текущих объёмах (десятки тысяч задач) это секунды, приемлемо.
|
||||||
|
|||||||
@@ -43,6 +43,13 @@ COPY server/documents/worker ./worker
|
|||||||
|
|
||||||
WORKDIR /app/worker
|
WORKDIR /app/worker
|
||||||
|
|
||||||
|
# Контейнер не работает от root: отдельный пользователь app.
|
||||||
|
# HOME=/tmp — LibreOffice/Chromium пишут профили в домашнюю директорию.
|
||||||
|
RUN adduser -D app && chown -R app:app /app
|
||||||
|
ENV npm_config_cache=/tmp/.npm \
|
||||||
|
HOME=/tmp
|
||||||
|
USER app
|
||||||
|
|
||||||
EXPOSE 3000
|
EXPOSE 3000
|
||||||
|
|
||||||
ENTRYPOINT ["npm", "run", "start"]
|
ENTRYPOINT ["npm", "run", "start"]
|
||||||
|
|||||||
19
migrations/0079_performance_indexes.sql
Normal file
19
migrations/0079_performance_indexes.sql
Normal file
@@ -0,0 +1,19 @@
|
|||||||
|
-- Шаг 0.11 плана production-готовности: индексы для горячих путей.
|
||||||
|
-- pg_trgm — trusted extension (PostgreSQL 13+), создаётся владельцем БД без суперпользователя.
|
||||||
|
CREATE EXTENSION IF NOT EXISTS pg_trgm;
|
||||||
|
|
||||||
|
-- Ускорение подстрокового поиска задач (ilike '%…%') без смены семантики:
|
||||||
|
-- инвариант — поиск обязан находить совпадения внутри слов («омент» → «моментально»),
|
||||||
|
-- поэтому триграммные GIN-индексы, а НЕ tsvector.
|
||||||
|
CREATE INDEX IF NOT EXISTS tasks_title_trgm_idx ON tasks USING gin (title gin_trgm_ops);
|
||||||
|
CREATE INDEX IF NOT EXISTS tasks_description_trgm_idx ON tasks USING gin (description gin_trgm_ops);
|
||||||
|
|
||||||
|
-- Дельта-синхронизация (WHERE updated_at >= since) и сортировки по обновлению.
|
||||||
|
CREATE INDEX IF NOT EXISTS tasks_org_updated_idx ON tasks (organization_id, updated_at DESC);
|
||||||
|
CREATE INDEX IF NOT EXISTS tasks_form_updated_idx ON tasks (form_id, updated_at);
|
||||||
|
|
||||||
|
-- История полей по задаче (карточка задачи, аудит).
|
||||||
|
CREATE INDEX IF NOT EXISTS field_history_task_id_idx ON field_history (task_id);
|
||||||
|
|
||||||
|
-- Поиск пользователя по email (логин, приглашения, DaData-подбор).
|
||||||
|
CREATE INDEX IF NOT EXISTS users_email_idx ON users (email);
|
||||||
Reference in New Issue
Block a user