Один коміт, а не десяток тематичних, свідомо: теми переплетені в
спільних файлах (store.go, docker-compose.yml, deploy/README.md), і
розділити їх можна було б лише індексуванням шматків. Коміти, які не
збираються, гірші за один великий — тим паче що це рівно той стан, який
перевірявся разом.
ЩО ПРАЦЮЄ НА СТЕНДІ Й ПЕРЕВІРЕНО ТАМ
0058 подієві алерти: syslog, ncm, compliance спрацьовують у мить
події; правило з нереалізованим джерелом більше не зберігається
мовчки
0059 snmp.walk і прототипи шаблонів — таблиці з динамічним індексом
описуються шаблоном, а не Go
0060 відкат конфігу: план як різниця, маскування паролів із підписом
плану, обов'язковий контрольний збір, verifying при обриві
0061 кнопки Telegram: довге опитування, авторизація не з callback_data
0062 аудит і архів хостів; тест на AST, що падає на ключі без назви
0063 RLS: три ролі, окремий пул для фонових тактів
0064 строки зберігання даних і сторінка сховища
0065 приймач SNMP-трапів; перевірено справжніми пакетами по дроту,
переклад v1→v2 за RFC 3584 дає правильний OID
0066 ескалації сповіщень
0067 алерт про вичерпання диска
0068 поля заливки конфігу переїхали в каталог профілів
Плюс: 137 тестів вебу з нуля (їх не було взагалі), одинадцять справжніх
вад, знайдених ними й виправлених, і виправлення двох інтеграційних
тестів grpcapi, які мовчки пропускались півтора року.
ЩО ЩЕ НЕ ЗАПУСКАЛОСЬ
netpulse установник: одна команда замість 18 змінних і
593 рядків інструкції
RLS з першого запуску нова інсталяція під політиками одразу;
RLS-EXISTING-INSTALL.md лишається тільки для
старих інсталяцій
.forgejo + CI раннер не зареєстрований
Ці три перевірені компіляцією й міркуванням, але не виконанням.
ГОЛОВНИЙ ВИСНОВОК ДВОХ СЕСІЙ
Зелена перевірка доводить рівно те, що вона перевіряє. Тест ізоляції RLS
був правильний і зелений — і пропустив зламаний вхід, бо перевіряв «чи
не видно чужого», коли зламалось «чи видно своє». Інтеграційні тести
grpcapi були зелені, бо не виконувались. Схема, довідник і протокол
описували те, чого в коді не існувало, і виглядало це як готове.
Тому в кожному завданні цих сесій стояла вимога назвати НЕПОКРИТЕ, а
чотири задачі закінчились не можливістю, а відмовою: правило з
нереалізованим джерелом не зберігається, профіль без команд заливки
каже про це замість мовчазної кнопки, міграція RLS валить сама себе на
таблиці без політики, тест словника аудиту падає на ключі без назви.
Подробиці — HISTORY.md, розділи за 26 і 27 серпня.
295 lines
16 KiB
Go
295 lines
16 KiB
Go
package store
|
||
|
||
import (
|
||
"context"
|
||
"fmt"
|
||
"time"
|
||
|
||
"github.com/jackc/pgx/v5"
|
||
)
|
||
|
||
// Добір хостів для сторінки «Конфіги».
|
||
//
|
||
// Питання, з яким на цю сторінку заходять, — не «покажи хост», а «у кого
|
||
// немає бекапу» і «у кого він застарів». Відповідь на нього не виводиться
|
||
// з інвентарю: вона живе в ncm.configs і ncm.jobs, і жодна інша сторінка
|
||
// про неї не питає.
|
||
//
|
||
// Тому ConfigFilter, а не нові поля в DeviceFilter.
|
||
//
|
||
// DeviceFilter — спільна мова трьох сторінок, і кожне його поле мусить
|
||
// щось означати на кожній із них. «Остання версія старша за тиждень» на
|
||
// сторінці масових команд не означає нічого: там немає ні версій, ні
|
||
// збору. Поле, яке одна сторінка мовчки ігнорує, — це поле, яке рано чи
|
||
// пізно почнуть слати з неї «про всяк випадок», і однаково заповнений
|
||
// фільтр дасть різні набори. Вкладення (а не копія полів) лишає спільну
|
||
// частину буквально спільною: сторінка конфігів говорить тією самою
|
||
// мовою плюс двома власними словами, а не своїм діалектом.
|
||
//
|
||
// У JSON вкладена структура розкладається плоско, тож клієнт шле один
|
||
// об'єкт — той самий, що й на решті сторінок, плюс свої поля.
|
||
type ConfigFilter struct {
|
||
DeviceFilter
|
||
|
||
// Backup — стан архіву. Перелік, а не одне значення, і тлумачиться
|
||
// як АБО — так само, як виробник чи тип у спільній частині: два
|
||
// відмічені стани означають «покажи і тих, і тих».
|
||
//
|
||
// Значення поруч із ConfigBackup* нижче.
|
||
Backup []string `json:"backup,omitempty"`
|
||
|
||
// StaleDays — з якого віку остання версія вважається застарілою.
|
||
//
|
||
// Явне число, а не «прострочений розклад» (ncm.device_policies
|
||
// .next_backup_at). Дві причини. Перша: у хоста може не бути
|
||
// розкладу взагалі — а питання «коли його востаннє зберігали» до
|
||
// нього все одно ставлять. Друга й головна: прострочений розклад
|
||
// рахує сам планувальник, і якщо застряг саме він, то поле, яким ми
|
||
// його перевіряємо, застрягне разом із ним. Вік останньої версії —
|
||
// факт із архіву, і він правдивий незалежно від того, що там із
|
||
// плануванням.
|
||
StaleDays int `json:"stale_days,omitempty"`
|
||
|
||
// ProfileIDs — чим цей хост знімають.
|
||
//
|
||
// Порожній рядок як значення означає «профіль за хостом не
|
||
// закріплено»: такий хост збирається однаково, профіль йому
|
||
// підбереться під час завдання, — але подивитись саме на них треба
|
||
// вміти, бо підбір мовчки зміниться разом із довідником.
|
||
ProfileIDs []string `json:"profile_ids,omitempty"`
|
||
}
|
||
|
||
// Стани архіву.
|
||
//
|
||
// Рівно ті, на які на цій сторінці є питання, і жодного зайвого:
|
||
//
|
||
// none — жодної версії не зібрано («у кого немає бекапу»);
|
||
// stale — версії є, остання старша за StaleDays («у кого застарів»);
|
||
// fresh — остання молодша за StaleDays («з ким уже все гаразд»);
|
||
// failed — останнє завдання збору впало або вийшло за таймаут.
|
||
//
|
||
// Перші три ділять усі хости без залишку — і саме тому fresh існує: без
|
||
// нього ряд перемикачів не має значення «усе гаразд», і подивитись на
|
||
// доповнення до проблемних не було б як.
|
||
//
|
||
// failed навмисно перетинається з рештою, а не вбудований у сходинку між
|
||
// none і stale. Хост, у якого архів свіжий, а останній збір щойно впав, —
|
||
// це і є найцікавіший випадок: проблема вже почалась, а вік версії про
|
||
// неї ще мовчить. Сховати його всередину «немає бекапу» означало б
|
||
// показати його лише тоді, коли рятувати буде пізно.
|
||
const (
|
||
ConfigBackupNone = "none"
|
||
ConfigBackupStale = "stale"
|
||
ConfigBackupFresh = "fresh"
|
||
ConfigBackupFailed = "failed"
|
||
)
|
||
|
||
// DefaultStaleDays — типовий поріг застарілості.
|
||
//
|
||
// Тиждень, бо типовий розклад збору — щодобовий (0 3 * * *): добу
|
||
// пропустити може будь-хто через одне недоступне залізо, а тиждень
|
||
// пропусків це вже не випадковість.
|
||
const DefaultStaleDays = 7
|
||
|
||
// ConfigDeviceRow — хост у переліку сторінки «Конфіги».
|
||
//
|
||
// Стан архіву їде разом із хостом, а не добирається окремим запитом на
|
||
// кожен рядок: питання «а в кого тут біда» ставлять до всього переліку
|
||
// одразу, і відповідь має бути видно, не клікаючи по хостах по черзі.
|
||
type ConfigDeviceRow struct {
|
||
DeviceID string `json:"device_id"`
|
||
Name string `json:"name"`
|
||
Address string `json:"address,omitempty"`
|
||
Kind string `json:"kind"`
|
||
Vendor string `json:"vendor,omitempty"`
|
||
Model string `json:"model,omitempty"`
|
||
OSVersion string `json:"os_version,omitempty"`
|
||
SiteName string `json:"site_name,omitempty"`
|
||
Status string `json:"status"`
|
||
Enabled bool `json:"enabled"`
|
||
|
||
Versions int `json:"versions"`
|
||
LastCollectedAt *time.Time `json:"last_collected_at,omitempty"`
|
||
// BackupState — none / stale / fresh, порахований ТИМ САМИМ виразом,
|
||
// що й відбір.
|
||
//
|
||
// Не для зручності клієнта: поріг застарілості — це рішення, і якщо
|
||
// його рахують у двох місцях, вони розійдуться на першій же правці
|
||
// одного з них. Тоді хост стоятиме в переліку «застарілі» з підписом
|
||
// «свіжий», і повірити не можна буде жодному з двох.
|
||
BackupState string `json:"backup_state"`
|
||
// LastJobStatus — стан ОСТАННЬОГО завдання збору, порожній рядок
|
||
// означає, що збору ще не було жодного разу.
|
||
LastJobStatus string `json:"last_job_status,omitempty"`
|
||
|
||
ProfileID string `json:"profile_id,omitempty"`
|
||
ProfileName string `json:"profile_name,omitempty"`
|
||
// ProfileAuto — профіль підібрано автоматично, а не обрано людиною.
|
||
ProfileAuto bool `json:"profile_auto,omitempty"`
|
||
|
||
ScheduleEnabled bool `json:"schedule_enabled"`
|
||
ScheduleCron string `json:"schedule_cron,omitempty"`
|
||
}
|
||
|
||
// ConfigProfileOption — профіль, який справді комусь призначено.
|
||
//
|
||
// Профілів у довіднику півтори сотні, а в парку зазвичай працює п'ять.
|
||
// Перемикачі за всім довідником були б не фільтром, а стіною; тому
|
||
// перелік будується з того, що реально стоїть на хостах. Порожній ID —
|
||
// рядок «не закріплено», і він з'являється лише коли такі хости є.
|
||
type ConfigProfileOption struct {
|
||
ID string `json:"id"`
|
||
Name string `json:"name"`
|
||
}
|
||
|
||
// ListConfigDevices — хости для сторінки конфігів разом зі станом архіву.
|
||
//
|
||
// Відбір робить запит, а не браузер. На сторінці, куди можуть приїхати
|
||
// кілька тисяч хостів, фільтрація в пам'яті означає вивантажити їх усі —
|
||
// і зробити це щоразу, коли людина натисне літеру в полі пошуку.
|
||
//
|
||
// Межі — Readable, а не Writable: тут дивляться архів, а не змінюють
|
||
// залізо. Хост, доступний лише на читання, зі сторінки конфігів зникати
|
||
// не має.
|
||
func (s *Store) ListConfigDevices(ctx context.Context, tenantID string,
|
||
sc Scope, f ConfigFilter) ([]ConfigDeviceRow, error) {
|
||
|
||
sql, args := configDevicesSQL(tenantID, sc, f)
|
||
|
||
var out []ConfigDeviceRow
|
||
err := s.InTenantTx(ctx, tenantID, func(tx pgx.Tx) error {
|
||
rows, err := tx.Query(ctx, sql, args...)
|
||
if err != nil {
|
||
return err
|
||
}
|
||
defer rows.Close()
|
||
for rows.Next() {
|
||
var r ConfigDeviceRow
|
||
if err := rows.Scan(&r.DeviceID, &r.Name, &r.Address, &r.Kind,
|
||
&r.Vendor, &r.Model, &r.OSVersion, &r.SiteName, &r.Status, &r.Enabled,
|
||
&r.Versions, &r.LastCollectedAt, &r.BackupState, &r.LastJobStatus,
|
||
&r.ProfileID, &r.ProfileName, &r.ProfileAuto,
|
||
&r.ScheduleEnabled, &r.ScheduleCron); err != nil {
|
||
return err
|
||
}
|
||
out = append(out, r)
|
||
}
|
||
return rows.Err()
|
||
})
|
||
return out, err
|
||
}
|
||
|
||
// configDevicesSQL складає запит окремо від виконання.
|
||
//
|
||
// Не заради краси розкладки: умова збирається рядками з плейсхолдерів,
|
||
// що нумеруються від зміщення, і перевірити таку збірку можна лише
|
||
// подивившись на результат. Окрема функція робить це можливим без бази.
|
||
func configDevicesSQL(tenantID string, sc Scope, f ConfigFilter) (string, []any) {
|
||
stale := f.StaleDays
|
||
if stale <= 0 {
|
||
stale = DefaultStaleDays
|
||
}
|
||
if stale > 3650 {
|
||
stale = 3650
|
||
}
|
||
|
||
// Профілі приїжджають одним переліком, у якому порожній рядок означає
|
||
// «не закріплено». У SQL це різні умови, тож розділяємо тут.
|
||
var profileIDs []string
|
||
noProfile := false
|
||
for _, id := range f.ProfileIDs {
|
||
if id == "" {
|
||
noProfile = true
|
||
continue
|
||
}
|
||
profileIDs = append(profileIDs, id)
|
||
}
|
||
|
||
cond, condArgs := deviceFilterSQL(f.DeviceFilter, 4)
|
||
// Власні параметри стають після спільних — звідси й deviceFilterArgs:
|
||
// рахувати $-и очима після кожної правки фільтра ніхто не буде.
|
||
own := 4 + deviceFilterArgs
|
||
|
||
args := append([]any{tenantID, sc.Unrestricted, nonNilIDs(sc.Readable)}, condArgs...)
|
||
args = append(args, nonNilIDs(f.Backup), stale, nonNilIDs(profileIDs), noProfile)
|
||
|
||
return fmt.Sprintf(`
|
||
SELECT d.id::text, d.name, COALESCE(host(d.address),''), d.kind::text,
|
||
COALESCE(d.vendor,''), COALESCE(d.model,''), COALESCE(d.os_version,''),
|
||
COALESCE(st.name,''), d.status::text, d.enabled,
|
||
COALESCE(cs.n, 0), cs.last_at,
|
||
CASE WHEN COALESCE(cs.n,0) = 0 THEN 'none'
|
||
WHEN cs.last_at < now() - make_interval(days => $%[3]d::int) THEN 'stale'
|
||
ELSE 'fresh' END,
|
||
COALESCE(lj.status::text, ''),
|
||
COALESCE(pol.profile_id::text, ''), COALESCE(pr.name, ''),
|
||
COALESCE(pol.profile_auto, false),
|
||
COALESCE(pol.enabled, false), COALESCE(pol.cron, '')
|
||
FROM inv.devices d
|
||
LEFT JOIN inv.sites st ON st.id = d.site_id
|
||
LEFT JOIN ncm.device_policies pol ON pol.device_id = d.id
|
||
LEFT JOIN ncm.profiles pr ON pr.id = pol.profile_id
|
||
-- Підсумок архіву одним проходом по (device_id, config_type,
|
||
-- collected_at DESC) — індекс під це вже є з першої міграції NCM.
|
||
LEFT JOIN LATERAL (
|
||
SELECT count(*) AS n, max(c.collected_at) AS last_at
|
||
FROM ncm.configs c WHERE c.device_id = d.id
|
||
) cs ON true
|
||
LEFT JOIN LATERAL (
|
||
SELECT j.status FROM ncm.jobs j
|
||
WHERE j.device_id = d.id ORDER BY j.created_at DESC LIMIT 1
|
||
) lj ON true
|
||
WHERE d.tenant_id = $1 AND d.deleted_at IS NULL
|
||
AND ($2::boolean OR d.id = ANY($3::uuid[]))%[1]s
|
||
-- Стан архіву. Порожній перелік — умови немає; кілька
|
||
-- відмічених станів складаються через АБО, як і решта полів.
|
||
AND (cardinality($%[2]d::text[]) = 0
|
||
OR ('none' = ANY($%[2]d::text[]) AND COALESCE(cs.n,0) = 0)
|
||
OR ('stale' = ANY($%[2]d::text[]) AND COALESCE(cs.n,0) > 0
|
||
AND cs.last_at < now() - make_interval(days => $%[3]d::int))
|
||
OR ('fresh' = ANY($%[2]d::text[]) AND COALESCE(cs.n,0) > 0
|
||
AND cs.last_at >= now() - make_interval(days => $%[3]d::int))
|
||
OR ('failed' = ANY($%[2]d::text[])
|
||
AND COALESCE(lj.status::text,'') IN ('failed','timeout')))
|
||
-- Профіль збору. Порожній рядок у переліку («не закріплено»)
|
||
-- приїжджає окремим прапорцем: у uuid[] його не покласти.
|
||
AND ((cardinality($%[4]d::uuid[]) = 0 AND NOT $%[5]d::boolean)
|
||
OR pol.profile_id = ANY($%[4]d::uuid[])
|
||
OR ($%[5]d::boolean AND pol.profile_id IS NULL))
|
||
ORDER BY d.name
|
||
`, cond, own, own+1, own+2, own+3), args
|
||
}
|
||
|
||
// ConfigProfilesInUse — профілі, закріплені хоч за одним видимим хостом.
|
||
//
|
||
// Рахується БЕЗ фільтра навмисно: перемикачі, що зникають після
|
||
// натискання на них же, — це інтерфейс, який не дає повернутись.
|
||
func (s *Store) ConfigProfilesInUse(ctx context.Context, tenantID string,
|
||
sc Scope) ([]ConfigProfileOption, error) {
|
||
|
||
var out []ConfigProfileOption
|
||
err := s.InTenantTx(ctx, tenantID, func(tx pgx.Tx) error {
|
||
rows, err := tx.Query(ctx, `
|
||
SELECT DISTINCT COALESCE(pol.profile_id::text,''), COALESCE(pr.name,'')
|
||
FROM inv.devices d
|
||
LEFT JOIN ncm.device_policies pol ON pol.device_id = d.id
|
||
LEFT JOIN ncm.profiles pr ON pr.id = pol.profile_id
|
||
WHERE d.tenant_id = $1 AND d.deleted_at IS NULL
|
||
AND ($2::boolean OR d.id = ANY($3::uuid[]))
|
||
ORDER BY 2, 1
|
||
`, tenantID, sc.Unrestricted, nonNilIDs(sc.Readable))
|
||
if err != nil {
|
||
return err
|
||
}
|
||
defer rows.Close()
|
||
for rows.Next() {
|
||
var o ConfigProfileOption
|
||
if err := rows.Scan(&o.ID, &o.Name); err != nil {
|
||
return err
|
||
}
|
||
out = append(out, o)
|
||
}
|
||
return rows.Err()
|
||
})
|
||
return out, err
|
||
}
|