Один коміт, а не десяток тематичних, свідомо: теми переплетені в
спільних файлах (store.go, docker-compose.yml, deploy/README.md), і
розділити їх можна було б лише індексуванням шматків. Коміти, які не
збираються, гірші за один великий — тим паче що це рівно той стан, який
перевірявся разом.
ЩО ПРАЦЮЄ НА СТЕНДІ Й ПЕРЕВІРЕНО ТАМ
0058 подієві алерти: syslog, ncm, compliance спрацьовують у мить
події; правило з нереалізованим джерелом більше не зберігається
мовчки
0059 snmp.walk і прототипи шаблонів — таблиці з динамічним індексом
описуються шаблоном, а не Go
0060 відкат конфігу: план як різниця, маскування паролів із підписом
плану, обов'язковий контрольний збір, verifying при обриві
0061 кнопки Telegram: довге опитування, авторизація не з callback_data
0062 аудит і архів хостів; тест на AST, що падає на ключі без назви
0063 RLS: три ролі, окремий пул для фонових тактів
0064 строки зберігання даних і сторінка сховища
0065 приймач SNMP-трапів; перевірено справжніми пакетами по дроту,
переклад v1→v2 за RFC 3584 дає правильний OID
0066 ескалації сповіщень
0067 алерт про вичерпання диска
0068 поля заливки конфігу переїхали в каталог профілів
Плюс: 137 тестів вебу з нуля (їх не було взагалі), одинадцять справжніх
вад, знайдених ними й виправлених, і виправлення двох інтеграційних
тестів grpcapi, які мовчки пропускались півтора року.
ЩО ЩЕ НЕ ЗАПУСКАЛОСЬ
netpulse установник: одна команда замість 18 змінних і
593 рядків інструкції
RLS з першого запуску нова інсталяція під політиками одразу;
RLS-EXISTING-INSTALL.md лишається тільки для
старих інсталяцій
.forgejo + CI раннер не зареєстрований
Ці три перевірені компіляцією й міркуванням, але не виконанням.
ГОЛОВНИЙ ВИСНОВОК ДВОХ СЕСІЙ
Зелена перевірка доводить рівно те, що вона перевіряє. Тест ізоляції RLS
був правильний і зелений — і пропустив зламаний вхід, бо перевіряв «чи
не видно чужого», коли зламалось «чи видно своє». Інтеграційні тести
grpcapi були зелені, бо не виконувались. Схема, довідник і протокол
описували те, чого в коді не існувало, і виглядало це як готове.
Тому в кожному завданні цих сесій стояла вимога назвати НЕПОКРИТЕ, а
чотири задачі закінчились не можливістю, а відмовою: правило з
нереалізованим джерелом не зберігається, профіль без команд заливки
каже про це замість мовчазної кнопки, міграція RLS валить сама себе на
таблиці без політики, тест словника аудиту падає на ключі без назви.
Подробиці — HISTORY.md, розділи за 26 і 27 серпня.
262 lines
12 KiB
Go
262 lines
12 KiB
Go
package store
|
||
|
||
import (
|
||
"context"
|
||
"errors"
|
||
"time"
|
||
|
||
"github.com/jackc/pgx/v5"
|
||
)
|
||
|
||
type DeviceSummary struct {
|
||
ID string `json:"id"`
|
||
Name string `json:"name"`
|
||
Address string `json:"address,omitempty"`
|
||
Kind string `json:"kind"`
|
||
Vendor string `json:"vendor,omitempty"`
|
||
Model string `json:"model,omitempty"`
|
||
OSVersion string `json:"os_version,omitempty"`
|
||
Serial string `json:"serial_number,omitempty"`
|
||
// Те, що пристрій сказав про себе сам. На цьому тримається підбір
|
||
// шаблонів і профілю збору конфігів, тож людина має бачити, чи
|
||
// взагалі є за чим підбирати.
|
||
SysObjectID string `json:"sys_object_id,omitempty"`
|
||
SysDescr string `json:"sys_descr,omitempty"`
|
||
SiteName string `json:"site_name,omitempty"`
|
||
Status string `json:"status"`
|
||
Enabled bool `json:"enabled"`
|
||
LastSeenAt *time.Time `json:"last_seen_at,omitempty"`
|
||
AgentID string `json:"agent_id,omitempty"`
|
||
IfaceCount int `json:"interface_count"`
|
||
GroupIDs []string `json:"group_ids"`
|
||
// Writable каже інтерфейсу, чи показувати дії. Рахується з груп
|
||
// користувача, а не з ролі: роль дозволяє редагувати пристрої взагалі,
|
||
// групи — саме цей.
|
||
Writable bool `json:"writable"`
|
||
// DeletedAt — коли хост прибрали з переліку. Заповнене лише в
|
||
// переліку архіву: у звичайному переліку прибраних хостів немає, і
|
||
// поле там завжди порожнє.
|
||
DeletedAt *time.Time `json:"deleted_at,omitempty"`
|
||
}
|
||
|
||
// DeviceView — які саме хости віддавати переліком.
|
||
//
|
||
// Окремий тип, а не булевий прапорець «показати видалених», і не
|
||
// значення за замовчуванням у фільтрі. Причина одна: `deleted_at IS
|
||
// NULL` стоїть у півсотні запитів по всьому продукту — у плані
|
||
// колектора, у рушії алертів, у мапах, у доборі цілей команд, — і
|
||
// жоден із них не має права почати бачити прибрані хости через те, що
|
||
// хтось додав параметр із «зручним» типовим значенням. Тому параметр
|
||
// звужений до одного місця (перелік хостів), а його нульове значення —
|
||
// це рівно колишня поведінка.
|
||
type DeviceView string
|
||
|
||
const (
|
||
// DeviceViewLive — те, що працює. Порожнє значення означає саме це.
|
||
DeviceViewLive DeviceView = ""
|
||
// DeviceViewArchived — ЛИШЕ прибрані хости, і нічого крім них.
|
||
//
|
||
// Не «живі плюс прибрані»: змішаний перелік — це спосіб зробити
|
||
// щось не з тим хостом. Архів — окремий екран з окремими діями
|
||
// (повернути, добити), і жодна дія над живим хостом там не
|
||
// пропонується.
|
||
DeviceViewArchived DeviceView = "archived"
|
||
)
|
||
|
||
// ListDevices — інвентар для таблиці в UI.
|
||
//
|
||
// Фільтр видимості накладається в самому запиті, а не після вибірки:
|
||
// відсіювати вже прочитане означало б тягнути з БД чужі рядки й
|
||
// покладатися на те, що жоден із них не проскочить у відповідь.
|
||
func (s *Store) ListDevices(ctx context.Context, tenantID string, sc Scope,
|
||
view DeviceView) ([]DeviceSummary, error) {
|
||
|
||
var out []DeviceSummary
|
||
archived := view == DeviceViewArchived
|
||
|
||
err := s.InTenantTx(ctx, tenantID, func(tx pgx.Tx) error {
|
||
rows, err := tx.Query(ctx, `
|
||
SELECT d.id::text, d.name, COALESCE(host(d.address), ''), d.kind::text,
|
||
COALESCE(d.vendor,''), COALESCE(d.model,''),
|
||
COALESCE(d.os_version,''), COALESCE(d.serial_number,''),
|
||
COALESCE(d.sys_object_id,''), COALESCE(d.sys_descr,''),
|
||
COALESCE(st.name,''),
|
||
d.status::text, d.enabled, d.last_seen_at, COALESCE(d.agent_id::text,''),
|
||
(SELECT count(*) FROM inv.interfaces i WHERE i.device_id = d.id),
|
||
d.deleted_at
|
||
FROM inv.devices d
|
||
LEFT JOIN inv.sites st ON st.id = d.site_id
|
||
-- Умова написана так, що при $4 = false вона тотожна
|
||
-- колишній "d.deleted_at IS NULL": параметр не розширює
|
||
-- вибірку, а перемикає її на другу половину.
|
||
WHERE d.tenant_id = $1
|
||
AND (CASE WHEN $4::boolean THEN d.deleted_at IS NOT NULL
|
||
ELSE d.deleted_at IS NULL END)
|
||
AND ($2::boolean OR d.id = ANY($3::uuid[]))
|
||
ORDER BY d.name
|
||
`, tenantID, sc.Unrestricted, nonNilIDs(sc.Readable), archived)
|
||
if err != nil {
|
||
return err
|
||
}
|
||
defer rows.Close()
|
||
|
||
for rows.Next() {
|
||
var d DeviceSummary
|
||
if err := rows.Scan(&d.ID, &d.Name, &d.Address, &d.Kind, &d.Vendor, &d.Model,
|
||
&d.OSVersion, &d.Serial, &d.SysObjectID, &d.SysDescr,
|
||
&d.SiteName, &d.Status, &d.Enabled, &d.LastSeenAt, &d.AgentID,
|
||
&d.IfaceCount, &d.DeletedAt); err != nil {
|
||
return err
|
||
}
|
||
d.Writable = sc.CanWrite(d.ID)
|
||
d.GroupIDs = []string{}
|
||
out = append(out, d)
|
||
}
|
||
return rows.Err()
|
||
})
|
||
if err != nil {
|
||
return nil, err
|
||
}
|
||
|
||
// Групи добираємо одним запитом і розкладаємо в пам'яті: агрегат у
|
||
// головному запиті змусив би його групуватись по всіх колонках.
|
||
groups, err := s.DeviceGroupsOf(ctx, tenantID)
|
||
if err != nil {
|
||
return nil, err
|
||
}
|
||
for i := range out {
|
||
if g, ok := groups[out[i].ID]; ok {
|
||
out[i].GroupIDs = g
|
||
}
|
||
}
|
||
return out, nil
|
||
}
|
||
|
||
// GetDevice — один хост.
|
||
//
|
||
// Окремо від ListDevices, бо переліком користуються там, де потрібен
|
||
// один рядок: після дії, яка щось у ньому змінила. Тягти весь інвентар
|
||
// заради одного поля означало б класти на базу тим більше, чим більший
|
||
// у клієнта парк — рівно навпаки до того, як воно має поводитись.
|
||
//
|
||
// Групи не добираємо: єдиний споживач — оновлення картки після дії, і
|
||
// склад груп нею не змінюється.
|
||
func (s *Store) GetDevice(ctx context.Context, tenantID, deviceID string, sc Scope) (DeviceSummary, error) {
|
||
var d DeviceSummary
|
||
|
||
err := s.InTenantTx(ctx, tenantID, func(tx pgx.Tx) error {
|
||
return tx.QueryRow(ctx, `
|
||
SELECT d.id::text, d.name, COALESCE(host(d.address), ''), d.kind::text,
|
||
COALESCE(d.vendor,''), COALESCE(d.model,''),
|
||
COALESCE(d.os_version,''), COALESCE(d.serial_number,''),
|
||
COALESCE(d.sys_object_id,''), COALESCE(d.sys_descr,''),
|
||
COALESCE(st.name,''),
|
||
d.status::text, d.enabled, d.last_seen_at, COALESCE(d.agent_id::text,''),
|
||
(SELECT count(*) FROM inv.interfaces i WHERE i.device_id = d.id)
|
||
FROM inv.devices d
|
||
LEFT JOIN inv.sites st ON st.id = d.site_id
|
||
WHERE d.tenant_id = $1 AND d.id = $2 AND d.deleted_at IS NULL
|
||
AND ($3::boolean OR d.id = ANY($4::uuid[]))
|
||
`, tenantID, deviceID, sc.Unrestricted, nonNilIDs(sc.Readable)).Scan(
|
||
&d.ID, &d.Name, &d.Address, &d.Kind, &d.Vendor, &d.Model,
|
||
&d.OSVersion, &d.Serial, &d.SysObjectID, &d.SysDescr,
|
||
&d.SiteName, &d.Status, &d.Enabled,
|
||
&d.LastSeenAt, &d.AgentID, &d.IfaceCount)
|
||
})
|
||
if errors.Is(err, pgx.ErrNoRows) {
|
||
return d, ErrNotFound
|
||
}
|
||
if err != nil {
|
||
return d, err
|
||
}
|
||
d.Writable = sc.CanWrite(d.ID)
|
||
d.GroupIDs = []string{}
|
||
return d, nil
|
||
}
|
||
|
||
type AgentSummary struct {
|
||
ID string `json:"id"`
|
||
Name string `json:"name"`
|
||
Status string `json:"status"`
|
||
Version string `json:"version,omitempty"`
|
||
OS string `json:"os,omitempty"`
|
||
Arch string `json:"arch,omitempty"`
|
||
Hostname string `json:"hostname,omitempty"`
|
||
LastHeartbeatAt *time.Time `json:"last_heartbeat_at,omitempty"`
|
||
EnabledModules []string `json:"enabled_modules"`
|
||
Health map[string]any `json:"health"`
|
||
DeviceCount int `json:"device_count"`
|
||
// Ліміти опитування. Потрібні формі налаштувань: показати типові
|
||
// значення там, де задані свої, означало б стерти їх першим же
|
||
// збереженням.
|
||
Limits map[string]any `json:"limits"`
|
||
}
|
||
|
||
// ListAgents — стан зондів для UI.
|
||
//
|
||
// health віддається як є: там лежить зведення з останнього heartbeat,
|
||
// зокрема dropped_samples. Оператор має бачити діру в даних без
|
||
// походу в графіки самометрик.
|
||
func (s *Store) ListAgents(ctx context.Context, tenantID string) ([]AgentSummary, error) {
|
||
var out []AgentSummary
|
||
|
||
err := s.InTenantTx(ctx, tenantID, func(tx pgx.Tx) error {
|
||
rows, err := tx.Query(ctx, `
|
||
SELECT a.id::text, a.name, a.status::text,
|
||
COALESCE(a.version,''), COALESCE(a.os,''), COALESCE(a.arch,''),
|
||
COALESCE(a.hostname,''), a.last_heartbeat_at, a.enabled_modules,
|
||
a.health, a.limits,
|
||
(SELECT count(*) FROM inv.devices d
|
||
WHERE d.agent_id = a.id AND d.deleted_at IS NULL)
|
||
FROM core.agents a
|
||
WHERE a.tenant_id = $1
|
||
ORDER BY a.name
|
||
`, tenantID)
|
||
if err != nil {
|
||
return err
|
||
}
|
||
defer rows.Close()
|
||
|
||
for rows.Next() {
|
||
var a AgentSummary
|
||
if err := rows.Scan(&a.ID, &a.Name, &a.Status, &a.Version, &a.OS, &a.Arch,
|
||
&a.Hostname, &a.LastHeartbeatAt, &a.EnabledModules, &a.Health,
|
||
&a.Limits, &a.DeviceCount); err != nil {
|
||
return err
|
||
}
|
||
if a.EnabledModules == nil {
|
||
a.EnabledModules = []string{}
|
||
}
|
||
if a.Health == nil {
|
||
a.Health = map[string]any{}
|
||
}
|
||
if a.Limits == nil {
|
||
a.Limits = map[string]any{}
|
||
}
|
||
out = append(out, a)
|
||
}
|
||
return rows.Err()
|
||
})
|
||
|
||
return out, err
|
||
}
|
||
|
||
// MapTenant повертає тенанта мапи — потрібно WebSocket-у, щоб не дати
|
||
// підписатись на чужу мапу за вгаданим id.
|
||
func (s *Store) MapExists(ctx context.Context, tenantID, mapID string) (bool, error) {
|
||
var exists bool
|
||
// Через InTenantTx, хоча предикат tenant_id у запиті вже є: під
|
||
// netpulse_app topo.maps закрита політикою, і без app.tenant_id
|
||
// EXISTS повертав би false на власну мапу кабінету. Тобто підписка
|
||
// на мапу зникла б для всіх однаково — це той випадок, коли забутий
|
||
// контекст ламає доступ, а не відкриває його.
|
||
err := s.InTenantTx(ctx, tenantID, func(tx pgx.Tx) error {
|
||
return tx.QueryRow(ctx, `
|
||
SELECT EXISTS (
|
||
SELECT 1 FROM topo.maps
|
||
WHERE id = $1 AND tenant_id = $2 AND deleted_at IS NULL
|
||
)
|
||
`, mapID, tenantID).Scan(&exists)
|
||
})
|
||
return exists, err
|
||
}
|