Один коміт, а не десяток тематичних, свідомо: теми переплетені в
спільних файлах (store.go, docker-compose.yml, deploy/README.md), і
розділити їх можна було б лише індексуванням шматків. Коміти, які не
збираються, гірші за один великий — тим паче що це рівно той стан, який
перевірявся разом.
ЩО ПРАЦЮЄ НА СТЕНДІ Й ПЕРЕВІРЕНО ТАМ
0058 подієві алерти: syslog, ncm, compliance спрацьовують у мить
події; правило з нереалізованим джерелом більше не зберігається
мовчки
0059 snmp.walk і прототипи шаблонів — таблиці з динамічним індексом
описуються шаблоном, а не Go
0060 відкат конфігу: план як різниця, маскування паролів із підписом
плану, обов'язковий контрольний збір, verifying при обриві
0061 кнопки Telegram: довге опитування, авторизація не з callback_data
0062 аудит і архів хостів; тест на AST, що падає на ключі без назви
0063 RLS: три ролі, окремий пул для фонових тактів
0064 строки зберігання даних і сторінка сховища
0065 приймач SNMP-трапів; перевірено справжніми пакетами по дроту,
переклад v1→v2 за RFC 3584 дає правильний OID
0066 ескалації сповіщень
0067 алерт про вичерпання диска
0068 поля заливки конфігу переїхали в каталог профілів
Плюс: 137 тестів вебу з нуля (їх не було взагалі), одинадцять справжніх
вад, знайдених ними й виправлених, і виправлення двох інтеграційних
тестів grpcapi, які мовчки пропускались півтора року.
ЩО ЩЕ НЕ ЗАПУСКАЛОСЬ
netpulse установник: одна команда замість 18 змінних і
593 рядків інструкції
RLS з першого запуску нова інсталяція під політиками одразу;
RLS-EXISTING-INSTALL.md лишається тільки для
старих інсталяцій
.forgejo + CI раннер не зареєстрований
Ці три перевірені компіляцією й міркуванням, але не виконанням.
ГОЛОВНИЙ ВИСНОВОК ДВОХ СЕСІЙ
Зелена перевірка доводить рівно те, що вона перевіряє. Тест ізоляції RLS
був правильний і зелений — і пропустив зламаний вхід, бо перевіряв «чи
не видно чужого», коли зламалось «чи видно своє». Інтеграційні тести
grpcapi були зелені, бо не виконувались. Схема, довідник і протокол
описували те, чого в коді не існувало, і виглядало це як готове.
Тому в кожному завданні цих сесій стояла вимога назвати НЕПОКРИТЕ, а
чотири задачі закінчились не можливістю, а відмовою: правило з
нереалізованим джерелом не зберігається, профіль без команд заливки
каже про це замість мовчазної кнопки, міграція RLS валить сама себе на
таблиці без політики, тест словника аудиту падає на ключі без назви.
Подробиці — HISTORY.md, розділи за 26 і 27 серпня.
171 lines
5.5 KiB
Go
171 lines
5.5 KiB
Go
package store
|
||
|
||
import (
|
||
"context"
|
||
"fmt"
|
||
"time"
|
||
|
||
"github.com/jackc/pgx/v5"
|
||
"github.com/netpulse/netpulse/server/internal/crypto"
|
||
"github.com/netpulse/netpulse/server/internal/gitstore"
|
||
)
|
||
|
||
// GitSyncStat — підсумок переливання історії в Git.
|
||
type GitSyncStat struct {
|
||
Total int
|
||
Written int
|
||
Unchanged int
|
||
Skipped int
|
||
}
|
||
|
||
// SyncGit переливає збережені версії конфігів у Git.
|
||
//
|
||
// Потрібна двічі. Перший раз — коли версіювання вмикають на інсталяції,
|
||
// яка вже місяцями збирає конфіги: без цього репозиторій починається з
|
||
// наступної зміни, і вся накопичена історія лишається невидимою.
|
||
// Другий — коли диск із репозиторієм втрачено. Тіла лежать зашифровані
|
||
// в базі, тож Git тут вторинний і повністю відтворюваний; зворотне
|
||
// невірно, і саме тому база лишається джерелом істини.
|
||
//
|
||
// Версії йдуть у хронологічному порядку — інакше в гілці пристрою
|
||
// новіший конфіг став би батьком старішого, і історія читалась би
|
||
// навиворіт.
|
||
func (s *Store) SyncGit(
|
||
ctx context.Context,
|
||
tenantID string,
|
||
ring *crypto.Keyring,
|
||
dryRun bool,
|
||
onProgress func(deviceName, configType string, at time.Time, res gitstore.Result),
|
||
) (GitSyncStat, error) {
|
||
var stat GitSyncStat
|
||
if s.git == nil {
|
||
return stat, gitstore.ErrDisabled
|
||
}
|
||
|
||
type row struct {
|
||
id string
|
||
deviceID string
|
||
deviceName string
|
||
deviceAddr string
|
||
configType string
|
||
collected time.Time
|
||
}
|
||
|
||
var rows []row
|
||
err := s.InTenantTx(ctx, tenantID, func(tx pgx.Tx) error {
|
||
r, err := tx.Query(ctx, `
|
||
SELECT c.id::text, c.device_id::text, d.name,
|
||
COALESCE(host(d.address), ''), c.config_type, c.collected_at
|
||
FROM ncm.configs c
|
||
JOIN inv.devices d ON d.id = c.device_id
|
||
WHERE c.tenant_id = $1
|
||
ORDER BY c.device_id, c.config_type, c.collected_at
|
||
`, tenantID)
|
||
if err != nil {
|
||
return err
|
||
}
|
||
defer r.Close()
|
||
for r.Next() {
|
||
var x row
|
||
if err := r.Scan(&x.id, &x.deviceID, &x.deviceName, &x.deviceAddr,
|
||
&x.configType, &x.collected); err != nil {
|
||
return err
|
||
}
|
||
rows = append(rows, x)
|
||
}
|
||
return r.Err()
|
||
})
|
||
if err != nil {
|
||
return stat, err
|
||
}
|
||
stat.Total = len(rows)
|
||
|
||
for _, x := range rows {
|
||
body, _, err := s.ConfigBody(ctx, tenantID, x.id, ring)
|
||
if err != nil {
|
||
// Версія без тіла — не привід зупиняти переливання решти:
|
||
// одна зіпсована стрічка не має коштувати всієї історії.
|
||
stat.Skipped++
|
||
continue
|
||
}
|
||
|
||
path := ConfigPath(x.deviceName, x.configType)
|
||
// Те саме правило, що в StoreConfig: переливання історії мусить
|
||
// класти коміти в ту саму гілку, куди їх поклав би звичайний
|
||
// збір. Інакше після відновлення репозиторію з бази половина
|
||
// пристроїв опинилась би у гілках із минулого імені.
|
||
branch := DeviceBranch(x.deviceID, x.deviceName, x.deviceAddr)
|
||
|
||
if dryRun {
|
||
stat.Written++
|
||
if onProgress != nil {
|
||
onProgress(x.deviceName, x.configType, x.collected, gitstore.Result{})
|
||
}
|
||
continue
|
||
}
|
||
|
||
res, err := s.git.Write(gitstore.Commit{
|
||
Repo: RepoName(tenantID),
|
||
Branch: branch,
|
||
Path: path,
|
||
Body: []byte(body),
|
||
Message: fmt.Sprintf("%s: %s", x.deviceName, x.configType),
|
||
Author: "NetPulse",
|
||
Email: "netpulse@localhost",
|
||
// Час збору, а не час переливання: інакше вся історія
|
||
// злипається в одну хвилину й перестає відповідати на
|
||
// питання «коли це змінилось».
|
||
When: x.collected,
|
||
})
|
||
if err != nil {
|
||
return stat, fmt.Errorf("версія %s: %w", x.id, err)
|
||
}
|
||
|
||
if res.Unchanged {
|
||
stat.Unchanged++
|
||
} else {
|
||
stat.Written++
|
||
}
|
||
if onProgress != nil {
|
||
onProgress(x.deviceName, x.configType, x.collected, res)
|
||
}
|
||
|
||
// Координати в базі мають вести на справжній об'єкт Git, інакше
|
||
// відновлення виглядатиме зробленим, а посилання лишаться
|
||
// зламаними.
|
||
if err := s.InTenantTx(ctx, tenantID, func(tx pgx.Tx) error {
|
||
_, err := tx.Exec(ctx, `
|
||
UPDATE ncm.configs
|
||
SET commit_sha = $3, blob_sha = $4, branch = $5, path = $6
|
||
WHERE tenant_id = $1 AND id = $2
|
||
`, tenantID, x.id, res.CommitSHA, res.BlobSHA, branch, path)
|
||
return err
|
||
}); err != nil {
|
||
return stat, err
|
||
}
|
||
}
|
||
|
||
return stat, nil
|
||
}
|
||
|
||
// TenantIDs — усі живі тенанти. Потрібно командам, які працюють над
|
||
// усією інсталяцією, а не над одним кабінетом.
|
||
func (s *Store) TenantIDs(ctx context.Context) ([]string, error) {
|
||
rows, err := s.bg.Query(ctx, `
|
||
SELECT id::text FROM core.tenants WHERE deleted_at IS NULL ORDER BY created_at
|
||
`)
|
||
if err != nil {
|
||
return nil, err
|
||
}
|
||
defer rows.Close()
|
||
|
||
var out []string
|
||
for rows.Next() {
|
||
var id string
|
||
if err := rows.Scan(&id); err != nil {
|
||
return nil, err
|
||
}
|
||
out = append(out, id)
|
||
}
|
||
return out, rows.Err()
|
||
}
|