Один коміт, а не десяток тематичних, свідомо: теми переплетені в
спільних файлах (store.go, docker-compose.yml, deploy/README.md), і
розділити їх можна було б лише індексуванням шматків. Коміти, які не
збираються, гірші за один великий — тим паче що це рівно той стан, який
перевірявся разом.
ЩО ПРАЦЮЄ НА СТЕНДІ Й ПЕРЕВІРЕНО ТАМ
0058 подієві алерти: syslog, ncm, compliance спрацьовують у мить
події; правило з нереалізованим джерелом більше не зберігається
мовчки
0059 snmp.walk і прототипи шаблонів — таблиці з динамічним індексом
описуються шаблоном, а не Go
0060 відкат конфігу: план як різниця, маскування паролів із підписом
плану, обов'язковий контрольний збір, verifying при обриві
0061 кнопки Telegram: довге опитування, авторизація не з callback_data
0062 аудит і архів хостів; тест на AST, що падає на ключі без назви
0063 RLS: три ролі, окремий пул для фонових тактів
0064 строки зберігання даних і сторінка сховища
0065 приймач SNMP-трапів; перевірено справжніми пакетами по дроту,
переклад v1→v2 за RFC 3584 дає правильний OID
0066 ескалації сповіщень
0067 алерт про вичерпання диска
0068 поля заливки конфігу переїхали в каталог профілів
Плюс: 137 тестів вебу з нуля (їх не було взагалі), одинадцять справжніх
вад, знайдених ними й виправлених, і виправлення двох інтеграційних
тестів grpcapi, які мовчки пропускались півтора року.
ЩО ЩЕ НЕ ЗАПУСКАЛОСЬ
netpulse установник: одна команда замість 18 змінних і
593 рядків інструкції
RLS з першого запуску нова інсталяція під політиками одразу;
RLS-EXISTING-INSTALL.md лишається тільки для
старих інсталяцій
.forgejo + CI раннер не зареєстрований
Ці три перевірені компіляцією й міркуванням, але не виконанням.
ГОЛОВНИЙ ВИСНОВОК ДВОХ СЕСІЙ
Зелена перевірка доводить рівно те, що вона перевіряє. Тест ізоляції RLS
був правильний і зелений — і пропустив зламаний вхід, бо перевіряв «чи
не видно чужого», коли зламалось «чи видно своє». Інтеграційні тести
grpcapi були зелені, бо не виконувались. Схема, довідник і протокол
описували те, чого в коді не існувало, і виглядало це як готове.
Тому в кожному завданні цих сесій стояла вимога назвати НЕПОКРИТЕ, а
чотири задачі закінчились не можливістю, а відмовою: правило з
нереалізованим джерелом не зберігається, профіль без команд заливки
каже про це замість мовчазної кнопки, міграція RLS валить сама себе на
таблиці без політики, тест словника аудиту падає на ключі без назви.
Подробиці — HISTORY.md, розділи за 26 і 27 серпня.
98 lines
4.1 KiB
Go
98 lines
4.1 KiB
Go
package grpcapi
|
||
|
||
import (
|
||
"context"
|
||
"time"
|
||
)
|
||
|
||
// retentionLockKey — окреме advisory-блокування під прибиральника.
|
||
//
|
||
// Своє, а не спільне з планувальником бекапів: обидва тікають незалежно,
|
||
// і спільний ключ означав би, що довгий перший прохід очистки заодно
|
||
// зупиняє розклад збору.
|
||
const retentionLockKey = 0x6e70_7263 // "nprc"
|
||
|
||
// RetentionInterval — як часто прибирати старі версії.
|
||
//
|
||
// Година. Найдрібніша одиниця політики — доба, тож частіше немає чого
|
||
// шукати; рідше — означало б, що на інсталяції, яка вперше вмикає
|
||
// чистку, звільнення місця починається невідомо коли.
|
||
const RetentionInterval = time.Hour
|
||
|
||
// SweepRetention прибирає старі версії конфігів за політикою.
|
||
//
|
||
// Живе в колекторі, а не в REST-процесі, і це не байдуже.
|
||
//
|
||
// По-перше, тут уже стоїть той, хто версії СТВОРЮЄ: планувальник
|
||
// бекапів і диспетчер збору. Механізм, що прибирає, доречно тримати
|
||
// поруч із тим, що накопичує, — інакше два процеси зі спільною
|
||
// відповідальністю за одну таблицю живуть у різних релізних циклах.
|
||
//
|
||
// По-друге, REST-процес — шлях запитів людини, і його масштабують
|
||
// копіями. Довге видалення в тому самому процесі конкурувало б за
|
||
// з'єднання з тим, хто зараз відкриває сторінку конфігів.
|
||
//
|
||
// По-третє, ключ шифрування тут не потрібен зовсім: видалення не читає
|
||
// тіл. Тому прохід безпечний і на інсталяції, де REST запущено без DEK.
|
||
//
|
||
// Кілька екземплярів колектора безпечні: тік бере advisory-блокування,
|
||
// тож прибирає рівно один.
|
||
func (s *Service) SweepRetention(ctx context.Context) {
|
||
t := time.NewTicker(RetentionInterval)
|
||
defer t.Stop()
|
||
|
||
s.log.Info("прибиральник старих конфігів запущено", "інтервал", RetentionInterval)
|
||
|
||
for {
|
||
select {
|
||
case <-ctx.Done():
|
||
return
|
||
case <-t.C:
|
||
s.retentionTick(ctx)
|
||
}
|
||
}
|
||
}
|
||
|
||
func (s *Service) retentionTick(ctx context.Context) {
|
||
conn, err := s.store.WorkerPool().Acquire(ctx)
|
||
if err != nil {
|
||
s.log.Error("прибиральник: з'єднання", "err", err)
|
||
return
|
||
}
|
||
defer conn.Release()
|
||
|
||
var got bool
|
||
if err := conn.QueryRow(ctx, `SELECT pg_try_advisory_lock($1)`,
|
||
int64(retentionLockKey)).Scan(&got); err != nil {
|
||
s.log.Error("прибиральник: блокування", "err", err)
|
||
return
|
||
}
|
||
if !got {
|
||
// Прибирає інший інстанс — штатний стан.
|
||
return
|
||
}
|
||
defer func() {
|
||
_, _ = conn.Exec(context.WithoutCancel(ctx),
|
||
`SELECT pg_advisory_unlock($1)`, int64(retentionLockKey))
|
||
}()
|
||
|
||
tenants, err := s.store.TenantsWithRetention(ctx)
|
||
if err != nil {
|
||
s.log.Error("прибиральник: перелік тенантів", "err", err)
|
||
return
|
||
}
|
||
|
||
for _, tenantID := range tenants {
|
||
stat, err := s.store.SweepRetention(ctx, tenantID)
|
||
if err != nil {
|
||
// Один тенант не має зупиняти решту: політика в кожного
|
||
// своя, і збій на чужих даних тут нічого не означає.
|
||
s.log.Error("прибиральник: прохід", "tenant", tenantID, "err", err)
|
||
continue
|
||
}
|
||
if stat.Deleted > 0 {
|
||
s.log.Info("прибрано старі версії конфігів",
|
||
"tenant", tenantID, "версій", stat.Deleted, "байтів", stat.FreedBytes)
|
||
}
|
||
}
|
||
}
|