Один коміт, а не десяток тематичних, свідомо: теми переплетені в
спільних файлах (store.go, docker-compose.yml, deploy/README.md), і
розділити їх можна було б лише індексуванням шматків. Коміти, які не
збираються, гірші за один великий — тим паче що це рівно той стан, який
перевірявся разом.
ЩО ПРАЦЮЄ НА СТЕНДІ Й ПЕРЕВІРЕНО ТАМ
0058 подієві алерти: syslog, ncm, compliance спрацьовують у мить
події; правило з нереалізованим джерелом більше не зберігається
мовчки
0059 snmp.walk і прототипи шаблонів — таблиці з динамічним індексом
описуються шаблоном, а не Go
0060 відкат конфігу: план як різниця, маскування паролів із підписом
плану, обов'язковий контрольний збір, verifying при обриві
0061 кнопки Telegram: довге опитування, авторизація не з callback_data
0062 аудит і архів хостів; тест на AST, що падає на ключі без назви
0063 RLS: три ролі, окремий пул для фонових тактів
0064 строки зберігання даних і сторінка сховища
0065 приймач SNMP-трапів; перевірено справжніми пакетами по дроту,
переклад v1→v2 за RFC 3584 дає правильний OID
0066 ескалації сповіщень
0067 алерт про вичерпання диска
0068 поля заливки конфігу переїхали в каталог профілів
Плюс: 137 тестів вебу з нуля (їх не було взагалі), одинадцять справжніх
вад, знайдених ними й виправлених, і виправлення двох інтеграційних
тестів grpcapi, які мовчки пропускались півтора року.
ЩО ЩЕ НЕ ЗАПУСКАЛОСЬ
netpulse установник: одна команда замість 18 змінних і
593 рядків інструкції
RLS з першого запуску нова інсталяція під політиками одразу;
RLS-EXISTING-INSTALL.md лишається тільки для
старих інсталяцій
.forgejo + CI раннер не зареєстрований
Ці три перевірені компіляцією й міркуванням, але не виконанням.
ГОЛОВНИЙ ВИСНОВОК ДВОХ СЕСІЙ
Зелена перевірка доводить рівно те, що вона перевіряє. Тест ізоляції RLS
був правильний і зелений — і пропустив зламаний вхід, бо перевіряв «чи
не видно чужого», коли зламалось «чи видно своє». Інтеграційні тести
grpcapi були зелені, бо не виконувались. Схема, довідник і протокол
описували те, чого в коді не існувало, і виглядало це як готове.
Тому в кожному завданні цих сесій стояла вимога назвати НЕПОКРИТЕ, а
чотири задачі закінчились не можливістю, а відмовою: правило з
нереалізованим джерелом не зберігається, профіль без команд заливки
каже про це замість мовчазної кнопки, міграція RLS валить сама себе на
таблиці без політики, тест словника аудиту падає на ключі без назви.
Подробиці — HISTORY.md, розділи за 26 і 27 серпня.
139 lines
6.6 KiB
Go
139 lines
6.6 KiB
Go
package grpcapi
|
||
|
||
import (
|
||
"context"
|
||
|
||
npv1 "github.com/netpulse/netpulse/gen/go/netpulse/v1"
|
||
"github.com/netpulse/netpulse/server/internal/store"
|
||
)
|
||
|
||
// Відкат конфігурації: серверна половина.
|
||
//
|
||
// Транспорту тут свого немає: ConfigApplyJob і ConfigApplyResult лежали
|
||
// в .proto від першого дня, у ControlDown/ControlUp для них були
|
||
// зарезервовані гілки, і бракувало рівно коду по обидва боки. Диспетчер
|
||
// іде в тому самому такті, що збір конфігів і масові команди, — це той
|
||
// самий шлях «база → жива сесія зонда», і власний таймер додав би ще
|
||
// один інтервал, який довелось би тримати узгодженим із цим.
|
||
|
||
// rollbackBatch — скільки відкатів віддаємо за один такт.
|
||
//
|
||
// Свідомо мало, на порядок менше за збір конфігів. Заливка конфігу —
|
||
// не читання: десять одночасних відкатів означають десять вузлів, що
|
||
// одночасно перебудовуються, і якщо в плані була помилка, вона
|
||
// повторюється десять разів, перш ніж хтось устигне натиснути «стоп».
|
||
const rollbackBatch = 4
|
||
|
||
// dispatchRollbacks роздає погоджені наміри живим сесіям.
|
||
func (s *Service) dispatchRollbacks(ctx context.Context, online []string) {
|
||
jobs, err := s.store.ClaimRollbacks(ctx, online, rollbackBatch, s.ring)
|
||
if err != nil {
|
||
s.log.Error("вибірка відкатів", "err", err)
|
||
return
|
||
}
|
||
|
||
for _, j := range jobs {
|
||
ok := s.PushToAgent(j.AgentID, &npv1.ControlDown{
|
||
Payload: &npv1.ControlDown_ConfigApplyJob{ConfigApplyJob: j.Job},
|
||
})
|
||
if !ok {
|
||
// Сесія обірвалась між вибіркою й відправкою. Намір падає, а
|
||
// не повертається в чергу: на пристрої ще нічого не
|
||
// відбувалось, і мовчазний повтор означав би, що заливка
|
||
// колись поїде сама — без людини, яка на це дивиться.
|
||
// Погодження при цьому лишається в журналі, тож повторити
|
||
// відкат коштує одного натискання.
|
||
_ = s.store.FailRollback(ctx, j.RollbackID,
|
||
"зонд відключився до надсилання завдання — відкат не почався")
|
||
continue
|
||
}
|
||
s.log.Warn("відкат конфігу надіслано зонду",
|
||
"rollback", j.RollbackID, "agent", j.AgentID, "device", j.DeviceName,
|
||
"команд", len(j.Job.GetCommands()))
|
||
}
|
||
}
|
||
|
||
// storeApplyResult приймає звіт про заливку.
|
||
//
|
||
// Тут навмисно немає жодного рішення про долю відкату. Усе, що знає це
|
||
// місце, — «зонд щось відповів»; чи став пристрій таким, як хотіли,
|
||
// вирішує контрольний збір, який ставить FinishApply. Вивід CLI на це
|
||
// питання не відповідає: пристрій відповідає рядком тексту, і мовчання
|
||
// означає «прочитав», а не «застосував».
|
||
func (s *Service) storeApplyResult(ctx context.Context, res *npv1.ConfigApplyResult) {
|
||
id := res.GetRollbackId()
|
||
if id == "" {
|
||
s.log.Warn("результат заливки без ідентифікатора відкату")
|
||
return
|
||
}
|
||
|
||
tenantID, redact, err := s.store.RollbackRedactPatterns(ctx, id)
|
||
if err != nil {
|
||
s.log.Error("невідомий відкат у результаті заливки", "rollback", id, "err", err)
|
||
return
|
||
}
|
||
|
||
outcomes := make([]store.ApplyOutcome, 0, len(res.GetOutcomes()))
|
||
for _, o := range res.GetOutcomes() {
|
||
outcomes = append(outcomes, store.ApplyOutcome{
|
||
Index: int(o.GetIndex()),
|
||
Command: o.GetCommand(),
|
||
Output: o.GetOutput(),
|
||
Success: o.GetSuccess(),
|
||
ErrorLine: o.GetErrorLine(),
|
||
})
|
||
}
|
||
|
||
rep := store.ApplyReport{
|
||
RollbackID: id,
|
||
Success: res.GetSuccess(),
|
||
Committed: res.GetCommitted(),
|
||
Outcomes: outcomes,
|
||
Transcript: res.GetTranscript(),
|
||
Error: res.GetError().GetMessage(),
|
||
}
|
||
if !rep.Success && rep.Error == "" {
|
||
rep.Error = "заливка не завершилась, а причини зонд не назвав"
|
||
}
|
||
|
||
if err := s.store.FinishApply(ctx, tenantID, rep, redact); err != nil {
|
||
s.log.Error("запис результату відкату", "rollback", id, "err", err)
|
||
return
|
||
}
|
||
|
||
// Warn, а не Info, і за будь-якого результату. Запис на живе залізо
|
||
// — подія, яку шукають у журналі через тиждень після аварії, і
|
||
// шукають її разом із рештою тривожного.
|
||
s.log.Warn("відкат залито, призначено контрольний збір",
|
||
"rollback", id, "успіх", rep.Success, "збережено", rep.Committed,
|
||
"команд", len(outcomes))
|
||
}
|
||
|
||
// settleRollbacks підбиває підсумок контрольних зборів.
|
||
func (s *Service) settleRollbacks(ctx context.Context) {
|
||
n, err := s.store.SettleRollbackVerification(ctx, s.ring)
|
||
if err != nil {
|
||
s.log.Warn("підсумок перевірки відкатів", "err", err)
|
||
return
|
||
}
|
||
if n > 0 {
|
||
s.log.Info("перевірку відкатів завершено", "намірів", n)
|
||
}
|
||
}
|
||
|
||
// reapRollbacks розбирається з тими, від кого немає відповіді.
|
||
func (s *Service) reapRollbacks(ctx context.Context) {
|
||
n, err := s.store.ReapStuckRollbacks(ctx)
|
||
if err != nil {
|
||
s.log.Warn("прибирання завислих відкатів", "err", err)
|
||
return
|
||
}
|
||
if n > 0 {
|
||
// Саме Warn: зонд зник посеред заливки, і на пристрої лишився
|
||
// стан, якого не описує жоден із двох конфігів. Контрольний
|
||
// збір уже призначено, але подія варта того, щоб її помітили
|
||
// без нагадування.
|
||
s.log.Warn("зонд не відповів під час заливки — перевіряємо стан пристроїв",
|
||
"намірів", n)
|
||
}
|
||
}
|