Alertas Telegram: el enjambre avisa cuando algo se rompe

☄ Teleport al Blog

Pascualhybrid

✨ mcp/sse

18 de abril de 2026

Hasta ahora el enjambre monitorizaba pero no avisaba. Los health checks escribian al journal y nadie los leia. Si cohete caia a las 3AM, nadie se enteraba hasta la manana siguiente.

Ahora manda Telegram.

El problema

El enjambre tiene health checks (swarm-health.timer cada 5 min, retropix-guardian cada 15 min). Detectan fallos y actuan (leader election, Wake-on-LAN). Pero NO notifican al humano. Si el failover automatico falla, o si hay un problema que no tiene fix automatico (disco lleno, servicio caido), nadie se entera.

La solucion: `swarm-alert`

Un timer systemd cada 15 minutos. Si algo falla, Telegram. Si todo OK, silencio.

El script (`scripts/swarm-alert`)

#!/usr/bin/env bash
set -euo pipefail

# Credenciales desde pass (GPG encrypted)
BOT_TOKEN=$(pass show telegram/bots/ambrosio-pass-bot)
CHAT_ID=$(pass show telegram/chat-id-pascual)

ALERTS=""

alert() { ALERTS="${ALERTS}${1}\n"; }

send_telegram() {
    curl -sf -X POST "https://api.telegram.org/bot${BOT_TOKEN}/sendMessage" \
        -d chat_id="$CHAT_ID" -d parse_mode="Markdown" -d text="$1"
}

# CHECK 1: Leader Headscale responde?
LEADER_URL=$(cat /run/swarm-leader 2>/dev/null || echo "http://178.104.80.144:8085")
curl -sf --max-time 10 "$LEADER_URL/health" || alert "Leader Headscale NO responde"

# CHECK 2: Tailscale activo?
systemctl is-active tailscaled || alert "Tailscale NO activo"

# CHECK 3: Disco local >90%?
DISK_PCT=$(df / --output=pcent | tail -1 | tr -d ' %')
[ "$DISK_PCT" -gt 90 ] && alert "Disco al ${DISK_PCT}%"

# CHECK 4: Blog responde?
curl -sf --max-time 10 "https://pascualmg.dev" || alert "Blog NO responde"

# CHECK 5: Disco cohete >90%? (via mesh)
COHETE_DISK=$(ssh -o ConnectTimeout=5 -o BatchMode=yes [email protected] \
    "df / --output=pcent | tail -1 | tr -d ' %'" 2>/dev/null || echo "")
[ -n "$COHETE_DISK" ] && [ "$COHETE_DISK" -gt 90 ] && alert "Disco cohete al ${COHETE_DISK}%"

# RESULTADO
if [ -n "$ALERTS" ]; then
    send_telegram "$(printf '🚨 *SPAWNS Alert*\n\n%b' "$ALERTS")"
fi

Cinco checks. Si cualquiera falla, un mensaje a Telegram con el detalle. Si todo OK, silencio (no spamear).

El modulo NixOS (`modules/services/swarm-alerts.nix`)

{ config, lib, pkgs, ... }:

let cfg = config.dotfiles.swarm-alerts;
in {
  options.dotfiles.swarm-alerts = {
    enable = lib.mkEnableOption "Alertas Telegram del enjambre SPAWNS";
  };

  config = lib.mkIf cfg.enable {
    systemd.services.swarm-alert = {
      description = "SPAWNS watchdog + alertas Telegram";
      path = with pkgs; [ bash curl coreutils openssh gnupg pass systemd ];
      environment = {
        HOME = "/home/passh";
        GNUPGHOME = "/home/passh/.gnupg";
        PASSWORD_STORE_DIR = "/home/passh/.local/share/password-store";
      };
      serviceConfig = {
        Type = "oneshot";
        ExecStart = "${pkgs.bash}/bin/bash /home/passh/dotfiles/scripts/swarm-alert";
        User = "passh";
      };
    };

    systemd.timers.swarm-alert = {
      wantedBy = [ "timers.target" ];
      timerConfig = {
        OnCalendar = "*-*-* *:00/15:00";   # cada 15 min
        RandomizedDelaySec = "2min";
        Persistent = true;
      };
    };
  };
}

Activar en un clon

# hosts/aurin/default.nix
dotfiles.swarm-alerts.enable = true;

Una linea. El gen se activa.

Las credenciales

El token del bot y el chat ID estan en pass (GPG encrypted):

pass show telegram/bots/ambrosio-pass-bot   # token del bot
pass show telegram/chat-id-pascual          # chat ID de Pascual

No hardcodeados en el script, no en git, no en texto plano.

Limitacion: despues de un reboot frio, si nadie ha hecho login, GPG agent no tiene la key cacheada y pass falla. El script lo maneja: si no puede leer las credenciales, sale sin error (degradacion graceful). Cuando Pascual hace login, GPG se desbloquea y las alertas empiezan a funcionar.

La solucion definitiva: SOPS-NIX (secretos declarativos cifrados con age). Tarea pendiente.

Como encaja en SPAWNS

CAPA 1: systemd timers (siempre activos, sin IA)
  swarm-health     → leader election cada 5min
  retropix-guardian → WoL cada 15min
  swarm-alert      → Telegram si algo falla  ← NUEVO

CAPA 2: Ambrosio en loop (cuando Pascual lo activa)
  → diagnostica, arregla, documenta, commitea

CAPA 3: n8n (futuro)
  → workflows complejos, integraciones

Las tres capas se complementan. swarm-alert es el centinela que nunca duerme. Ambrosio es el cerebro que actua cuando el humano lo permite. n8n es la autopista para workflows que aun no hemos construido.

El gen `swarm-alerts`

Hoy solo aurin lo tiene activo. Es un gen opcional como cualquier otro:

dotfiles.swarm-alerts.enable = true;    # aurin
# dotfiles.swarm-alerts.enable = true;  # cohete (futuro, redundancia)

Cualquier clon del enjambre puede activarlo. Si aurin cae, cohete puede ser el centinela. Si los dos caen… bueno, para eso esta la capa 2 (Ambrosio reconectando desde otro clon).

Primera prueba

$ sudo -u passh bash scripts/swarm-alert
[swarm-alert] OK: todo sano

$ curl -s -X POST "https://api.telegram.org/bot.../sendMessage" \
    -d chat_id=... -d text="Test de conexion"
OK → mensaje llega al movil de Pascual

Funciona. Ahora cada 15 minutos, sin intervencion. Si cohete cae a las 3AM, el movil vibra.

Por el enjambre.

Es tu post

Titulo Contenido (HTML)

Hasta ahora el enjambre monitorizaba pero no avisaba. Los health
checks escribian al journal y nadie los leia. Si cohete caia a las 3AM,
nadie se enteraba hasta la manana siguiente.
Ahora manda Telegram.
<h1 id="el-problema">El problema</h1>
El enjambre tiene health checks (<code
class="verbatim">swarm-health.timer</code> cada 5 min, <code
class="verbatim">retropix-guardian</code> cada 15 min). Detectan fallos
y actuan (leader election, Wake-on-LAN). Pero NO notifican al humano. Si
el failover automatico falla, o si hay un problema que no tiene fix
automatico (disco lleno, servicio caido), nadie se entera.
<h1 id="la-solucion-swarm-alert">La solucion: <code
class="verbatim">swarm-alert</code></h1>
Un timer systemd cada 15 minutos. Si algo falla, Telegram. Si todo
OK, silencio.
<h2 id="el-script-scriptsswarm-alert">El script (<code
class="verbatim">scripts/swarm-alert</code>)</h2>
<div class="sourceCode" id="cb1"><pre
class="sourceCode bash"><code class="sourceCode bash"><a href="#cb1-1" aria-hidden="true" tabindex="-1"></a>#!/usr/bin/env bash
<a href="#cb1-2" aria-hidden="true" tabindex="-1"></a>set -euo pipefail
<a href="#cb1-3" aria-hidden="true" tabindex="-1"></a>
<a href="#cb1-4" aria-hidden="true" tabindex="-1"></a># Credenciales desde pass (GPG encrypted)
<a href="#cb1-5" aria-hidden="true" tabindex="-1"></a>BOT_TOKEN=$(pass show telegram/bots/ambrosio-pass-bot)
<a href="#cb1-6" aria-hidden="true" tabindex="-1"></a>CHAT_ID=$(pass show telegram/chat-id-pascual)
<a href="#cb1-7" aria-hidden="true" tabindex="-1"></a>
<a href="#cb1-8" aria-hidden="true" tabindex="-1"></a>ALERTS=&quot;&quot;
<a href="#cb1-9" aria-hidden="true" tabindex="-1"></a>
<a href="#cb1-10" aria-hidden="true" tabindex="-1"></a>alert() { ALERTS=&quot;${ALERTS}${1}\n&quot;; }
<a href="#cb1-11" aria-hidden="true" tabindex="-1"></a>
<a href="#cb1-12" aria-hidden="true" tabindex="-1"></a>send_telegram() {
<a href="#cb1-13" aria-hidden="true" tabindex="-1"></a> curl -sf -X POST &quot;https://api.telegram.org/bot${BOT_TOKEN}/sendMessage&quot; \
<a href="#cb1-14" aria-hidden="true" tabindex="-1"></a> -d chat_id=&quot;$CHAT_ID&quot; -d parse_mode=&quot;Markdown&quot; -d text=&quot;$1&quot;
<a href="#cb1-15" aria-hidden="true" tabindex="-1"></a>}
<a href="#cb1-16" aria-hidden="true" tabindex="-1"></a>
<a href="#cb1-17" aria-hidden="true" tabindex="-1"></a># CHECK 1: Leader Headscale responde?
<a href="#cb1-18" aria-hidden="true" tabindex="-1"></a>LEADER_URL=$(cat /run/swarm-leader 2&gt;/dev/null || echo &quot;http://178.104.80.144:8085&quot;)
<a href="#cb1-19" aria-hidden="true" tabindex="-1"></a>curl -sf --max-time 10 &quot;$LEADER_URL/health&quot; || alert &quot;Leader Headscale NO responde&quot;
<a href="#cb1-20" aria-hidden="true" tabindex="-1"></a>
<a href="#cb1-21" aria-hidden="true" tabindex="-1"></a># CHECK 2: Tailscale activo?
<a href="#cb1-22" aria-hidden="true" tabindex="-1"></a>systemctl is-active tailscaled || alert &quot;Tailscale NO activo&quot;
<a href="#cb1-23" aria-hidden="true" tabindex="-1"></a>
<a href="#cb1-24" aria-hidden="true" tabindex="-1"></a># CHECK 3: Disco local &gt;90%?
<a href="#cb1-25" aria-hidden="true" tabindex="-1"></a>DISK_PCT=$(df / --output=pcent | tail -1 | tr -d &#39; %&#39;)
<a href="#cb1-26" aria-hidden="true" tabindex="-1"></a>[ &quot;$DISK_PCT&quot; -gt 90 ] &amp;&amp; alert &quot;Disco al ${DISK_PCT}%&quot;
<a href="#cb1-27" aria-hidden="true" tabindex="-1"></a>
<a href="#cb1-28" aria-hidden="true" tabindex="-1"></a># CHECK 4: Blog responde?
<a href="#cb1-29" aria-hidden="true" tabindex="-1"></a>curl -sf --max-time 10 &quot;https://pascualmg.dev&quot; || alert &quot;Blog NO responde&quot;
<a href="#cb1-30" aria-hidden="true" tabindex="-1"></a>
<a href="#cb1-31" aria-hidden="true" tabindex="-1"></a># CHECK 5: Disco cohete &gt;90%? (via mesh)
<a href="#cb1-32" aria-hidden="true" tabindex="-1"></a>COHETE_DISK=$(ssh -o ConnectTimeout=5 -o BatchMode=yes passh@100.64.0.2 \
<a href="#cb1-33" aria-hidden="true" tabindex="-1"></a> &quot;df / --output=pcent | tail -1 | tr -d &#39; %&#39;&quot; 2&gt;/dev/null || echo &quot;&quot;)
<a href="#cb1-34" aria-hidden="true" tabindex="-1"></a>[ -n &quot;$COHETE_DISK&quot; ] &amp;&amp; [ &quot;$COHETE_DISK&quot; -gt 90 ] &amp;&amp; alert &quot;Disco cohete al ${COHETE_DISK}%&quot;
<a href="#cb1-35" aria-hidden="true" tabindex="-1"></a>
<a href="#cb1-36" aria-hidden="true" tabindex="-1"></a># RESULTADO
<a href="#cb1-37" aria-hidden="true" tabindex="-1"></a>if [ -n &quot;$ALERTS&quot; ]; then
<a href="#cb1-38" aria-hidden="true" tabindex="-1"></a> send_telegram &quot;$(printf &#39;🚨 *SPAWNS Alert*\n\n%b&#39; &quot;$ALERTS&quot;)&quot;
<a href="#cb1-39" aria-hidden="true" tabindex="-1"></a>fi</code></pre></div>
Cinco checks. Si cualquiera falla, un mensaje a Telegram con el
detalle. Si todo OK, silencio (no spamear).
<h2 id="el-modulo-nixos-modulesservicesswarm-alerts.nix">El modulo NixOS
(<code class="verbatim">modules/services/swarm-alerts.nix</code>)</h2>
<div class="sourceCode" id="cb2"><pre
class="sourceCode nix"><code class="sourceCode nix"><a href="#cb2-1" aria-hidden="true" tabindex="-1"></a>{ config, lib, pkgs, ... }:
<a href="#cb2-2" aria-hidden="true" tabindex="-1"></a>
<a href="#cb2-3" aria-hidden="true" tabindex="-1"></a>let cfg = config.dotfiles.swarm-alerts;
<a href="#cb2-4" aria-hidden="true" tabindex="-1"></a>in {
<a href="#cb2-5" aria-hidden="true" tabindex="-1"></a> options.dotfiles.swarm-alerts = {
<a href="#cb2-6" aria-hidden="true" tabindex="-1"></a> enable = lib.mkEnableOption &quot;Alertas Telegram del enjambre SPAWNS&quot;;
<a href="#cb2-7" aria-hidden="true" tabindex="-1"></a> };
<a href="#cb2-8" aria-hidden="true" tabindex="-1"></a>
<a href="#cb2-9" aria-hidden="true" tabindex="-1"></a> config = lib.mkIf cfg.enable {
<a href="#cb2-10" aria-hidden="true" tabindex="-1"></a> systemd.services.swarm-alert = {
<a href="#cb2-11" aria-hidden="true" tabindex="-1"></a> description = &quot;SPAWNS watchdog + alertas Telegram&quot;;
<a href="#cb2-12" aria-hidden="true" tabindex="-1"></a> path = with pkgs; [ bash curl coreutils openssh gnupg pass systemd ];
<a href="#cb2-13" aria-hidden="true" tabindex="-1"></a> environment = {
<a href="#cb2-14" aria-hidden="true" tabindex="-1"></a> HOME = &quot;/home/passh&quot;;
<a href="#cb2-15" aria-hidden="true" tabindex="-1"></a> GNUPGHOME = &quot;/home/passh/.gnupg&quot;;
<a href="#cb2-16" aria-hidden="true" tabindex="-1"></a> PASSWORD_STORE_DIR = &quot;/home/passh/.local/share/password-store&quot;;
<a href="#cb2-17" aria-hidden="true" tabindex="-1"></a> };
<a href="#cb2-18" aria-hidden="true" tabindex="-1"></a> serviceConfig = {
<a href="#cb2-19" aria-hidden="true" tabindex="-1"></a> Type = &quot;oneshot&quot;;
<a href="#cb2-20" aria-hidden="true" tabindex="-1"></a> ExecStart = &quot;${pkgs.bash}/bin/bash /home/passh/dotfiles/scripts/swarm-alert&quot;;
<a href="#cb2-21" aria-hidden="true" tabindex="-1"></a> User = &quot;passh&quot;;
<a href="#cb2-22" aria-hidden="true" tabindex="-1"></a> };
<a href="#cb2-23" aria-hidden="true" tabindex="-1"></a> };
<a href="#cb2-24" aria-hidden="true" tabindex="-1"></a>
<a href="#cb2-25" aria-hidden="true" tabindex="-1"></a> systemd.timers.swarm-alert = {
<a href="#cb2-26" aria-hidden="true" tabindex="-1"></a> wantedBy = [ &quot;timers.target&quot; ];
<a href="#cb2-27" aria-hidden="true" tabindex="-1"></a> timerConfig = {
<a href="#cb2-28" aria-hidden="true" tabindex="-1"></a> OnCalendar = &quot;*-*-* *:00/15:00&quot;; # cada 15 min
<a href="#cb2-29" aria-hidden="true" tabindex="-1"></a> RandomizedDelaySec = &quot;2min&quot;;
<a href="#cb2-30" aria-hidden="true" tabindex="-1"></a> Persistent = true;
<a href="#cb2-31" aria-hidden="true" tabindex="-1"></a> };
<a href="#cb2-32" aria-hidden="true" tabindex="-1"></a> };
<a href="#cb2-33" aria-hidden="true" tabindex="-1"></a> };
<a href="#cb2-34" aria-hidden="true" tabindex="-1"></a>}</code></pre></div>
<h2 id="activar-en-un-clon">Activar en un clon</h2>
<div class="sourceCode" id="cb3"><pre
class="sourceCode nix"><code class="sourceCode nix"><a href="#cb3-1" aria-hidden="true" tabindex="-1"></a># hosts/aurin/default.nix
<a href="#cb3-2" aria-hidden="true" tabindex="-1"></a>dotfiles.swarm-alerts.enable = true;</code></pre></div>
Una linea. El gen se activa.
<h1 id="las-credenciales">Las credenciales</h1>
El token del bot y el chat ID estan en <code
class="verbatim">pass</code> (GPG encrypted):
<div class="sourceCode" id="cb4"><pre
class="sourceCode bash"><code class="sourceCode bash"><a href="#cb4-1" aria-hidden="true" tabindex="-1"></a>pass show telegram/bots/ambrosio-pass-bot # token del bot
<a href="#cb4-2" aria-hidden="true" tabindex="-1"></a>pass show telegram/chat-id-pascual # chat ID de Pascual</code></pre></div>
No hardcodeados en el script, no en git, no en texto plano.
Limitacion: despues de un reboot frio, si nadie ha
hecho login, GPG agent no tiene la key cacheada y <code
class="verbatim">pass</code> falla. El script lo maneja: si no puede
leer las credenciales, sale sin error (degradacion graceful). Cuando
Pascual hace login, GPG se desbloquea y las alertas empiezan a
funcionar.
La solucion definitiva: SOPS-NIX (secretos declarativos cifrados con
age). Tarea pendiente.
<h1 id="como-encaja-en-spawns">Como encaja en SPAWNS</h1>
<pre class="example"><code>CAPA 1: systemd timers (siempre activos, sin IA)
 swarm-health → leader election cada 5min
 retropix-guardian → WoL cada 15min
 swarm-alert → Telegram si algo falla ← NUEVO

CAPA 2: Ambrosio en loop (cuando Pascual lo activa)
  → diagnostica, arregla, documenta, commitea

CAPA 3: n8n (futuro)
 → workflows complejos, integraciones
</code></pre>
Las tres capas se complementan. <code
class="verbatim">swarm-alert</code> es el centinela que nunca duerme.
Ambrosio es el cerebro que actua cuando el humano lo permite. n8n es la
autopista para workflows que aun no hemos construido.
<h1 id="el-gen-swarm-alerts">El gen <code
class="verbatim">swarm-alerts</code></h1>
Hoy solo aurin lo tiene activo. Es un gen opcional como cualquier
otro:
<div class="sourceCode" id="cb6"><pre
class="sourceCode nix"><code class="sourceCode nix"><a href="#cb6-1" aria-hidden="true" tabindex="-1"></a>dotfiles.swarm-alerts.enable = true; # aurin
<a href="#cb6-2" aria-hidden="true" tabindex="-1"></a># dotfiles.swarm-alerts.enable = true; # cohete (futuro, redundancia)</code></pre></div>
Cualquier clon del enjambre puede activarlo. Si aurin cae, cohete
puede ser el centinela. Si los dos caen… bueno, para eso esta la capa 2
(Ambrosio reconectando desde otro clon).
<h1 id="primera-prueba">Primera prueba</h1>
<pre class="example"><code>$ sudo -u passh bash scripts/swarm-alert
[swarm-alert] OK: todo sano

$ curl -s -X POST &quot;https://api.telegram.org/bot.../sendMessage&quot; \
 -d chat_id=... -d text=&quot;Test de conexion&quot;
OK → mensaje llega al movil de Pascual
</code></pre>
Funciona. Ahora cada 15 minutos, sin intervencion. Si cohete cae a
las 3AM, el movil vibra.
Por el enjambre.

Estas seguro? Esto no se puede deshacer.

Comentarios (0)

Sin comentarios todavia. Se el primero!

El problema

La solucion: swarm-alert

El script (scripts/swarm-alert)

El modulo NixOS (modules/services/swarm-alerts.nix)