WhatsApp Agent: IA Local-First con Fallback Cloud

Casi todos los agentes "IA para WhatsApp" del mercado son lo mismo: un servidor centralizado al que envías el número de teléfono y la conversación, y que decide por ti — con tu cuenta, en su data center, leyendo tus mensajes. Es cómodo, pero rompe el modelo mental que importa: WhatsApp es privado, tu agente también debería serlo.

El agente tiene cinco capacidades multimedia y cada una elige independientemente si corre en local o en la nube. La regla es la misma para todas: si hay recurso local, se usa; si no, fallback a la nube, sin pedir API keys al usuario.

Para los servicios que sí tienen variante local plausible (LLM y embeddings), la decisión se toma por petición. Para los demás, vamos al proxy de Cadences, que abstrae cinco proveedores detrás de una sola URL. Esto resuelve el problema más aburrido de cualquier agente multimedia: no pedirle al usuario seis API keys distintas para que su asistente funcione.

El cliente LLM detecta cada 30 segundos si hay un endpoint compatible OpenAI corriendo en localhost:1234. Si lo hay, lista los modelos y elige el primero. Si no, va al proxy cloud con el modelo por defecto del proveedor seleccionado. WebLLM es un caso aparte: corre dentro del proceso renderer del Electron, sobre WebGPU, y los modelos viven en Cache Storage tras la primera descarga.

// 1. ¿Hay LM Studio escuchando? (cache 30s)
const detected = await this.detect();   // GET :1234/v1/models

if (provider === 'local' && detected.ok) {
  return await _chatViaLocal(messages, detected.models[0]);
}

// 2. WebLLM corre en el renderer (IPC bridge)
if (provider === 'webllm') {
  return await _chatViaWebllm(messages, model);
}

// 3. Proxy cloud — y aquí el truco anti-foot-gun:
//    si por error nos llega un model MLC para una llamada cloud,
//    lo cambiamos al default del provider en lugar de fallar.
if (model && isWebllmModel(model)) {
  model = getProvider(provider).defaultModel;
}
return await _chatViaCadences({ messages, model, provider });

El proxy cloud vive en cadences.pages.dev/api/ai-providers/chat. Recibe un provider + model, resuelve la API key del lado servidor (jamás baja al cliente) y devuelve el chat completion estándar OpenAI. Los seis proveedores soportados son los mismos que usa el resto del ecosistema:

La idea operativa es que el LLM nunca debe verse limitado por el formato del mensaje entrante. Si llega una nota de voz, se transcribe y entra al prompt como texto. Si llega una foto, se describe y entra como texto. El LLM responde una sola vez, pero el agente puede contestar con audio o imagen si el usuario lo pide.

Aquí es donde el "local-first" deja de ser slogan y se vuelve infraestructura. El agente carga onnx-community/embeddinggemma-300m-ONNX quantizado a 8 bits (~338 MB en disco, ~1.4 GB en RAM) usando @huggingface/transformers. Es el mismo runtime que usaría Transformers.js en el navegador, pero corriendo en Node dentro del Electron, lo que permite usar SIMD nativo en CPU sin tener que pelear con WASM threading.

Esto alimenta un sistema de contexto en cuatro capas que el contextBuilder ensambla antes de cada llamada al LLM:

ResonIA es nuestro estudio de QA conductual para llamadas: subes un audio y obtienes un mapa temporal de 10 capas semánticas — Intensidad, Fricción, Bucle, Handoff, Reparación, Apertura, Retirada, Dominancia, Sincronía, Críticos — más hallazgos como "Bucle de intención no resuelta" o "Contexto incompleto antes del handoff". Sin diagnosticar a las personas, sin juzgar: mostrando evidencia para que el equipo decida.

En el WhatsApp Agent reutilizamos la misma tipología de 10 capas, pero adaptada a texto y sin LLM por mensaje (sería caro). Una capa heurística — conversationClimate.js — corre regex y léxico sobre el mensaje actual, puntúa cada capa con un peso, y si la dominante supera un threshold (≥14) inyecta una directiva al prompt antes del LLM:

// Mensaje del usuario detectado como capa 'loop' (repetición)
// Score: 18, dominante

"El cliente está repitiendo la misma intención por tercera vez."
"Reconoce explícitamente que has entendido qué quiere antes"
"de proponer cualquier acción. No vuelvas al menú general."

Es deliberadamente conservador: no pretende sustituir el análisis de ResonIA (que sí usa prosodia, diarización y LLM dedicado), sino dar al agente un instinto básico para no caer en los patrones que ResonIA ya identifica como destructivos en llamadas. La misma teoría conversacional, dos puntos de aplicación: ResonIA observa post-hoc, el WhatsApp Agent actúa en tiempo real.

vilasenvento.cadences.app es la vitrina pública del modelo. Una tienda demo de despensa artesanal gallega cerca de Santiago, pensada como prueba de concepto comercial: asistente de texto en streaming (SSE) con DeepSeek V4 + function calling (5 tools), asistente de voz con ElevenLabs Conversational AI, y handoff voz↔chat (si cuelgas la llamada, el chat retoma la conversación con todo el contexto). RAG sobre catálogo, memoria entre sesiones, OTP + Twilio para callbacks programados.

Las tres piezas resuelven el mismo problema desde ángulos distintos: