Hace apenas unas semanas hablamos de JEV, el modelo de decisiones de TypeSafe AI. Ahora llega Jeff: una implementación open source que usa el mismo formato que JEV, pero que puedes ejecutar en tu propia máquina.
No es un clone. Es algo mejor en ciertos sentidos: más rápido, más barato, y completamente tuyo.
Qué es Jeff
Jeff son modelos de decisión tipo JEV (cierre, ranking, compuerta) entrenados sobre Qwen3.5 y Gemma 4. La diferencia clave:
- JEV → API de pago, en la nube, cerrada
- Jeff → Local, open source, gratis
Mismo formato de petición. Mismo tipo de salida. Misma filosofía. Pero corriendo en tu hardware.
Cómo funciona
Le describes una situación en texto plano y listas las opciones. Jeff devuelve una probabilidad calibrada para cada una en una sola pasada. Sin generar texto, sin parsing:
Situación: "El cliente lleva 3 días sin pagar y amenaza con demanda"
Opciones: ["billing", "support", "legal", "escalate"]
→ billing: 0.94, legal: 0.72, escalate: 0.68, support: 0.31Tres tipos de pregunta:
- choice: elige una de hasta 26 opciones
- noul: sí/no, devuelve probabilidad
- score: puntúa en una escala que defines tú
Modelos disponibles
| Modelo | Tamaño | Velocidad | Precisión |
|---|---|---|---|
| Jeff-Qwen3.5-0.8B | 0.8B params | ~22 ms | 79.1% |
| Jeff-Qwen3.5-2B | 2B params | ~35 ms | 83.1% |
| Jeff-Gemma4-E2B | 2B params | ~30 ms | 81.6% |
| Jeff-Qwen3.5-0.8B-Chess | 0.8B + ajedrez | ~25 ms | especializado |
Comparativa con JEV (benchmarks públicos):
| Benchmark | Jeff 0.8B | JEV | Jeff 2B | JEV |
|---|---|---|---|---|
| Overall | 79.1 | 83.0 | 83.1 | 83.0 |
| Financial PhraseBank | 96.4 | 77.0 | 96.3 | 77.0 |
| RAGTruth | 86.1 | 77.3 | 88.9 | 77.3 |
| WinoGrande | 68.6 | 90.7 | 79.0 | 90.7 |
Jeff gana en Financial PhraseBank y RAGTruth. Pierde en razonamiento puro (BBH, JevBench), que es esperable para un modelo de 0.8B.
Entrenamiento: hecho en casa
Esto es lo que más importa:
- Entrenado en una RTX PRO 6000 → 0.8B en ~2 horas, 2B en ~3.5 horas
- Datos sintéticos generados por Qwen3.8-Flash-Next (open source)
- Sin GPUs en la nube → 100% local
- Sin datos de modelos cerrados en el entrenamiento (solo se usaron para spot-check)
El código de entrenamiento parte de la receta AutoJev (open source). Puedes fine-tunear con tus propios datos en menos de 30 minutos.
Cuándo usar Jeff vs JEV
| Situación | Jeff | JEV |
|---|---|---|
| Privacidad total | ✅ | ❌ |
| Coste cero | ✅ | ❌ ($0.042/1M tokens) |
| Sin internet | ✅ | ❌ |
| Rápido (<30ms) | ✅ | ✅ |
| Razonamiento complejo | ❌ | ✅ |
| Opciones personalizadas | ✅ (fine-tune) | ⚠️ (limitado) |
| Sin mantenimiento | ❌ | ✅ |
Cómo empezar
# Servir el modelo
pip install jeff-serving
jeerv serve Jeff-Qwen3.5-0.8B
# Consultar
curl -X POST http://localhost:8000/decide \
-d '{"situation": "¿debo escalar?", "options": ["yes", "no"]}'Requisitos:
- GPU NVIDIA con 4+ GB VRAM (para 0.8B)
- 8+ GB VRAM (para 2B)
- Sin GPU: funciona en CPU, más lento (~200ms)
Límites reales
- Opciones limitadas: 26 máximo en modelos 0.8B (más con fine-tune)
- Razonamiento débil: no esperes que "piense" como JEV
- Benchmark diferente: los números no son directamente comparables con JEV
- Proyecto independiente: no afiliado a TypeSafe
La paradoja de Jevons, otra vez
JEV demostró que las decisiones inteligentes pueden costar casi nada. Jeff lleva esa idea al siguiente nivel: si una decisión cuesta 0, y puedes entrenarlo tú mismo en 2 horas con hardware de consumo...
La paradoja de Jevons en estado puro. Cuando la inteligencia de decisión es gratis y local, la pones en todas partes.
Enlaces: