Inteligencia artificial · Tecnología · Recursos

Noticias

Meta lanza ForeSpark: la especulación conservadora que acelera la inferencia LLM 1,77x sobre DSpark

La carrera por servir modelos de lenguaje grandes (LLM) de forma eficiente acaba de dar un salto cualitativo.

Meta lanza ForeSpark: la especulación conservadora que acelera la inferencia LLM 1,77x sobre DSpark

Meta, a través de su organización facebookresearch, ha publicado ForeSpark, un sistema de speculative decoding (decodificación especulativa) que implementa la idea de especulación conservadora del trabajo (work-conserving speculation o WCS). Los resultados son contundentes: hasta 1,77 veces más throughput que DSpark —el anterior estado del arte— y 2,49 veces más que la decodificación autoregresiva pura, todo ello sin alterar la distribución de salida del modelo objetivo.

El código, liberado bajo licencias mixtas (mayoritariamente CC-BY-NC con componentes Apache 2.0 y MIT), acompaña al artículo científico ForeSpark: Joint Draft and Verification Budget Scheduling for Parallel Speculative Decoding (arXiv:2611.13442v1), enviado el 10 de noviembre de 2026. La implementación corre sobre vLLM 0.30.0 y utiliza un drafter paralelo DFlash2.

Centro de datos de alto rendimiento con clústeres GPU para inferencia LLM
Clúster GPU de alto rendimiento para inferencia de modelos de lenguaje. Foto: CSIRO / Wikimedia Commons (CC BY 3.0).

El problema: la especulación paralela desperdicia compute

La decodificación especulativa clásica acelera la inferencia usando un modelo pequeño y rápido (drafter) que propone tokens candidatos, los cuales son verificados en paralelo por el modelo grande (target). Si el target acepta el borrador, se ganan varios tokens por un solo forward pass del modelo grande.

Los sistemas recientes como DSpark (DeepSeek, julio 2026) introdujeron verificación adaptativa: no verifican todo el bloque propuesto, solo los tokens más prometedores según una cabeza de confianza. Esto mejora el goodput (tokens aceptados por segundo) bajo carga.

Sin embargo, todos los sistemas existentes —incluido DSpark— siguen generando un bloque completo de borrador por cada petición, independientemente de cuánto se vaya a verificar después. El artículo de ForeSpark cuantifica el desperdicio: bajo carga alta, el borrado (drafting) consume hasta el 40 % del tiempo de paso, y la mayoría de esos tokens nunca se verifican.

Esquema de clúster HPC con nodos interconectados por InfiniBand
Arquitectura de clúster HPC con interconexión InfiniBand. Foto: Informatikum / Wikimedia Commons (CC BY 4.0).

Además, los drafters paralelos (como DFlash2) se comprometen con la longitud del bloque antes de su único forward pass. No hay control de longitud de borrador como en los drafters autoregresivos. Y como la verificación es un recurso compartido por lote (batch), las longitudes de borrador y verificación están acopladas entre peticiones: deben decidirse conjuntamente para cada petición en cada paso, manteniendo la decisión computacionalmente barata.


La solución: especulación conservadora del trabajo (WCS)

ForeSpark propone trazar conjuntamente el presupuesto de borrador y el de verificación antes de generar el borrador. La idea central —work-conserving speculation— es sencilla: gasta compute de borrado y verificación solo donde rente.

El sistema funciona en cuatro etapas por paso de decodificación, usando un drafter paralelo DFlash2:

1. Pre-estimación del borrador (pre-draft estimate)

Una cabeza de bajo rango (Fore-D head) lee la característica de contexto del target y el embedding en el ancla de cada petición, y predice la aceptación para cada longitud candidata de borrador. Como el drafter atiende bidireccionalmente, un borrador de longitud d no es prefijo de uno más largo: la cabeza produce un triángulo de K(K+1)/2 logits, una fila por longitud.

2. Planificación conjunta (joint schedule)

El planificador de ForeSpark convierte esas estimaciones en longitudes de borrador por petición (D) y un presupuesto total de verificación (B). Reemplaza la curva de aceptación esperada de cada petición por su envoltura cóncava, agrupa las ganancias marginales de todas las peticiones en una ordenación global única, y elige (D, B) para maximizar los tokens esperados por tiempo de paso, precio incluido mediante tablas de latencia medidas en el servidor.

3. Borrado (draft)

El drafter ejecuta el bloque de cada petición a su propia longitud como un lote empaquetado (packed batch), de modo que el coste de borrado escala con los tokens realmente borrados.

4. Distribución posterior al borrado (distribute)

Una cabeza de confianza post-draft re-puntúa los borradores realizados, y el presupuesto B se asigna a las posiciones más prometedoras a nivel de lote, como en la verificación adaptativa de DSpark. La verificación sigue siendo speculative sampling estándar, por lo que la distribución de salida no cambia.

Rack de servidores con cables de red y GPUs en centro de datos
Rack de servidores GPU en centro de datos NERSC. Foto: Tony Webster / Wikimedia Commons (CC BY 2.0).

Arquitectura de servicio: el host planifica, el GPU ejecuta

Una decisión de diseño clave: el host planifica los totales a partir de las estimaciones del paso anterior, y el GPU los reparte por petición con kernels Triton. El host nunca espera al GPU; cada etapa reproduce CUDA graphs. Para los objetivos GLM (que usan kernels sparse-MLA), el host también hace la división por petición porque necesitan las longitudes en el host.

En el código, el estimador pre-borrador es la cabeza Fore-D y el tiempo de ejecución de planificación está en forespark/fore_d/.


Resultados: hasta 1,77x sobre DSpark y 2,49x sobre autoregresivo

Las mediciones del artículo (ShareGPT-Decode y ShareGPT-E2E, greedy decoding, K=15) comparan tres brazos:

Brazo Descripción
AR (nospec) Modelo objetivo solo, sin especulación
DSpark (dspark) Verificación adaptativa con confianzas calibradas STS
ForeSpark (forespark) WCS: planificación conjunta de borrador y verificación

Hallazgos principales:

  • Throughput total: ForeSpark mejora hasta 1,77x sobre DSpark y 2,49x sobre decodificación autoregresiva, a matched per-user generation rate (velocidad por usuario igualada).
  • Capacidad bajo SLO: Sostiene hasta 1,51x la tasa de peticiones de DSpark bajo objetivos de latencia (SLO) de TTFT/TPOT.
  • Eficiencia de borrado: En el lote más grande, ForeSpark gasta 67-76 % menos tiempo en borrado que DSpark, porque borra cerca de lo que se verifica.
  • Distribución de salida: Idéntica a la del modelo objetivo solo (la verificación es speculative sampling estándar).
Técnico trabajando en rack de servidores con portátil en centro de datos NERSC
Técnico operando rack de servidores en NERSC. Foto: NERSC / Wikimedia Commons (CC0).

Modelos y hardware objetivo: Qwen3-14B, GLM-5.3-Flash y GLM-5.3

El repositorio incluye configuraciones para tres objetivos, todos servidos en 8 GPUs con tensor parallelism (TP8):

Objetivo Pesos / KV Cache Hardware Drafter (capas × hidden) Entrenamiento GPUs (servidor/entrenador)
Qwen3-14B BF16 / BF16 8× H100 5 × 5.120 2 / 6
GLM-5.3-Flash NVFP4 experts / FP8 8× B200 (TP8 + EP8) 5 × 4.096 4 / 4
GLM-5.3 NVFP4 experts / FP8 8× B200 (TP8 + EP8) 6 × 6.144 4 / 4

Los drafters usan DFlash2 (bloque de 16 tokens) frente a DSpark (bloque de 15). Los SLO varían: 1 s / 50 ms para Qwen, 1 s / 30 ms para GLM-Flash, 1 s / 40 ms para GLM.


Entrenamiento: dos vías, una heads-only muy barata

El entrenamiento del drafter y sus dos cabezas (Fore-D y confianza) sigue un corpus regenerado por el objetivo (Magpie + UltraChat prompt pools a revisiones fijadas, menos los prompts del benchmark). Cada drafter entrena online recuperando hidden states de un servidor vLLM: 3 épocas, 3.072 anclas por secuencia de 8.192 tokens, pérdida combinada 0,1 CE + 0,9 TV, AdamW con cosine schedule.

Lo más interesante: ForeSpark permite entrenar solo las dos cabezas sobre un drafter ya entrenado, congelando drafter y objetivo. En GLM-5.3-Flash, el coste cae de 55 horas a 1 hora en 8 GPUs, con métricas casi idénticas (Brier score 0,0484 vs 0,0486; error de token aceptado 0,688 vs 0,729). Esto democratiza la experimentación: cualquiera con un drafter DFlash2 entrenado puede añadir ForeSpark barato.


Licencias y viabilidad comercial

Ojo aquí: la mayoría de ForeSpark está bajo CC-BY-NC 4.0 (no comercial). Los archivos adaptados de vLLM y speculators son Apache 2.0, y el código adaptado de DFlash (Z Lab) es MIT. Los modelos y datasets que los scripts descargan mantienen sus licencias propias.

Conclusión práctica: no se puede usar ForeSpark tal cual en producto comercial sin negociar con Meta. Sí sirve para investigación interna, benchmarking y como referencia para reimplementar la idea de WCS bajo licencia permisiva.


¿Por qué importa esto para el ecosistema de inferencia?

  1. Cambia el paradigma de control: de "verificar lo que se borra" a "borrar solo lo que se va a verificar". Es un cambio conceptual simple con impacto medible grande.
  2. Aborda el cuello de botella real: bajo carga, el borrado desperdiciado es el nuevo límite. ForeSpark lo ataca directamente.
  3. Compatible con vLLM: la implementación usa patches sobre vLLM 0.30.0 y speculators fijados. No es un drop-in plugin para producción hoy, pero marca la hoja de ruta de lo que vLLM (u otros engines) deberían integrar nativamente.
  4. Abierto y reproducible: código, patches, configs, scripts de entrenamiento/calibración/benchmark y plotting están en el repo. Cualquiera con 8× H100/B200 puede reproducir los números.
  5. Entrenamiento heads-only: reduce la barrera de entrada para experimentar con WCS sobre drafters existentes.

Contexto competitivo: DSpark, MTP, y la carrera del goodput

DSpark (DeepSeek, arXiv:2607.05147) introdujo verificación adaptativa con confidence-scheduled speculative decoding, logrando 60-85 % de ganancia por usuario sobre MTP-1 (no sobre autoregresivo) a SLO fijo. ForeSpark va un paso más allá: ataca el borrado desperdiciado, no solo la verificación.

Otros enfoques concurrentes:

  • MTP (Medusa-style): drafters autoregresivos con cabezas múltiples, control de longitud nativo pero menor paralelismo.
  • EAGLE / EAGLE-2: drafters basados en hidden states del objetivo, muy rápidos pero acoplados a arquitectura concreta.
  • vLLM nativo: el engine principal ya integra speculative decoding con drafters tipo Medusa/EAGLE; WCS sería la siguiente evolución lógica.

La publicación de ForeSpark en facebookresearch (la misma org que liberó LLaMA, PyTorch, FAISS, etc.) sugiere que Meta apuesta por la inferencia eficiente como palanca estratégica para sus modelos abiertos (LLaMA, Muse) y su infraestructura interna (Prometheus, clústeres de 24k+ GPUs).


Cómo probarlo hoy (si tienes el hardware)

ice-tech

git clone https://github.com/facebookresearch/ForeSpark
cd ForeSpark
./setup.sh  # crea venv con vLLM 0.30.0 patcheado, speculators patcheados, este paquete editable

# Entrenar drafter + cabezas (ej. Qwen3-14B)
scripts/training/train.sh qwen14

# Calibrar estimadores y tablas de latencia
scripts/calibration/calibrate.sh qwen14

# Benchmarks
scripts/bench/decode.sh qwen14   # ShareGPT-Decode (open-loop)
scripts/bench/e2e.sh qwen14      # ShareGPT-E2E (closed-loop)
scripts/bench/slo.sh qwen14      # SLO attainment

# Gráficas del paper
.venv/bin/python plot/pareto.py

Para prueba rápida (smoke test):

ice-tech
DATA_ARGS="--limit 2000" TRAIN_ARGS="--max-steps 20" scripts/training/train.sh qwen14

Requisitos: 8× H100 (Qwen) u 8× B200 (GLM), acceso a Hugging Face (desactivar Xet si hay proxy: HF_HUB_DISABLE_XET=1), y paciencia: el entrenamiento completo son horas en 8 GPUs.


Conclusión: la eficiencia de inferencia ya no es opcional

ForeSpark llega en el momento justo. Los modelos de frontera (GPT-6, Claude Opus 5.5, Gemini 4, Llama 4, Muse) tienen billones de parámetros y ventanas de contexto de millones de tokens. Servirlos con latencia aceptable y coste controlado exige exprimir cada ciclo de GPU.

La especulación conservadora del trabajo resuelve un desperdicio que era invisible hasta que se midió: hasta el 40 % del tiempo de paso gastado en borradores que nadie verifica. Al dimensionar borrador y verificación juntamente y por petición, ForeSpark acerca la inferencia especulativa a su límite teórico de eficiencia.

Para los ingenieros de serving: estudiad el planificador fore_d/ y las cabezas Fore-D / confianza. La idea es portable a otros engines (TGI, TensorRT-LLM, SGLang) y drafters. Para los gestores de infraestructura: la próxima generación de engines de inferencia integrará WCS nativamente; planificad capacidad asumiendo ganancias del 1,5-1,8x sobre el speculative decoding actual.

Y para el resto: Meta acaba de demostrar que la investigación abierta en infraestructura de inferencia sigue moviendo la aguja. El código está en github.com/facebookresearch/ForeSpark. El paper, en arXiv:2611.13442v1. A leer, probar y, si podéis, reimplementar bajo licencia permisiva.


Artículo basado en el paper "ForeSpark: Joint Draft and Verification Budget Scheduling for Parallel Speculative Decoding" (arXiv:2611.13442v1, 10 nov 2026) y el repositorio oficial github.com/facebookresearch/ForeSpark. La información refleja el estado del proyecto a fecha de publicación.

Volver a artículos ←