¿Qué LLM elegir para Hermes Agent? OpenRouter, Ollama y Claude
Un modelo de lenguaje de gran tamaño (Large Language Model o LLM) actúa como motor de razonamiento de Hermes Agent. Procesa instrucciones, evalúa resultados intermedios, decide cuál debe ser el siguiente paso y genera llamadas estructuradas a herramientas. Por eso, al elegir el LLM para Hermes Agent, son especialmente importantes la calidad del modelo, la longitud de contexto y la fiabilidad de las llamadas a herramientas (tool calling), ya que de estos factores depende en gran medida que Hermes pueda ejecutar tareas complejas de forma estable y autónoma.
Resumen
Lo más importante sobre la elección del LLM para Hermes Agent:
- Requisitos mínimos: al menos 64 000 tokens de contexto y una compatibilidad fiable con llamadas estructuradas a herramientas; los modelos con ventanas más pequeñas se rechazan al iniciar Hermes.
- OpenRouter: una sola clave API para muchos modelos y una gran flexibilidad, a cambio de una capa intermedia adicional.
- API directa del proveedor (por ejemplo, Anthropic): infraestructura más clara y mayor control sobre costes y privacidad, pero menos flexibilidad.
- Funcionamiento local: Ollama como la opción más sencilla para empezar, vLLM para servidores con GPU y muchas solicitudes simultáneas, LM Studio para pruebas con interfaz gráfica.
- Modelos locales: Qwen3-Coder 30B-A3B para tareas de programación y terminal, Llama 3.3 70B para flujos de trabajo con altas exigencias lingüísticas; este último tiene requisitos de hardware claramente más elevados.
¿Qué requisitos debe cumplir un LLM para Hermes Agent?
No todos los modelos de lenguaje son adecuados para trabajar con un agente autónomo. Mientras que un chatbot sencillo suele limitarse a procesar una pregunta y generar una respuesta, Hermes Agent puede ejecutar flujos de trabajo de varios pasos con ayuda de un LLM. El modelo puede planificar una acción, utilizar una herramienta, procesar el resultado obtenido y decidir a partir de ahí cuál debe ser el siguiente paso.
Para que Hermes Agent funcione de forma fiable con un LLM en este tipo de tareas, hay dos características especialmente importantes:
- una ventana de contexto suficientemente amplia
- una compatibilidad fiable con llamadas estructuradas a herramientas (tool calling)
- Listo para Hermes: acceso root, optimizado para SSH, operativo en minutos
- Rápido de forma constante: SSD NVMe y 1 Gbit/s, sin limitaciones
- Seguro: integraciones API personalizadas y compatibilidad con Docker
Tamaño de la ventana de contexto
La ventana de contexto indica cuántos tokens puede tener en cuenta un modelo durante una tarea. Los tokens son pequeñas unidades de texto que, según el idioma y el contenido, pueden corresponder a una parte de una palabra, una palabra corta o incluso un signo de puntuación.
En Hermes, el contexto no incluye únicamente la tarea inicial y las respuestas anteriores. También ocupan espacio las instrucciones del sistema, las descripciones de las herramientas disponibles, las skills cargadas, la información almacenada, los resultados intermedios y las respuestas de las herramientas. Por este motivo, Hermes Agent requiere un modelo con una ventana de contexto de al menos 64 000 tokens. Los modelos con ventanas más pequeñas se rechazan al iniciar Hermes porque no ofrecen suficiente capacidad de contexto para ejecutar flujos de trabajo de varios pasos con herramientas.
En la práctica, conviene no trabajar justo en ese límite. Una ventana algo superior a 64 000 tokens proporciona más margen, y los modelos con 128 000 tokens o más pueden resultar especialmente útiles para tareas y conversaciones extensas. Hermes puede comprimir automáticamente el historial cuando el contexto aumenta, pero esta función no sustituye a una ventana de contexto suficientemente amplia. Su objetivo es mantener estables las sesiones largas, no compensar un modelo con un contexto de solo 8K o 32K.
Si el contexto disponible es demasiado pequeño, la información más antigua puede dejar de estar disponible o tener que resumirse demasiado pronto. Como consecuencia, el modelo podría repetir un paso ya realizado, interpretar de forma incorrecta el resultado de una herramienta o perder de vista el objetivo original de la tarea.
Llamadas a herramientas (tool calling)
Las llamadas a herramientas (tool calling) permiten que un LLM no se limite a generar texto, sino que pueda solicitar de forma estructurada la ejecución de una función o herramienta. Por ejemplo, el modelo puede determinar que necesita leer un archivo, ejecutar un comando en el terminal o realizar una búsqueda en Internet.
De forma simplificada, una llamada a una herramienta podría tener internamente este aspecto:
{
"name": "web_search",
"arguments": {
"query": "documentación actual de Hermes Agent"
}
}jsonHermes identifica esta llamada estructurada, ejecuta la herramienta indicada y devuelve el resultado al modelo. A continuación, el LLM evalúa la información obtenida y decide si necesita realizar alguna otra acción.
Si el modelo genera la misma instrucción únicamente como texto, la herramienta no se ejecuta automáticamente. Por eso, la compatibilidad nativa o correctamente implementada con las llamadas a herramientas es mucho más fiable que limitarse a pedir al modelo que genere texto con un formato similar a JSON. Claude, por ejemplo, admite herramientas definidas mediante bloques estructurados tool_use, mientras que los servidores compatibles con OpenAI gestionan estas llamadas mediante elementos como tools, tool_choice y tool_calls.
Por tanto, una ventana de contexto amplia no es suficiente por sí sola. Un modelo puede admitir 128 000 tokens y, aun así, no ser adecuado para Hermes si genera con frecuencia nombres de funciones incorrectos, omite parámetros obligatorios o mezcla las llamadas a herramientas con las respuestas de texto.
Uso en la nube: OpenRouter o API directa del proveedor
Para utilizar Hermes Agent en la nube, existen dos opciones principales: conectarlo a distintos modelos mediante un agregador como OpenRouter o utilizar directamente la API de un proveedor como Anthropic.
OpenRouter: muchos modelos con una sola clave API
OpenRouter ofrece una API unificada que permite acceder a más de 400 modelos de distintos proveedores. Los modelos compatibles pueden filtrarse, entre otros criterios, por longitud de contexto, precio, velocidad y capacidad de llamadas a herramientas (tool calling).
Su principal ventaja es la flexibilidad. Con una sola clave API de OpenRouter puedes utilizar, por ejemplo, modelos de Claude, Qwen, Gemini, Llama o DeepSeek y cambiar entre ellos según tus necesidades. De este modo, es posible recurrir a un modelo más potente para tareas complejas y a otro más económico para trabajos más sencillos.
OpenRouter también puede distribuir las solicitudes entre distintos proveedores que ofrecen un mismo modelo. Puedes ordenarlos según el precio, el rendimiento o la latencia, dar preferencia a determinados proveedores, excluir otros y limitar las solicitudes a endpoints con Zero Data Retention (retención cero de datos).
Una configuración sencilla de Hermes puede tener este aspecto:
model:
provider: openrouter
default: anthropic/claude-sonnet-5
provider_routing:
sort: latency
require_parameters: true
data_collection: denyyamlLa opción require_parameters: true resulta especialmente útil para agentes. Hace que OpenRouter utilice únicamente proveedores compatibles con todos los parámetros necesarios para la solicitud, entre ellos, por ejemplo, los relacionados con las llamadas a herramientas o las salidas estructuradas.
La clave API no se guarda directamente en este archivo, sino en ~/.hermes/.env:
OPENROUTER_API_KEY=TU_CLAVE_API_DE_OPENROUTERbashHermes separa las credenciales secretas de los ajustes generales. Las claves API se almacenan en el archivo .env, mientras que el modelo, el proveedor, el endpoint y las reglas de routing se configuran en config.yaml.
La principal desventaja de OpenRouter es que añade una capa intermedia entre Hermes y el proveedor del modelo. La latencia y el comportamiento pueden variar en función del backend seleccionado. Además, si trabajas con datos sensibles, debes tener en cuenta que tanto OpenRouter como el proveedor que finalmente procesa la solicitud pueden formar parte de la cadena de tratamiento de los datos.
API directas: conectar Hermes con el proveedor del modelo
En lugar de utilizar un agregador como OpenRouter, también puedes conectar Hermes directamente con la API de un proveedor de modelos. Entre las opciones compatibles se encuentran, por ejemplo, Anthropic, OpenAI y Google. En este caso, Hermes envía las solicitudes directamente al proveedor elegido. Para ello, necesitas una cuenta con ese proveedor, las credenciales correspondientes y, cuando proceda, un sistema de facturación configurado.
La configuración del modelo se realiza también en config.yaml. El nombre del proveedor y el identificador del modelo dependen del servicio elegido. Una configuración simplificada con Anthropic podría tener este aspecto:
model:
provider: anthropic
default: claude-sonnet-5yamlLa clave API correspondiente tampoco debería almacenarse directamente en el archivo de configuración.
Si utilizas un proveedor distinto de Anthropic, debes adaptar tanto el nombre del proveedor y el identificador del modelo como la variable de entorno correspondiente.
La principal ventaja de utilizar directamente la API del proveedor es disponer de una infraestructura más sencilla de identificar. Sabes qué empresa procesa las solicitudes, qué precios se aplican y qué condiciones de privacidad y conservación de datos debes tener en cuenta. Al no existir una capa adicional de routing, la conexión directa también puede ofrecer tiempos de respuesta más uniformes, aunque no será necesariamente más rápida en todas las solicitudes. La latencia real depende del modelo utilizado, la longitud del contexto, la carga del proveedor y la ubicación de sus servidores.
A cambio, una conexión directa ofrece menos flexibilidad. Si quieres utilizar un modelo de otro proveedor, normalmente necesitarás otra cuenta, nuevas credenciales y adaptar la configuración de Hermes. Los cambios automáticos entre proveedores también deben configurarse mediante las reglas de fallback correspondientes.
Por tanto, una API directa resulta especialmente adecuada para entornos de producción en los que ya se ha elegido un modelo concreto y se quiere tener un mayor control sobre los costes, la privacidad, el soporte y el comportamiento técnico. OpenRouter, en cambio, resulta más práctico para comparar modelos, cambiar con frecuencia entre ellos o gestionar varios proveedores desde una única interfaz.
Funcionamiento local con Ollama, vLLM y LM Studio
Al ejecutar Hermes Agent con un LLM en local, el procesamiento del modelo se realiza en tu propio hardware o en un servidor que tú administras. De este modo, los prompts y las respuestas del modelo no tienen que enviarse a un proveedor externo de LLM. Esta opción puede resultar especialmente interesante si trabajas con documentos internos, código fuente, datos de clientes o aplicaciones que deben funcionar sin conexión.
Ejecutar el modelo en local no implica automáticamente cumplir con el RGPD. También deben tenerse en cuenta, entre otros aspectos, la base jurídica del tratamiento, los permisos de acceso, el registro de actividad, los plazos de conservación y las medidas de seguridad aplicadas. El RGPD exige medidas técnicas y organizativas adecuadas para proteger todo el tratamiento de los datos. Además, si Hermes utiliza servicios externos, como una herramienta de búsqueda en Internet, determinados datos pueden salir del sistema local.
Ollama: una opción sencilla para empezar con modelos locales
Ollama es especialmente adecuado para principiantes. La aplicación descarga los modelos, los ejecuta en local y pone a disposición un endpoint compatible con OpenAI. Hermes puede conectarse a este endpoint a través de http://localhost:11434/v1.
Puedes descargar un modelo adecuado, por ejemplo, con:
ollama pull qwen3-coder:30bbashA continuación, inicia Ollama con una ventana de contexto suficientemente amplia:
OLLAMA_CONTEXT_LENGTH=65536 ollama servebashEn la configuración de Hermes, indica el endpoint local:
model:
provider: custom
default: qwen3-coder:30b
base_url: http://localhost:11434/v1
context_length: 65536yamlEl valor definido en la configuración de Hermes indica al agente con qué ventana de contexto puede trabajar, pero no aumenta automáticamente el contexto disponible en Ollama. Por eso, también debes configurarlo en el servidor mediante OLLAMA_CONTEXT_LENGTH o un Modelfile de Ollama. La longitud de contexto no puede aumentarse posteriormente desde el endpoint de chat compatible con OpenAI.
Para comprobar qué ventana de contexto está utilizando realmente el modelo, ejecuta:
ollama psbashOllama admite llamadas a herramientas a través de su API compatible con OpenAI. Sin embargo, el modelo seleccionado debe disponer por sí mismo de un formato adecuado de llamadas a herramientas. Los modelos de las familias Qwen3, Llama 3.x, Mistral y Hermes forman parte de este grupo.
vLLM: self-hosting de alto rendimiento para servidores con GPU
vLLM está dirigido principalmente a usuarios profesionales o con experiencia técnica. El software también ofrece una API compatible con OpenAI, pero está diseñado para ofrecer un alto rendimiento, gestionar solicitudes en paralelo y aprovechar de forma eficiente los servidores con GPU.
Por ejemplo, un modelo Qwen puede iniciarse de la siguiente manera:
vllm serve Qwen/Qwen3-Coder-Next \
--port 8000 \
--tensor-parallel-size 2 \
--max-model-len 65536 \
--enable-auto-tool-choice \
--tool-call-parser qwen3_coderbashLos parámetros cumplen distintas funciones:
--max-model-len 65536reserva una ventana de contexto superior al mínimo requerido por Hermes.--enable-auto-tool-choicepermite que el modelo decida por sí mismo si necesita utilizar una herramienta.--tool-call-parser qwen3_coderconvierte las llamadas a herramientas específicas del modelo en llamadas estructuradas a la API.
Para Llama 3.3, vLLM utiliza el parser de herramientas llama3_json. Además, conviene especificar una plantilla de chat JSON adecuada. Esta plantilla determina cómo transmite Hermes al modelo las herramientas disponibles, los parámetros necesarios y las llamadas a herramientas ya ejecutadas.
¿Por qué los contextos largos necesitan tanta VRAM?
Al ejecutar un modelo localmente, en la memoria gráfica no solo deben caber los pesos del modelo. El servidor también necesita memoria adicional para el denominado KV cache, donde se almacena información de los tokens ya procesados para utilizarla en los cálculos posteriores. Cuanto mayor sea la ventana de contexto, mayor será también este consumo adicional de memoria.
Los modelos cuantizados reducen principalmente la memoria necesaria para almacenar los pesos del modelo. Sin embargo, esto no resuelve automáticamente todo el problema relacionado con el contexto. Por ello, en equipos con recursos limitados puede ser más conveniente utilizar un modelo más pequeño con llamadas a herramientas fiables y un contexto real de 64K que un modelo más grande cuyo contexto tenga que descargarse parcialmente en la CPU.
LM Studio: modelos locales mediante una interfaz gráfica
LM Studio ofrece una interfaz gráfica para Windows, macOS y Linux. Permite buscar, descargar y configurar modelos y, posteriormente, ponerlos a disposición mediante un servidor API local. El endpoint compatible con OpenAI se ejecuta de forma predeterminada en http://localhost:1234/v1.
El servidor puede iniciarse desde la sección Developer de la aplicación o mediante la línea de comandos:
lms server start
lms ls
lms load <ID_DEL_MODELO_QWEN3_CODER> --context-length 65536bashHermes incluye una opción específica para LM Studio en el asistente de selección de modelos. Si el modelo ya está cargado, Hermes conserva la longitud de contexto configurada en LM Studio; si no lo está, LM Studio aplica su propia configuración salvo que se haya definido explícitamente context_length en Hermes. Desde la interfaz también puedes comprobar y ajustar la longitud del contexto en la configuración del modelo. LM Studio admite llamadas a herramientas y funciones a través de sus endpoints compatibles con OpenAI. Los modelos que admiten llamadas a herramientas de forma nativa suelen ofrecer resultados más fiables que aquellos que requieren utilizar un formato alternativo genérico. Para las primeras pruebas en local, LM Studio resulta especialmente cómodo. Sin embargo, para un servidor headless que deba funcionar de forma permanente y gestionar muchas solicitudes en paralelo, vLLM suele ser una infraestructura más adecuada.
- NUEVO: Escala de forma flexible con VM-Cloning, Load Balancing, nuevas opciones de almacenamiento y más.
- Tráfico ilimitado, > 99,99 % de disponibilidad
- Atención 24/7 con asesor personal
¿Qué modelos locales son adecuados para Hermes Agent?
Hermes Agent es compatible con distintos LLM. La elección debe adaptarse a cada caso de uso concreto.
Qwen3-Coder
Qwen3-Coder es la familia de modelos de Qwen especializada en programación y tareas de software basadas en agentes. Admite de forma nativa una ventana de contexto de 262 144 tokens. Con servidores adecuados y suficiente memoria, Qwen3-Coder puede ampliarse mediante YaRN hasta un millón de tokens. Para instalaciones locales de Hermes, resulta especialmente interesante Qwen3-Coder 30B-A3B-Instruct. El modelo cuenta con un total de 30 500 millones de parámetros, de los cuales se activan 3300 millones en cada procesamiento. De este modo, combina un tamaño de modelo relativamente manejable con buenas capacidades de generación de código, llamadas a herramientas y flujos de trabajo basados en agentes.
Llama 3.3 70B
Llama 3.3 70B Instruct es una alternativa más reciente y potente que Llama 3.1 70B. El modelo admite un contexto de 128 000 tokens y dispone de un formato específico para realizar llamadas estructuradas a herramientas. Por tanto, cumple en principio los requisitos de Hermes Agent, siempre que el servidor de modelos local proporcione realmente al menos 64 000 tokens y utilice la plantilla de llamadas a herramientas adecuada. En Hermes, Llama 3.3 resulta especialmente apropiado para el procesamiento general de textos, tareas multilingües, investigación y flujos de trabajo que, además de llamadas a herramientas, requieran buenas capacidades lingüísticas. Sin embargo, sus 70 000 millones de parámetros hacen que siga necesitando una gran cantidad de recursos de hardware.
Comparativa de LLM para Hermes Agent
| Proveedor/modelo | Ubicación de los datos | Longitud mínima de contexto | Estabilidad de las llamadas a herramientas | Costes |
|---|---|---|---|---|
| Anthropic directamente / Claude Sonnet 5 o 4.6 | Cloud de Anthropic | Hermes: 64 000; modelo: hasta 1 millón | Muy alta; herramientas estructuradas nativas | Altos, costes por tokens según el uso |
| OpenRouter / Claude Sonnet u otro modelo compatible con herramientas | Cloud mediante un agregador | Al menos 64 000; depende del modelo | Alta o muy alta; también depende del proveedor que ejecute el modelo | Variables, de bajos a altos |
| Ollama o LM Studio / Qwen3-Coder 30B-A3B | Equipo o servidor propio | Hermes: mínimo 64 000; modelo: 262 144 de forma nativa | Alta; optimizado para llamadas a herramientas y flujos de trabajo de programación basados en agentes | Sin costes de API; costes de hardware medios o altos |
| vLLM o LM Studio / Llama 3.3 70B | Servidor propio de alto rendimiento | Hermes: mínimo 64 000; modelo: 128K de forma nativa | Alta con una plantilla de chat y un procesamiento de llamadas a herramientas adecuados; en vLLM, utiliza llama3_json. |
Elevadas necesidades de RAM y VRAM |
La valoración de la estabilidad de las llamadas a herramientas no supone ninguna garantía. Para alcanzar estos niveles, el modelo, la longitud del contexto, la plantilla de chat, el parser de herramientas y los parámetros del servidor deben funcionar correctamente en conjunto.
Recomendaciones concretas según el caso de uso
- Para principiantes: OpenRouter es la opción más sencilla para empezar en la nube. Solo necesitas una clave API y puedes probar distintos modelos.
- Para automatizaciones web complejas en la nube: una conexión directa con Anthropic mediante un modelo Claude Sonnet actual es una solución especialmente fiable. Ofrece una ventana de contexto muy amplia y llamadas a herramientas estables.
- Para sistemas productivos en la nube con alta disponibilidad: utiliza la API directa de un proveedor como opción principal y configura OpenRouter como fallback.
- Para cron jobs locales y scripts recurrentes: Ollama con un modelo Qwen o Llama adecuado ofrece una forma sencilla de empezar. Sus principales ventajas son el procesamiento local de los datos y la ausencia de costes por tokens.
- Para tareas de programación y terminal: Qwen3-Coder 30B-A3B es una opción local especialmente adecuada. El modelo ofrece una ventana de contexto nativa de 256K, llamadas a herramientas fiables y una arquitectura MoE relativamente eficiente.
- Para un servidor local multiusuario o de producción: vLLM es la solución de self-hosting más potente de las analizadas aquí. Ofrece un alto rendimiento y un buen aprovechamiento de la GPU, aunque requiere muchos más conocimientos técnicos.
- Para realizar pruebas locales mediante una interfaz gráfica: LM Studio es una buena opción si deseas descargar y configurar modelos sin necesidad de tener amplios conocimientos de línea de comandos.
- Para equipos con recursos muy limitados: Llama 3.2 con 1B o 3B parámetros puede servir para tareas sencillas. Sin embargo, para búsquedas web autónomas, ediciones exhaustivas de archivos o bucles de aprendizaje prolongados, es recomendable utilizar un modelo de mayor tamaño.
Conclusión: ¿qué LLM es la mejor opción para Hermes Agent?
La configuración más adecuada depende de si se priorizan la facilidad de uso, la protección de datos, los costes, la velocidad o la máxima fiabilidad. Independientemente del proveedor, el modelo debería ofrecer al menos 64 000 tokens de contexto real, llamadas estructuradas a herramientas y suficiente capacidad de razonamiento para tomar decisiones en varios pasos.
Para empezar de forma sencilla en la nube, OpenRouter destaca por su flexibilidad. En automatizaciones productivas más exigentes, una conexión directa con Claude ofrece un alto nivel de estabilidad en las llamadas a herramientas y una ventana de contexto muy amplia. Para experimentos locales y cron jobs sencillos, Ollama es la opción más accesible, mientras que vLLM muestra sus principales ventajas en servidores con GPU de alto rendimiento y entornos con muchas solicitudes simultáneas.

