¡Hola!
Actualmente estoy trabajando en un nuevo proyecto personal relacionado con la ejecución de modelos de IA en infraestructura propia.
Estuve armando una PC con hardware decente para ejecutar LLMs localmente. Por otro lado, tengo un VPS donde tengo desplegado Hermes Agent, configurado para trabajar con modelos de distintos proveedores a través de una API key de OpenRouter y con Claude Code para tareas de desarrollo.
La idea es desacoplar la inferencia del agente y ejecutarla en mi propia infraestructura, utilizando mi PC como servidor de modelos local y el VPS como entorno de ejecución de Hermes.
¿Cómo conecté ambos entornos? Utilicé Tailscale, una solución de networking basada en WireGuard que permite crear una red privada entre dispositivos sin necesidad de exponer servicios directamente a Internet. De esta manera, tanto el VPS como mi PC pueden comunicarse mediante sus direcciones IP privadas dentro de la red tailnet, manteniendo la conectividad cifrada y evitando abrir puertos públicos innecesarios.
El siguiente paso es exponer el servicio de inferencia de mi máquina local para que Hermes pueda consumirlo a través de esa red privada, utilizando una API compatible con los modelos que soporte el agente. Esto me permitiría reducir la dependencia de proveedores externos y optimizar los costos de inferencia, manteniendo la posibilidad de utilizar modelos cloud cuando necesite mayor capacidad.
Con el hardware actual puedo experimentar con modelos relativamente pequeños, pero mi objetivo a futuro es escalar la infraestructura para ejecutar modelos más grandes y evaluar hasta dónde puedo llevar una arquitectura híbrida entre modelos locales y servicios cloud.
¡Saludos!
