Cómo ejecutar Llama 3.1 localmente en el ASUS Ascent GX10

El GX10 llega con NVIDIA DGX OS preinstalado y herramientas como Ollama, PyTorch y Jupyter listas para usar. Esta guía te lleva desde el encendido hasta tu primera inferencia con Llama.

Paso 1: Primer arranque

Conectá pantalla, teclado y red (10 GbE recomendado). El sistema arranca en Ubuntu optimizado para IA con drivers NVIDIA ya configurados.

Paso 2: Verificar el entorno

nvidia-smi
python3 -c "import torch; print(torch.cuda.is_available())"

Paso 3: Inferencia con Ollama

ollama run llama3.1:70b

Con 128 GB de memoria unificada, el GX10 puede cargar modelos Llama 3.1 de hasta 70B parámetros en un solo nodo. Para el modelo 405B, necesitás dos GX10 enlazados con ConnectX-7.

Paso 4: Jupyter para experimentación

Abrí Jupyter Lab desde el menú de aplicaciones DGX y creá un notebook para fine-tuning o inferencia con PyTorch.