Zum Inhalt

GB10 und Ollama

Stand: 2026-05-30

Host

  • Hostname: gb10-01.ad.lanstyle.de
  • IP: 10.222.70.11/24 (VLAN70-only)
  • Gateway: 10.222.70.1
  • OS: Ubuntu 24.04 LTS, ARM64
  • CPU: 20 Kerne
  • GPU: NVIDIA GB10
  • NVIDIA Treiber: 580.142, CUDA 13.0
  • RAM: 128 GB unified memory
  • Docker: vorhanden
  • Python: 3.12.3
  • Passwordless sudo fuer User admin

Netzwerk

  • Interface: enP7s7.70 (VLAN70)
  • DNS: 8.8.8.8, 1.1.1.1
  • Secure Boot: aktiv
  • Boot Order: Ubuntu vor PXE (efibootmgr -o 0005,0003)

Ollama

  • Version: 0.24.0
  • Service: ollama
  • Bind: 0.0.0.0:11434
  • Interner Endpoint: http://10.222.70.11:11434
  • NPM Endpoint: https://ollama.lanstyle.de
  • OpenAI-kompatibel: https://ollama.lanstyle.de/v1

Systemd Override:

[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"

Modelle

Modell Groesse Rolle
qwen3:235b-a22b 142 GB Hauptmodell (via LiteLLM)
qwen3:32b 20 GB Schnelles Modell
qwen3.6:35b-a3b 24 GB Experimentell
nomic-embed-text:latest 274 MB Embedding

Auslaufend (werden nach Migration entfernt):

  • qwen3-coder-next:latest (51 GB)
  • gpt-oss:120b (65 GB)

Nicht mehr installiert: qwen2.5-coder:7b, qwen2.5-coder:32b, deepseek-r1.

NinjaOne

  • Paket: NinjaOne-Agent-LanstyleITSolutionsGmbH-Allerstedt-LINUXSERVER-arm64.deb
  • Version: 13.0.7662
  • Service: ninjarmm-agent.service, aktiv

Pruefung

systemctl status ollama --no-pager -l
ss -ltnp | grep 11434
curl http://127.0.0.1:11434/api/tags
curl https://ollama.lanstyle.de/api/tags
ollama list