A modern AI implementáció alapköve a Docker és Kubernetes technológiák alkalmazása. Minden modellünket izolált konténerekbe csomagoljuk, amelyek tartalmazzák az összes szükséges könyvtárat (CUDA, cuDNN, PyTorch/TensorFlow). Ez garantálja, hogy a fejlesztői környezetben tesztelt kód pontosan ugyanúgy fusson a zalaegerszegi éles szervereken is.
A konténerizáció lehetővé teszi a verziókövetést és a gyors visszaállást (rollback) hiba esetén. Ha egy új modellverzió nem hozza a várt pontosságot, a rendszer másodpercek alatt visszaállítható az előző stabil állapotra. Ez a rugalmasság alapvető a folyamatos üzletmenet biztosításához.
Telepítési ellenőrzőlista:
- NVIDIA Driver kompatibilitás ellenőrzése
- Docker k3s vagy microk8s klaszter inicializálása
- Modell súlyok betöltése a dedikált VRAM-ba
- Monitoring (Prometheus/Grafana) beállítása
A helyi implementáció során kiemelt figyelmet fordítunk a naplózásra. Minden inferencia kérés és válasz rögzítésre kerül (anonimizált módon), ami lehetővé teszi a későbbi finomhangolást és a hibák gyors feltárását. A technikai tudástár további részleteket tartalmaz a naplózási szintekről.