L’infrastructure IA, conçue de la dalle jusqu’au point d’inférence.

Nous apportons notre expertise d’ingénierie à chaque couche de vos clusters GPU : contraintes d’énergie et de refroidissement, fabric réseau, stockage, Kubernetes, la plateforme qu’utilisent vos chercheurs, et l’astreinte quand quelque chose casse. Basés en France, nous intervenons dans le monde entier, sur les fuseaux horaires européens et américains.

Parler à un ingénieur Voir la nomenclature

L4 Orchestration

Un Kubernetes qui comprend les GPU : gang scheduling, priorités et isolation stricte des tenants sur du matériel hétérogène.

ordonnanceur
Volcano, Kueue, Slurm
pile GPU
Operator, DRA, CDI, NFD
échelle
1 000+ nœuds
Coupe A–A d’un cluster GPU type. Survolez les couches ou parcourez-les au clavier, et activez la bande sécurité pour voir les contrôles.

Nomenclature des couches

Chaque couche que nous prenons en charge, ce dont nous répondons, et l’enveloppe dans laquelle nous concevons d’habitude. La plupart des clients commencent par une ligne. La plupart des incidents en traversent trois. La liste complète des pièces suit plus bas.

Réf. Couche Ce dont nous répondons Avec quoi nous travaillons Enveloppe type
L6 Service des modèles Des endpoints d’inférence dimensionnés sur le trafic réel, avec un autoscaling sur la profondeur de file plutôt que sur le CPU. vLLM, SGLang, TensorRT-LLM, Triton, NVIDIA Dynamo, KServe, MIG p99 sous le SLO à 10–100× le trafic
L5 Plateforme IA L’environnement qu’utilisent vraiment les chercheurs : notebooks, jobs, pipelines, suivi d’expériences, quotas. MLOps & Infrastructure IA Kubeflow, Ray, PyTorch, FSDP, DeepSpeed, Megatron-LM, JAX, MLflow des centaines d’utilisateurs, des milliers de jobs/jour
L4 Orchestration Kubernetes pour GPU : placement selon la topologie, gang scheduling, priorités, isolation multi-tenant. Kubernetes & Conteneurisation NVIDIA GPU Operator, DRA, CDI, NFD, Volcano, Kueue, Slurm, Multus 1 000+ nœuds par plan de contrôle
L3 Cloud et virtualisation Le cloud privé en dessous, provisionné et mis à jour en code, avec un retour arrière testé. Services OpenStack Proxmox VE Multi-Cloud pour SaaS Clouds Européens OpenStack, Ironic, KVM/QEMU, LXD, Proxmox, Terraform, Ansible, GitOps Mises à jour sans interruption
L2 Stockage Des chemins de données dimensionnés pour les checkpoints et les dataloaders, pas pour une slide de benchmark. Lustre, Weka, VAST Data, IBM Storage Scale, Ceph, GPUDirect Storage, NVMe-oF centaines de Go/s agrégés, échelle du Po
L1 Fabric Des fabrics optimisées par rail, un RDMA réglé de bout en bout, et le SDN qui relie les tenants. Solutions VyOS InfiniBand NDR/XDR, RoCEv2, Spectrum-X, NVLink, ConnectX, BlueField, GPUDirect RDMA, NCCL, SR-IOV, DPDK, eBPF, OVN 400–800G par port, RDMA en quelques µs
L0 Salle informatique Conception des baies, référentiels firmware et mise en service jusqu’au premier job, avec votre équipe datacenter, dans les limites réelles d’énergie et de refroidissement. NVIDIA HGX B300, B200, H200, GB200 NVL72, AMD Instinct MI355X, refroidissement liquide, référentiels BMC/firmware 40–130 kW par baie, PUE 1,1–1,3
Tout SRE Observabilité, réponse aux incidents, analyse de cause racine entre les couches, runbooks et ADR dans Git. Automatisation et Monitoring FinOps, RSE et coaching DCGM, Prometheus, Grafana, Loki, ELK, OpenTelemetry Heures UE et US
Tout Sécurité RSSI externalisé, SecOps et ingénierie sécurité sur tout ce sur quoi nous intervenons : gouvernance, détection et réponse, durcissement, isolation des tenants. Sécurité et SecOps Zero Trust, SIEM OpenSearch, SAST/SCA, Kyverno, Falco, Sigstore, Vault, NIS2, DORA, ISO 27001, SOC 2 Politiques et preuves dans Git

Suivre une requête jusqu’au béton.

Quelqu’un tape une question. Voici tout ce qui doit fonctionner pour que la réponse s’affiche en moins d’une seconde. Nous apportons notre expertise à chacune de ces couches.

Vue axonométrique éclatée d’un cluster GPU NVIDIA HGX : salle informatique, baies, topologie GPU, fabric, stockage, liens amont, Kubernetes, moteur d’inférence et fenêtre de chat de l’utilisateur final. CDU, refroidissement liquide direct Gaine à barres, voies A/B Nœud HGX, 8 GPU 8 GPU, une NIC chacun Fabric NVLink 5 commutée Commutateurs spine InfiniBand / RoCE par rail, 400–800G FS parallèle, NVMe 2 transits + peering IX Plan de contrôle ×3 Job en gang, 32 GPU File de requêtes Réplicas + cache KV Résume ce contratd’approvisionnement de 40 pageset signale les clauses derésiliation. Trois clauses comptent. L’article 14.2autorise une résiliation sans motif avec unpréavis de 90 jours▌ Premier token 180 ms, 62 tok/s

  1. L0

    Une salle capable d’alimenter les baies

    Une baie GPU consomme plusieurs fois ce pour quoi une salle classique a été conçue. Nous aidons votre équipe datacenter à dimensionner l’énergie, les gaines à barres et les boucles de refroidissement liquide avant la livraison du premier serveur.

    densité
    40–130 kW par baie
    refroidissement
    liquide direct, CDU par rangée
    PUE
    1,1–1,3

  2. L0

    Baies, nœuds et référentiels firmware

    Plans de baies, BMC et firmware figés par génération de matériel, rodage avant que quoi que ce soit ne rejoigne le cluster.

    systèmes
    HGX B300, B200, H200
    à l’échelle de la baie
    GB200, GB300 NVL72
    accélérateurs
    CUDA, ROCm, ARM

  3. L1

    Dans le nœud : la topologie GPU

    Huit GPU sur une fabric NVLink commutée, chacun associé à sa propre carte réseau pour que le trafic collectif sorte du nœud sur le bon rail.

    intra-nœud
    NVLink 5, NVSwitch, 1,8 To/s par GPU
    une NIC par GPU
    ConnectX, 400–800G
    partitionnement
    profils MIG

  4. L1

    La fabric entre les nœuds

    Leaf et spine optimisés par rail, sans perte là où c’est nécessaire, et réglés jusqu’à ce que la bande passante all-reduce corresponde à la fiche technique.

    ports
    NDR 400G, XDR 800G
    transport
    InfiniBand, Spectrum-X, RoCEv2
    réglages
    PFC, ECN, NCCL, SHARP

  5. L2

    Un stockage qui nourrit les GPU

    Des systèmes de fichiers parallèles pour les checkpoints et les dataloaders, de l’objet pour les jeux de données, du bloc pour le reste.

    FS parallèle
    Lustre, Weka, VAST
    chemin GPU
    GPUDirect Storage
    débit
    centaines de Go/s

  6. L1

    La bordure et la sortie

    Routeurs redondants, transit amont et peering sur point d’échange, pour que les utilisateurs atteignent l’endpoint par le chemin le plus court raisonnable.

    amont
    2 transits + IX
    routage
    BGP, VyOS, OVN
    sécurité
    segmenté, audité

  7. L4

    Un Kubernetes qui comprend les GPU

    Plans de contrôle hautement disponibles, GPU Operator et device plugins, et un ordonnancement batch qui place un job de 32 GPU d’un seul coup, ou pas du tout.

    ordonnancement
    Volcano, Kueue, Slurm
    pile GPU
    GPU Operator, DRA
    isolation
    RBAC, PSA, Network Policies

  8. L6

    Le moteur d’inférence

    Les requêtes sont regroupées en continu sur plusieurs réplicas du modèle, avec un cache KV dimensionné pour que la latence tienne quand le trafic double.

    moteurs
    vLLM, SGLang, TensorRT-LLM
    service
    Dynamo, KServe, Triton
    précision
    FP8, FP4

  9. Vous

    Et la réponse s’affiche

    L’utilisateur final voit une fenêtre de chat. Nous faisons en sorte que le premier token arrive vite, où que tourne le cluster.

    premier token
    < 200 ms
    servi depuis
    votre région
    données
    restent là où vous le décidez

Liste des pièces

Les générations de matériel, les fabrics et les logiciels avec lesquels nous travaillons au quotidien. Indépendants des fournisseurs : nous choisissons selon la charge, et nous connaissons les pièges des deux côtés.

L0 Accélérateurs et systèmes

NVIDIA HGX B300
Blackwell Ultra, 8 GPU par nœud
NVIDIA HGX B200
Blackwell, 8 GPU par nœud
NVIDIA GB300 NVL72, GB200 NVL72
à l’échelle de la baie, refroidis par liquide
NVIDIA HGX H200, H100
Hopper, 8 GPU par nœud
NVIDIA GH200 Grace Hopper
superchip CPU ARM + GPU
NVIDIA Vera Rubin
préparation à la prochaine génération
NVIDIA L40S, RTX PRO 6000
inférence et graphisme
AMD Instinct MI355X, MI325X, MI300X
ROCm
Serveurs ARM
Grace, Ampere

L1 Interconnexion GPU

NVLink 5, NVLink Switch
1,8 To/s par GPU Blackwell
NVSwitch, NVLink-C2C
tout-à-tout dans le nœud
AMD Infinity Fabric
xGMI entre GPU Instinct
PCIe Gen5, Gen6
liens hôte et cartes réseau
MIG, vGPU, MPS, time-slicing
partitionnement GPU

L1 Réseau HPC

InfiniBand NDR 400G, XDR 800G
Quantum-2, Quantum-X800
Ethernet pour l’IA
Spectrum-X, RoCEv2, Ultra Ethernet
ConnectX-7, ConnectX-8 SuperNIC
une carte par GPU, par rail
DPU BlueField-3
déport, isolation, stockage
GPUDirect RDMA, NCCL, RCCL
collectives, réduction SHARP dans le réseau
Fat tree optimisé par rail
leaf/spine, non bloquant
SR-IOV, DPDK, eBPF
chemins de données noyau et espace utilisateur
BGP, EVPN-VXLAN, OVS/OVN
underlay, overlay, SDN

L2 Stockage

GPUDirect Storage
du NVMe directement vers la mémoire GPU
Lustre, BeeGFS
systèmes de fichiers parallèles
Weka, VAST Data
tout-flash pour l’IA
IBM Storage Scale (GPFS)
système de fichiers parallèle
Ceph, stockage objet S3
jeux de données et checkpoints
NVMe-oF, iSER, ZFS
bloc et stockage local

L0 Datacenter

Refroidissement liquide direct
CDU, nourrices, eau du site
Échangeurs en porte arrière
hybride air et liquide
Baies de 40 à 130+ kW
gaines à barres, voies A/B
Redfish, BMC, référentiels firmware
par génération de matériel
Rodage et recette
tests NCCL, HPL, diagnostics DCGM
PUE, WUE
efficacité énergétique et hydrique

L3 Cloud et bare metal

OpenStack, Ironic
cloud GPU bare metal
KVM/QEMU, Proxmox VE, LXD
virtualisation, passthrough GPU
MAAS, provisionnement PXE
mise en service du parc
Terraform, Ansible
infrastructure as code
Argo CD, Flux
GitOps

L4 Kubernetes et ordonnancement

NVIDIA GPU Operator, Network Operator
pilotes, device plugins
DRA, CDI, NFD
allocation dynamique des ressources
Volcano, Kueue
gang scheduling et batch
Slurm, Slurm sur Kubernetes
ordonnancement HPC
Cilium, Multus
pods multi-réseaux
containerd, CRI-O
runtimes

L5 Entraînement

PyTorch, FSDP, DeepSpeed
entraînement distribué
Megatron-LM, NeMo
parallélisme des grands modèles
JAX, TensorFlow
frameworks
Kubeflow, Ray, KubeRay
jobs et pipelines
MLflow, JupyterHub
expériences et notebooks

L6 Inférence

vLLM, SGLang
service de LLM
TensorRT-LLM, Triton Inference Server
moteurs optimisés
NVIDIA Dynamo, llm-d
prefill et decode désagrégés
KServe, Ray Serve
service de modèles sur Kubernetes
FP8, FP4, décodage spéculatif
débit par GPU

Tout SRE et observabilité

DCGM, DCGM Exporter
santé des GPU, erreurs XID
Prometheus, Grafana, Loki, OpenTelemetry
observabilité
ELK, OpenSearch
journaux et pistes d’audit
Go, Rust
notre outillage

Tout Sécurité

RBAC, Pod Security Admission, Network Policies
durcissement Kubernetes
Kyverno, OPA Gatekeeper
politiques d’admission en code
Falco, Tetragon
détection à l’exécution
Sigstore, cosign, SBOM, Trivy
chaîne d’approvisionnement logicielle
Vault, SPIFFE/SPIRE
secrets et identité des workloads
MACsec, segmentation EVPN, partition keys InfiniBand
isolation dans la fabric
Confidential computing
NVIDIA Hopper et Blackwell, AMD SEV-SNP, Intel TDX
CIS Benchmarks, MITRE ATT&CK, MITRE ATLAS
durcissement et modèles de menace
OWASP Top 10 for LLM
risques de l’inférence et des agents
Zero Trust
accès fondé sur l’identité, partout
SIEM OpenSearch, SOC
détection et réponse
SAST, SCA, cycle de développement sécurisé
DevSecOps dans la CI/CD
CSPM, CWPP, WAF, protection DDoS
sécurité cloud AWS et Azure

Tout Conformité

NIS2, DORA
résilience opérationnelle européenne
ISO/IEC 27001
management de la sécurité de l’information
RGPD, AI Act
réglementation des données et de l’IA
SOC 2, HIPAA, PCI DSS
SaaS, données de santé et de paiement
NIST CSF, ISO/IEC 27032
référentiels de cybersécurité
SecNumCloud, HDS
exigences françaises de cloud souverain et de données de santé

Les noms de produits sont des marques de leurs propriétaires. Ils sont cités comme technologies que nous mettons en œuvre, pas comme partenariats.

Nous suivons la panne, pas l’organigramme.

Dans un cluster GPU, la plupart des pannes apparaissent deux couches au-dessus de leur origine. Nous avons appris à regarder vers le bas.

  1. T+00
    L5, plateformeTemps par step en hausse de 31 % sur un entraînement à 512 GPU. Aucune erreur dans les logs du job.
  2. T+04
    L4, orchestrationPlacement conforme, tous les pods dans un seul domaine de topologie. Écarté.
  3. T+09
    L2, stockageÉcritures de checkpoints dans la norme. Écarté.
  4. T+15
    L1, fabricBande passante all-reduce en baisse sur un rail. Trames de pause PFC en hausse sur un port de leaf.
  5. T+22
    L0, salleOptique de ce port en surchauffe, erreurs de symboles intermittentes. Remplacée, rail drainé puis requalifié.
  6. T+41
    ClôturéTemps par step revenu à la normale. Alerte ajoutée sur le seuil de taux d’erreur, runbook mis à jour dans Git.

Exemple composite, représentatif de ce que nous voyons en production. Pas une mission précise.

La sécurité se dessine dans le plan, elle ne se tamponne pas dessus.

L’infrastructure IA a sa propre surface d’attaque : des GPU partagés, des fabrics RDMA qui contournent le noyau, des modèles et des jeux de données qui valent plus que le matériel, des endpoints qui reçoivent des instructions en langage naturel. Nous apportons la fonction sécurité avec la construction, du comité de direction jusqu’au noyau.

RSSI externalisé

Un RSSI à temps partagé qui connaît votre infrastructure jusqu’à la fabric.

  • Construction de la fonction sécurité à partir de zéro
  • Gouvernance, politiques, registre des risques, feuille de route et budget
  • Reporting au comité de direction et au comité d’audit, relation avec les régulateurs
  • Préparation SOC 2, ISO 27001, NIS2, DORA, HIPAA, PCI DSS
  • Continuité d’activité, gestion de crise, exercices sur table
  • Programmes de sensibilisation et campagnes d’hameçonnage

SecOps

Les opérations de sécurité au quotidien, sur les plateformes que nous concevons et exploitons ou sur les vôtres.

  • Conception de SOC, SIEM sur OpenSearch, pilotage des prestataires SOC
  • Détection et réponse, playbooks automatisés
  • Accès Zero Trust, revues d’accès, moindre privilège
  • Posture de sécurité cloud AWS et Azure : CSPM, CWPP, WAF
  • Gestion des vulnérabilités et de la surface d’attaque
  • Réponse aux incidents, post-mortems, suivi des pentests

Ingénierie sécurité

La sécurité conçue dans chaque couche de la construction, pas ajoutée pour l’audit.

  • Modélisation des menaces pour clusters GPU et plateformes IA
  • Isolation des tenants, de la fabric jusqu’à Kubernetes
  • DevSecOps : SAST et SCA dans la CI/CD, cycle de développement sécurisé
  • Chaîne logicielle : images signées, SBOM
  • Protection des modèles et des données d’entraînement
  • Revues d’architecture sécurité et tests de conception

NIS2, DORA, ISO/IEC 27001, SOC 2, RGPD, HIPAA, PCI DSS, NIST CSF, AI Act, exigences SecNumCloud et HDS

Notre équipe a mené des programmes de sécurité jusqu’aux audits SOC 2, ISO 27001, HIPAA et PCI DSS, et détient une certification ISO/IEC 27032 Lead Cybersecurity Manager. La certification de votre organisation est délivrée par des organismes accrédités.

Sécurité et SecOps

Basés en France. Là où tournent vos clusters.

44,84°N 0,58°O base d’ingénierie, Bordeaux, France
clients dans le monde entier, fuseaux UE et US

Notes générales

  1. Des clients dans le monde entier. Nous intervenons sur des infrastructures aux États-Unis, en Europe et ailleurs, aux côtés de vos équipes datacenter, matériel, plateforme et recherche.
  2. Fuseaux horaires européens et américains. Nos ingénieurs travaillent depuis la France, avec un recouvrement quotidien sur les heures américaines, et une astreinte 24/7 si vous en avez besoin. Les passations se font dans votre canal, pas dans une file de tickets.
  3. Une expertise sur toute la pile. Des contraintes d’énergie et de refroidissement jusqu’à l’endpoint du modèle, nous apportons l’ingénierie à chaque couche, avec vos équipes et vos fournisseurs en place.
  4. Déploiements européens, règles européennes. Pour les clusters en Europe, nous connaissons les contraintes de souveraineté, de RGPD, de NIS2 et d’énergie qui les accompagnent, et la façon de concevoir avec.
  5. Indépendants des fournisseurs. NVIDIA ou AMD, InfiniBand ou Ethernet, n’importe quel système de fichiers parallèle. Nous choisissons selon la charge.
  6. Tout est dans Git. Runbooks, ADR, référentiels de configuration et historique des changements. Vous gardez tout.
  7. Pas de logos ici. L’infrastructure de nos clients les regarde. Parlons plutôt d’ordres de grandeur.

Commençons un plan ensemble

Dites-nous ce que vous construisez, et où. C’est un ingénieur qui vous répond, pas un commercial.

Dessiné par
Ingénierie OPSaaS
Basés en
France, clients dans le monde entier
Horaires
Fuseaux UE et US, 24/7 à la demande
Périmètre
Conseil, conception, ingénierie, exploitation
Planche
A-01, plan d’ensemble, rev. 2026
Hiventive