Modal rapporterte 19. oktober 2026 at tidlige tester av Nvidia Vera CPU ga dobbelt så høy gjennomstrømning for arbeidsbelastninger i AI-agent-sandboxer. Oppstartselskapet innen nettskyen har mottatt sin første Vera-server, men bredere innføring vil kreve endringer i infrastrukturen, som utelukkende er bygget rundt x86-prosessorer.
Viktige punkter
- Modals interne målinger viste en dobling av gjennomstrømningen for samtidige sandbox-arbeidsbelastninger.
- Enkelte oppgaver på en ellers inaktiv server viste mindre og mindre konsistente fordeler.
- Støtte for den Arm-kompatible prosessoren vil kreve endringer i infrastrukturen og systemet for bygging av avbildninger.
Innholdsfortegnelse
- Nvidia Vera CPU-resultatene favoriserer belastede sandbox-servere
- Hvorfor samtidige arbeidsbelastninger endrer sammenligningen
- Arm-støtte krever fortsatt integrasjonsarbeid
- Konklusjon
Nvidia Vera CPU-resultatene favoriserer belastede sandbox-servere
Modals kunngjøring om Vera-benchmarken for sandboxer beskriver en server som allerede er i drift på selskapets kontor i San Francisco, og et tidlig ytelsesargument for å ta prosessoren i bruk i Modal Sandboxes. Den dokumenterer innledende testing, ikke en fullført overgang bort fra Intel- og AMD-prosessorer.
Forskjellen mellom gjennomstrømning og oppgavehastighet er viktig. Gjennomstrømning måler hvor mange oppgaver et system fullfører i løpet av en gitt periode, mens latenstid måler hvor lang tid det tar å fullføre én enkelt oppgave. Modal fant at Vera ofte presterte bedre i sekvensielle tester på tvers av benchmarksuiten, men ikke alltid, og heller ikke med særlig stor margin.
Den tydeligste fordelen viste seg når mange containere konkurrerte om datakapasitet. Modal rapporterte en dobling av gjennomstrømningen, noe som gjør resultatet relevant for tett utnyttede, delte sandbox-servere. Det er ikke bevis for at alle applikasjoner vil kjøre dobbelt så raskt.
| Element | Detaljer |
|---|---|
| Benchmarksuite | 50 Oracle-løsninger og verifikatorer for Terminal-Bench. |
| Klargjøring av containere | Arbeidsbelastningene ble forhåndsvarmet i samtidige Docker-containere. |
| Metode for måling av gjennomstrømning | Samtidigheten mellom containere ble økt mens fullførte oppgaver ble telt over et fast tidsintervall. |
| Betingelser for sekvensielle tester | Oppgavene ble kjørt én om gangen på en maskin uten belastning. |
Hvorfor samtidige arbeidsbelastninger endrer sammenligningen
Modal opplyser at sandbox-verter kan kjøre hundrevis av containere og virtuelle maskiner samtidig. Behovene deres er uforutsigbare: En AI-agent kan bruke tid på å vente på en språkmodell, for så plutselig å trenge langt større CPU-kapasitet for å installere programvare eller søke gjennom filer.
Variasjonen kan føre til ressurskonflikter, der én kundes arbeidsbelastning påvirker ytelsen for en annen. Modal lar arbeidsbelastninger overskride reservert kapasitet i korte perioder, noe som gjør ytelse ved høy, delt belastning til en viktig del av selskapets maskinvareevaluering.
Modals Agentless Agent Bench isolerer CPU-arbeid som kompilering, filsøk, Git-operasjoner og enhetsemulering. Ved å fjerne nettverkskall fokuserer testen på prosessorbasert kjøring, i stedet for den samlede tiden en AI-agent trenger for å fullføre en oppgave fra den virkelige verden.
Arm-støtte krever fortsatt integrasjonsarbeid
Vera er en Arm-kompatibel CPU bygget for Nvidias Vera Rubin GPU-plattform, og tilbys også som en frittstående CPU-server. For Modal innebærer bruk av den en overgang til en annen prosessorarkitektur, etter en periode der selskapet utelukkende har brukt x86-maskiner.
Modal sier at Arm-støtte vil kreve endringer i hele infrastrukturen og systemet for bygging av avbildninger. Benchmarken viser derfor en mulig driftsmessig fordel, ikke en gjennomført plattformovergang eller en målt økonomisk avkastning.
Konklusjon
Neste steg i implementeringen er å tilpasse Modals infrastruktur og system for bygging av avbildninger til Arm. De tidlige resultatene taler for dette arbeidet, men bredere utrulling og forbedringer i reell tjenesteytelse gjenstår å dokumentere.
Les flere nyheter
Flere nyheter fra FinanceVelix
Ansvarsfraskrivelse
Denne FinanceVelix-artikkelen gir generell informasjon, ikke personlig finansiell, investeringsmessig, juridisk eller skattemessig rådgivning. Markedspriser, renter og økonomiske forhold kan endre seg; investeringer innebærer risiko for tap. Fakta gjenspeiler informasjonen som var tilgjengelig da artikkelen ble publisert, og kan endre seg. Kontroller viktig informasjon uavhengig, og rådfør deg med en kvalifisert fagperson ved behov. Omtale av en eiendel, et selskap eller en tjeneste er ikke en anbefaling.
