Cerebras Systems heeft de CS-4 onthuld, een AI-systeem op rack-schaal dat wafer-scale-processors tussen racks verbindt zonder netwerk-switches. Volgens Cerebras kan het systeem tot twee keer zo snel draaien als de CS-3 en levert het in een GPT-OSS-120B-test tot 30 keer zoveel inferentiesnelheid per gebruiker als GPU-gebaseerde systemen.
Volgens het bedrijf verschilt de werkelijke throughput per model en per serving-opzet. De CS-4 is het eerste systeem op basis van Cerebras’ Nexus rack-scale-architectuur.
Wat de Nexus-architectuur intern in het rack verandert
Volgens Cerebras kunnen Direct Wafer Links de wafer-to-wafer-latentie terugbrengen tot slechts twee microseconden. Het bedrijf zegt ook dat elke CS-4 tot 7,2 Tbps aan system I/O-bandbreedte biedt.
Die interne fabric is proprietary. Derde partijen kunnen er geen accelerators aan toevoegen, en opschalen van de fabric vraagt om extra Cerebras-systemen.
Hoe de CS-4 aansluit op bestaande datacenternetwerken
De CS-4 ondersteunt RoCE v2 over Ethernet, zodat hij kan koppelen met bestaande datacenternetwerken. Cerebras zegt dat RoCE v2 het systeem laat aansluiten op bestaande high-speed Ethernet-infrastructuur.
Buiten de Cerebras-fabric verdwijnt het netwerkplaatje niet. Manish Rawat, semiconductor-analist bij TechInsights, zei dat de architectuur de afhankelijkheid van traditionele switching-lagen tussen Cerebras-systemen kan verkleinen, maar de behoefte aan conventionele netwerken niet wegneemt.
Wat dit betekent voor AI-infrastructuurteams
Neil Shah, vice president voor research bij Counterpoint Research, zei dat het weghalen van switches tussen Cerebras-systemen de infrastructuurkosten en het stroomverbruik kan verlagen. Volgens hem kan directe rack-to-rack-connectiviteit een netwerklaag wegnemen die een groot deel van het budget van een AI-cluster en tot een derde van de elektriciteit kan opslokken.
Danish Faruqui, CEO van Fab Economics, zei dat data-ingest en clusterbeheer nog steeds afhankelijk blijven van traditionele Ethernet-infrastructuur, terwijl externe systemen in disaggregated inference via RoCE v2 met de CS-4 communiceren. Cerebras ondersteunt ook frameworks zoals PyTorch, maar workloads draaien via het softwareplatform CSoft van het bedrijf.
Shah zei dat het Cerebras-ecosysteem nog niet de volwassenheid en breedte heeft van Nvidia’s CUDA-omgeving.