Cerebras Systems ha presentato la CS-4, un sistema AI a livello rack che collega processori wafer-scale tra rack senza switch di rete. Cerebras afferma che il sistema può funzionare fino a due volte più velocemente della CS-3 e, in un test GPT-OSS-120B, offrire fino a 30 volte la velocità di inferenza per utente dei sistemi basati su GPU.
L’azienda aggiunge che il throughput effettivo varia in base al modello e alla configurazione di serving. La CS-4 è il primo sistema costruito sull’architettura rack-scale Nexus di Cerebras.
What the Nexus architecture changes inside the rack
Cerebras afferma che i Direct Wafer Links possono ridurre la latenza wafer-to-wafer fino a due microsecondi. L’azienda dice anche che ogni CS-4 offre fino a 7,2 Tbps di banda I/O di sistema.
Questo fabric interno è proprietario. Non è possibile aggiungere acceleratori di terze parti e, per scalare il fabric, servono altri sistemi Cerebras.
How the CS-4 fits into existing data-center networks
La CS-4 supporta RoCE v2 over Ethernet, così può collegarsi alle reti data-center esistenti. Cerebras dice che RoCE v2 consente al sistema di integrarsi con l’infrastruttura Ethernet ad alta velocità già in uso.
Fuori dal fabric di Cerebras, il quadro di rete non sparisce. Manish Rawat, semiconductor analyst presso TechInsights, ha detto che l’architettura potrebbe ridurre la dipendenza dagli strati di switching tradizionali tra i sistemi Cerebras, ma non eliminare i requisiti di networking convenzionale.
What this means for AI infrastructure teams
Neil Shah, vice president for research at Counterpoint Research, ha detto che eliminare gli switch tra i sistemi Cerebras potrebbe ridurre i costi infrastrutturali e il consumo energetico. Ha spiegato che i collegamenti diretti rack-to-rack possono rimuovere uno strato di hardware di networking che può assorbire una larga parte del budget di un cluster AI e fino a un terzo della sua elettricità.
Danish Faruqui, CEO di Fab Economics, ha detto che l’ingestion dei dati e il cluster management continueranno ad appoggiarsi all’infrastruttura Ethernet tradizionale, mentre i sistemi esterni nel disaggregated inference comunicheranno con la CS-4 via RoCE v2. Cerebras supporta anche framework tra cui PyTorch, ma i workload passano dalla piattaforma software CSoft dell’azienda.
Shah ha detto che l’ecosistema Cerebras non ha ancora la maturità e l’ampiezza dell’ambiente CUDA di Nvidia.