Consumo di energia del modulo ottico e densità di larghezza di banda: limiti duri nelle interconnessioni dei data center AI

Le reti di data center AI non sono più vincolate solo dalla velocità di trasmissione massima di un modulo ottico. La domanda più difficile è se il sistema sia in grado di alimentare, raffreddare, confezionare e mantenere collegamenti ottici sufficienti per supportare la scala di elaborazione richiesta.

Man mano che la capacità degli switch supera i 51,2 Tb/s e le interfacce ottiche progrediscono da 400G e 800G verso velocità di 1,6T e superiori, due variabili determinano sempre più se l’architettura può scalare:

• Consumo energetico del modulo ottico

• Densità di larghezza di banda del modulo ottico

Queste variabili sono strettamente connesse. Una larghezza di banda più elevata per porta solitamente aumenta la perdita elettrica, la complessità dell'elaborazione del segnale, la generazione di calore e la domanda di raffreddamento. L'aggiunta di più porte allo stesso pannello frontale concentra il calore in uno spazio più piccolo.

Il limite risultante coinvolge non solo il modulo ottico, ma anche l'ASIC dello switch, SerDes, PCB, erogazione di potenza, sistema di raffreddamento, instradamento della fibra e modello di manutenzione.

Quali sono i limiti di potenza e densità di larghezza di banda dei moduli ottici?

Il consumo energetico del modulo ottico limita la quantità di capacità elettrica e termica rimasta disponibile per l'elaborazione, mentre la densità di larghezza di banda descrive la quantità di capacità dati che può essere installata all'interno di un pannello fisso, pacchetto o area rack senza superare i limiti elettrici, termici, meccanici e di affidabilità.

Nessuna delle due metriche dovrebbe essere valutata in modo indipendente. Un modulo con larghezza di banda elevata e potenza eccessiva può ridurre la capacità di elaborazione disponibile nello stesso rack. Un modulo più piccolo può migliorare la densità fisica creando al tempo stesso un flusso di calore che lo chassis non può rimuovere.

Consumo energetico come vincolo del sistema

Un rack ha un budget di alimentazione e raffreddamento limitato. L'energia utilizzata dai collegamenti ottici non è disponibile per GPU, memoria, silicio switch, storage e apparecchiature di raffreddamento di supporto.

Con un numero ridotto di porte, alcuni watt aggiuntivi per modulo possono sembrare gestibili. Tra centinaia di porti e decine di migliaia di collegamenti, tuttavia, la differenza diventa una delle principali variabili infrastrutturali.

Potrebbe essere necessario un confronto completo che includa:

• Entrambe le estremità del collegamento ottico

• Host SerDes e retime

• DSP e FEC

• Potenza della sorgente laser

• Perdite di conversione di potenza

• Raffreddamento in testa

I valori pubblicati di watt per porta non sono direttamente confrontabili a meno che non utilizzino lo stesso limite di sistema.

Densità di larghezza di banda come vincolo termico

La densità di larghezza di banda può riferirsi alla larghezza di banda per modulo, apertura del pannello frontale, unità rack, switch o watt. Queste misurazioni sono correlate ma non intercambiabili.

Il raddoppio della larghezza di banda del modulo non raddoppia automaticamente la densità dello switch utilizzabile. Il sistema deve comunque fornire energia sufficiente, mantenere l'integrità del segnale, rimuovere il calore e lasciare spazio per connettori, fibre, gabbie e accesso al servizio.

A livelli di potenza più elevati, la densità di larghezza di banda diventa sempre più dipendente dalla rimozione del calore piuttosto che dalle sole dimensioni del pannello.

Perché il ridimensionamento della velocità a corsia singola sta perdendo efficienza

Il percorso convenzionale verso una maggiore larghezza di banda ottica si è basato in larga misura su corsie elettriche e ottiche più veloci:

25G → 50G → 100G → 200G PAM4

Questo percorso rimane importante, ma ogni transizione richiede trasmettitori, ricevitori, equalizzazione, codifica e controllo dell'integrità del segnale più impegnativi. Potenza e complessità non crescono necessariamente in proporzione al throughput utile.

Perché velocità di corsia più elevate aumentano potenza e complessità

Il divario di scalabilità di calcolo e I/O

Un'analisi basata suDatabase dei modelli di intelligenza artificiale dell'epocaha stimato che il calcolo utilizzato per addestrare i modelli di intelligenza artificiale di frontiera è cresciuto di circa quattro o cinque volte l’anno tra il 2010 e il 2024.

Questa tariffa si applica alle sessioni di formazione di frontiera anziché a tutti i carichi di lavoro di intelligenza artificiale. Ciononostante illustra la rapidità con cui la domanda di comunicazione può crescere attorno ai grandi cluster di acceleratori.

La larghezza di banda I/O non segue una pianificazione di raddoppio universale. Il suo sviluppo dipende dalle roadmap SerDes, dal silicio degli switch, dalle interfacce ottiche, dal packaging, dall'erogazione di energia e dal raffreddamento.

La sfida pratica è espandere la capacità di comunicazione abbastanza velocemente da evitare che l’interconnessione limiti il ​​sistema informatico.

Sensibilità del ricevitore, DSP e penalità FEC

PAM4 trasporta due bit per simbolo utilizzando quattro livelli di ampiezza, ma la minore separazione tra tali livelli riduce il margine di rumore rispetto a NRZ.

UNContributo tecnico IEEE 802.3calcolato una penalità di modulazione ottica SNR ideale di circa 4,8 dB per PAM4 rispetto a NRZ. Ulteriori sanzioni dipendono dalla larghezza di banda del segnale e dalle condizioni di implementazione.

Ciò non significa che la sensibilità del ricevitore si deteriora di un valore fisso ogni volta che la velocità della corsia raddoppia. Le prestazioni effettive dipendono dalla velocità di trasmissione, dalla larghezza di banda del ricevitore, dalla perdita di canale, dall'equalizzazione, dal rumore, dal FEC e dal margine di implementazione.

DSP e FEC possono ripristinare la qualità del segnale ed estendere il margine operativo, ma consumano anche energia e introducono ritardi. Il vantaggio dell’aumento della velocità su una corsia diminuisce quindi poiché diventa necessaria una maggiore compensazione elettrica e digitale.

In che modo la potenza del modulo ottico vincola la progettazione dello switch

L'effetto della potenza del modulo diventa più chiaro quando viene aggregata su un interruttore completo.

Un esempio di budget energetico di 51,2 tonnellate

Consideriamo uno switch illustrativo da 51,2 Tb/s popolato con moduli ottici FR4 da 128 × 400G:

In questo calcolo, i moduli ottici rappresentano circa il 58,7% della potenza combinata di moduli ottici e switch-ASIC.

Questa percentuale non rappresenta la potenza totale in ingresso dello switch, poiché non sono incluse ventole, regolatori, elettronica di controllo e perdite di conversione. Anche così, dimostra che le interfacce ottiche possono consumare energia nella stessa misura del silicio di commutazione.

Budget di potenza ottica dello switch 51.2T

Potenza di rete e densità di calcolo

Con un budget energetico fisso, una potenza di rete inferiore può liberare più capacità elettrica e termica per il calcolo.

Nel suo 2025Annuncio di commutazione fotonica, NVIDIA ha riportato un'efficienza energetica 3,5 volte maggiore per l'architettura annunciata rispetto alla base di implementazione tradizionale dichiarata.

Si tratta di un risultato specifico della piattaforma piuttosto che di un fattore di efficienza CPO universale. L'effetto effettivo sulla densità della GPU dipende anche dal numero di porte, dalla topologia, dalla potenza dell'acceleratore, dalla capacità di raffreddamento e dal design del rack.

I tre effetti di sistema della potenza ottica superiore

Tre effetti di sistema della potenza del modulo ottico

Potenza e densità di calcolo

Un watt consumato dalla rete non può essere allocato altrove all'interno dello stesso involucro del rack.

Una maggiore potenza di rete può comportare un minor numero di acceleratori per rack, più rack per lo stesso carico di lavoro, switch aggiuntivi e una maggiore domanda di raffreddamento della struttura.

La potenza del modulo ottico è quindi una variabile architetturale, non solo una specifica del componente.

Limiti di alimentazione e raffreddamento

Poiché i moduli collegabili superano gli 800 G, è necessario rimuovere più calore da ciascuna posizione del pannello anteriore.

ILDocumento tecnico OSFP MSAafferma che il fattore di forma OSFP1600 fornisce più di 30 W di capacità termica per l'ottica del data center 1600G. Si tratta di un involucro termico di riferimento, non di una potenza nominale universale per ogni modulo.

La potenza effettiva dipende dalla portata, dall'implementazione del DSP, dal numero di lunghezze d'onda, dalla disposizione del laser, dall'interfaccia host e dalla temperatura operativa.

Con un flusso di calore sufficientemente elevato, l’aumento del flusso d’aria diventa meno efficace. Il raffreddamento a liquido accorcia il percorso termico trasferendo il calore in una piastra fredda vicino ai componenti ad alta potenza.

Guida ASHRAEdocumenta il raffreddamento diretto ad acqua calda nell'intervallo 40–45°C in ambienti informatici ad alte prestazioni. Ciò non definisce la temperatura del liquido di raffreddamento richiesta per ogni modulo ottico, ma conferma che il raffreddamento ad acqua calda è un approccio consolidato per i data center.

Potenza, temperatura e affidabilità

In una struttura IA di grandi dimensioni, anche una bassa probabilità di guasto a livello di componente può creare un onere operativo significativo.

Una temperatura operativa inferiore può rallentare molti meccanismi di degrado, ma la relazione tra temperatura e durata dipende dal dispositivo e dalla modalità di guasto.

Guida all'affidabilità del NISTspiega che diverse modalità di guasto possono richiedere diversi modelli di accelerazione.

Un’analisi di affidabilità difendibile dovrebbe quindi identificare il meccanismo di guasto rilevante, definire lo stress operativo e convalidare il modello con i dati. Una temperatura più bassa è generalmente vantaggiosa, ma non produce un moltiplicatore universale della durata.

Perché il pannello frontale sta diventando un collo di bottiglia nella larghezza di banda

Le reti AI richiedono una commutazione ad alto raggio e con un basso oversubscription. Quando la larghezza di banda non è sufficiente per uno switch, potrebbero essere necessarie fasi Spine o Super-Spine aggiuntive.

Ulteriori fasi possono aumentare:

• Latenza

• Conteggio di switch e collegamenti ottici

• Consumo energetico

• Complessità del cavo

• Punti di fallimento

• Costo

Densità OSFP ed espansione della rete

ILProgetto di riferimento OSFP MSApresenta uno switch 1RU con 32 porte OSFP1600 che supportano 51,2 Tb/s di throughput aggregato.

Questa è una configurazione di riferimento piuttosto che un limite fisico universale. Dimostra tuttavia come la larghezza di banda del fattore di forma possa influenzare il numero di switch e la topologia della rete.

L'aumento della larghezza di banda del modulo può ridurre il numero di porte fisiche richieste, ma solo se l'alimentazione, il raffreddamento, l'instradamento elettrico e la gestione della fibra rimangono pratici.

La densità della larghezza di banda è in definitiva un problema termico

Un modulo può essere rimpicciolito, ma la sua potenza non può diminuire allo stesso ritmo. Il risultato è un maggiore flusso di calore all'interno del pannello frontale.

La densità utilizzabile è quindi influenzata da:

• Prestazioni della gabbia e del dissipatore di calore

• Erogazione di potenza del PCB

• Instradamento elettrico dell'host

• Connettore e densità della fibra

• Capacità del sistema di raffreddamento

• Temperatura massima del componente

Con larghezza di banda elevata, la densità pratica di un fattore di forma è determinata dalla quantità di calore che l'intero sistema può rimuovere.

Densità del pannello frontale e architettura termica XPO

XPO: densità più elevata con raffreddamento a liquido incorporato

XPO sta perOttica collegabile extra-densa.

Nel marzo 2026,Arista ha annunciato l'accordo multi-sorgente XPO. L'architettura annunciata utilizza 64 canali a 200 Gb/s per canale, fornendo 12,8 Tb/s per modulo e puntando a 204,8 Tb/s di larghezza di banda del pannello frontale per unità rack di calcolo aperto.

Il concetto utilizza una struttura dual-PCB Belly-to-Belly:

• I componenti ad alta potenza sono rivolti verso la struttura di raffreddamento a liquido.

• I componenti a basso consumo sono rivolti verso l'esterno.

• Il raffreddamento è integrato nell'architettura del modulo.

• Il vano ottico rimane smontabile.

Il valore di 204,8 Tb/s rappresenta la capacità di larghezza di banda del pannello frontale, non 128 moduli fisici in un'unità rack.

Il principale argomento progettuale di XPO è la funzionalità. Tenta di mantenere il modello del modulo sostituibile aumentando il parallelismo e migliorando il percorso termico.

Ottica collegabile tradizionale, LPO, CPO e XPO

Collegabile tradizionale vs LPO vs CPO vs XPO

Ottica collegabile tradizionale

I moduli collegabili tradizionali si collegano all'ASIC dello switch tramite tracce elettriche ad alta velocità.

Offrono sostituzione hot-swap, chiaro isolamento dei guasti, qualificazione indipendente dei moduli e fornitura multi-vendor matura.

Il loro principale punto debole è il percorso elettrico. A velocità di corsia più elevate, le perdite di PCB e connettori richiedono una maggiore equalizzazione ed elaborazione del segnale, mentre il calore deve comunque essere rimosso attraverso una struttura vincolata del pannello frontale.

LPO

Ottica lineare innestabilerimuove il modulo DSP convenzionale e mantiene un percorso analogico tra l'host e il modulo.

ILSpecifiche LPO MSAassegna funzioni come FEC, risincronizzazione e conversione dei dati all'host e definisce punti di test destinati a supportare l'interoperabilità.

La rimozione del DSP lato modulo può ridurre la potenza del modulo e il ritardo di elaborazione, ma pone maggiori requisiti sulla qualità SerDes dell'host, sulla perdita di canale, sulla linearità del trasmettitore, sul rumore del ricevitore e sul margine di collegamento.

LPO non ha un potere, una latenza o un valore di portata universali. Questi dipendono dall'host completo e dal collegamento ottico.

CPO

Ottiche co-confezionateposiziona i motori ottici vicino all'ASIC dello switch, riducendo la lunghezza e la perdita delle connessioni elettriche ad alta velocità.

Ciò può ridurre l'equalizzazione, la risincronizzazione e la potenza I/O elettrica, ma introduce sfide nell'imballaggio, nel collegamento delle fibre, nella progettazione termica, nell'isolamento dei guasti e nella riparazione sul campo.

Nel 2023, ilOptical Internetworking Forum ha pubblicato il suo accordo di implementazione del modulo co-packaged 3.2T. Definisce un modulo da 3,2 Tb/s per la commutazione Ethernet e fornisce circa 140 Gb/s per millimetro di densità di larghezza di banda a bordo pacchetto.

Nel maggio 2026, NVIDIA ha dichiarato che i suoi switch Spectrum-X Ethernet Photonics erano in produzione. Si tratta di un importante traguardo commerciale, anche se non indica l’adozione del CPO a livello di settore.

XPO

XPO mantiene un modulo rimovibile pur utilizzando un maggiore parallelismo e un raffreddamento a liquido integrato.

Offre un equilibrio diverso dal CPO:

• Densità maggiore rispetto ai connettori convenzionali

• Raffreddamento a liquido diretto

• Sostituzione sul campo

• Minore dipendenza dall'integrazione ottica a livello di pacchetto

Le sfide rimanenti includono la progettazione dell'interfaccia elettrica, l'integrazione delle piastre fredde, la gestione delle fibre, la qualificazione della produzione e l'interoperabilità tra più fornitori.

Confronti CPO CWDM e DWDM

L'architettura della lunghezza d'onda influisce sulla progettazione del laser, sul numero di fibre, sul confezionamento, sulla perdita ottica e sulla complessità dell'integrazione.

Le implementazioni CWDM e DWDM non possono essere confrontate utilizzando valori di latenza o energia per bit isolati a meno che non venga utilizzato lo stesso limite di misurazione.

Un valore di latenza può includere o escludere:

• DSP e FEC

• Riprogrammazione

• Bufferizzazione

• Interfacce host

• Cambia elaborazione

• Una o entrambe le estremità del collegamento

L'energia per bit viene calcolata come:

Energia per bit = Potenza ÷ Bit rate fornito

Tuttavia, il calcolo deve definire se include moduli, SerDes host, laser, DSP, FEC, interfacce switch e raffreddamento.

DWDM può posizionare più lunghezze d'onda su una fibra, aumentando potenzialmente la densità e riducendo il numero di fibre. Richiede inoltre un controllo più rigoroso della lunghezza d'onda, un'uscita laser stabile e un'integrazione ottica più complessa.

Le sorgenti multilunghezza d'onda a chip singolo stanno entrando nei programmi di valutazione, ma il loro valore di produzione dipende dalla potenza di uscita, dalla stabilità della lunghezza d'onda, dall'efficienza, dalla resa e dalla durata.

DWDM non garantisce intrinsecamente una minore potenza o latenza in ogni sistema CPO. Il risultato dipende dall'architettura completa.

Interconnessioni scale-up e scale-out

Interconnessioni ottiche scale-up e scale-out

Aumentare la scalabilità

Le reti scale-up collegano gli acceleratori che devono funzionare come un unico sistema strettamente coordinato.

Il rame rimane attraente per le brevi distanze perché è a basso costo ed elettricamente semplice. La sua portata utilizzabile diventa più limitata all'aumentare della velocità di segnalazione e della perdita di canale.

Le ricerche sui sistemi pubblicate hanno descritto gli attuali collegamenti in rame ad alta velocità come limitati a brevi distanze intra-rack nell'ambiente del data center studiato.

La portata del rame a 400G dipende dall'implementazione. Varia in base alla progettazione del cavo, al numero di connettori, all'equalizzazione, al budget della perdita di inserzione e alla potenza disponibile.

L'I/O ottico e il CPO diventano più interessanti quando il rame non è più in grado di fornire la combinazione richiesta di larghezza di banda, densità di routing, distanza ed efficienza.

Scalabilità orizzontale

Le reti scale-out collegano server e rack tramite switch.

Richiedono una portata maggiore, un elevato raggio di commutazione, un numero elevato di porte e una pratica sostituzione sul campo.

I pluggable tradizionali, LPO, CPO e XPO risolvono diverse parti di questo problema:

• LPO riduce l'elaborazione lato modulo.

• Il CPO accorcia il percorso elettrico.

• XPO aumenta la densità collegabile e la capacità di raffreddamento.

La transizione dovrebbe essere intesa attraverso standard specifici e tappe fondamentali del prodotto piuttosto che attraverso una data di adozione universale.

Quadro di selezione ingegneristica

La selezione dell'architettura dovrebbe iniziare con i requisiti di sistema, non con il valore di potenza del modulo più basso pubblicato.

Le domande chiave includono:

• Quale portata è richiesta?

• Quale limite di potenza o energia per bit si applica?

• La sostituzione del campo è obbligatoria?

• Quale sistema di raffreddamento è disponibile?

• Quale limite di latenza viene misurato?

• È necessaria l’interoperabilità multivendor?

Confronta attentamente l'energia per bit

Un modulo ad alta potenza può comunque avere un'energia per bit inferiore se fornisce una larghezza di banda molto più utilizzabile.

Ogni confronto dovrebbe definire la velocità in bit, la direzione, il numero di estremità del collegamento, il limite DSP/FEC, la potenza del laser, l'elaborazione dell'host e il sovraccarico di raffreddamento.

Valutare la portata e il margine di collegamento

Le architetture a basso consumo possono funzionare con un margine di canale più stretto.

La selezione dovrebbe considerare la distanza di trasmissione, il budget del collegamento end-to-end, la qualità del canale elettrico dell'host, la temperatura operativa, la variazione dei componenti e le condizioni di invecchiamento.

Valutare il raffreddamento e la manutenibilità

La potenza nominale di un modulo non dimostra che ogni chassis possa raffreddarlo.

Il sistema deve anche definire l'unità sostituibile. I tradizionali pluggable forniscono una semplice sostituzione del modulo, mentre una maggiore integrazione può spostare il limite della riparazione a una scheda di linea, un pacchetto o un gruppo di interruttori.

Valutare la maturità dell’ecosistema

Le prestazioni tecniche e la maturità dell’ecosistema sono questioni diverse.

Una nuova architettura può mostrare ottimi risultati prima di avere specifiche stabili, più fornitori, metodi di test comuni, interoperabilità comprovata o procedure di riparazione consolidate.

Cosa significa il vincolo di densità di potenza per l'infrastruttura AI

La futura crescita della larghezza di banda non può basarsi solo sull’aumento della velocità di un canale.

Richiederà una combinazione di:

• Canali paralleli

• Multiplexing di lunghezze d'onda

• Percorsi elettrici più brevi

• Imballaggio più efficiente

• Materiali con perdite inferiori

• Design termico migliorato

All’aumentare del flusso di calore, i dissipatori di calore esterni più grandi forniscono rendimenti decrescenti. Il raffreddamento deve avvicinarsi alla fonte di calore e diventare parte dell'architettura ottica.

L'affidabilità deve essere affrontata anche attraverso una temperatura operativa adeguata, una qualificazione specifica della modalità di guasto, limiti del sistema riparabili e ridondanza a livello di rete.

Il modulo ottico, l'ASIC dello switch, il package, il PCB, il sistema di raffreddamento e la topologia di rete devono essere progettati sempre più come un unico sistema.

Domande frequenti

Perché i moduli ottici consumano così tanta energia?

I moduli ad alta velocità richiedono driver laser, ricevitori, equalizzazione e spesso DSP e FEC. La potenza aumenta anche con l'aumentare della perdita del canale elettrico e dell'aumento della velocità della corsia.

Cosa limita la densità di larghezza di banda del modulo ottico?

I limiti principali sono lo spazio sul pannello frontale, l'erogazione di potenza, il routing elettrico, la gestione della fibra e la capacità di raffreddamento.

In cosa differiscono LPO, CPO e XPO?

LPO rimuove il modulo DSP, CPO posiziona l'ottica vicino all'ASIC e XPO combina un modulo rimovibile con elevato parallelismo e raffreddamento a liquido.

Il CPO consuma sempre meno energia?

Non sempre. Il risultato dipende dal laser, dall'interfaccia host, dal confine DSP/FEC, dal raffreddamento e da quali parti del sistema sono incluse.

Perché la temperatura influisce sull'affidabilità?

Molti meccanismi di degrado accelerano a temperature più elevate, ma la relazione esatta dipende dal dispositivo e dalla modalità di guasto.

Quale architettura è migliore per Scale-Up e Scale-Out?

Lo scale-up favorisce soluzioni a breve distanza e a bassa latenza come rame, I/O ottico e CPO. La scalabilità orizzontale pone maggiore enfasi sulla portata, sulla densità degli switch e sulla manutenibilità.