Cunoştinţe

Dezagregarea centrului de date separă calculul, memoria, stocarea și rețeaua în resurse independente, grupate, în loc să le blocheze în limitele fixe ale serverului. Această separare creează o nouă dependență arhitecturală: stratul de interconectare dintre acele pool-uri trebuie să furnizeze suficientă lățime de bandă, o latență suficient de scăzută și o acoperire suficientă pentru a face ca întregul sistem să se comporte ca o țesătură coordonată. Interconectarea optică este tehnologia de transport care îndeplinește din ce în ce mai mult acest rol -, în special acolo unde legăturile de cupru ating limitele fizice ale distanței, puterii și integrității semnalului.

Acest articol explică modul în care interconectarea optică acceptă arhitecturi dezagregate, în cazul în care depășește cuprul, cum se leagă de CXL și optica co-ambalată și când are sens practic să fie adoptat.

Ce este dezagregarea centrului de date?

Într-un model tradițional centrat pe server-, CPU, memoria, stocarea și rețeaua sunt grupate într-un singur șasiu. Cumpărați un server și obțineți un raport fix pentru toate cele patru -, indiferent dacă volumul dvs. de lucru necesită acest raport sau nu. Dezagregarea centrului de date dezactivează acest grup. Fiecare tip de resursă este organizat în propriul pool, iar sarcinile de lucru atrag doar ceea ce au nevoie din fiecare pool printr-o țesătură partajată.

Acest lucru contează deoarece sarcinile de lucru moderne sunt rareori echilibrate. O lucrare de formare a modelului lingvistic mare poate satura memoria GPU și lățimea de bandă est-vest, în timp ce abia atinge stocarea locală. O conductă de analiză-în timp real poate avea nevoie de o capacitate de memorie masivă, dar doar de calcul moderat. Într-un design centrat pe server-, acea nepotrivire duce la blocarea resurselor: ciclurile CPU inactive se află alături de memoria epuizată sau capacitatea de stocare pe care nicio sarcină de lucru nu o folosește.

TheOpen Compute Project (OCP)a condus modele de rack dezagregate de la mijlocul anilor 2010, iar hyperscalers precum Meta și Microsoft au implementat stocarea și rețelele dezagregate la scară. Apariția luiCompute Express Link (CXL)a extins această viziune la dezagregarea memoriei, făcând arhitectura din ce în ce mai practică pentru o gamă mai largă de medii.

De ce designurile tradiționale de server-centric lovesc un perete

Două forțe împing echipele de infrastructură către dezagregare: presiunea de utilizare și presiunea lățimii de bandă.

În ceea ce privește utilizarea, pachetele de servere fixe creează deșeuri la scară. Cercetările din industrie sugerează că aproximativ 25% din capacitatea DRAM a serverelor convenționale rămâne neutilizată în medie, chiar dacă memoria reprezintă aproape jumătate din costul total al serverului. Înmulțită în mii de noduri, această capacitate blocată reprezintă o povară semnificativă de capital și energie.

În ceea ce privește lățimea de bandă, grupurile de antrenament AI și analizele de-performanță înaltă generează modele de trafic care diferă mult de încărcăturile tradiționale de servicii web de nord-sud-. Aceste sarcini de lucru produc trafic intens de la est-vest - GPU-la-GPU, accelerator-la-memorie și nod-la-nod - pe sute sau mii de puncte finale. Topologiile tradiționale centrate pe server-cu porțiuni scurte de cupru între cutii fixe nu au fost concepute pentru acest model. Pe măsură ce vitezele conexiunii cresc de la 400G la 800G și mai mult, limitările electrice ale cuprului devin mai greu de proiectat.

Cum funcționează interconectarea optică într-un centru de date dezagregat?

Odată ce resursele de calcul, memorie și accelerator se află în pool-uri separate, structura care conectează aceste pool-uri devine stratul critic de performanță-. Interconexiunea optică servește acel strat prin conversia semnalelor electrice în lumină, prin transmiterea datelorunic{0}modsaufibră multimodală, și conversia înapoi în electric la capătul de recepție.

Fizica transportului optic îi oferă avantaje structurale pentru această meserie. Semnalele luminoase din fibră se confruntă cu mult mai puțină atenuare pe metru decât semnalele electrice din cupru, ceea ce înseamnă că legăturile optice pot menține calitatea semnalului pe distanțe mai lungi, fără condiționarea-a semnalului înfometat de putere (retimere, DSP-uri, egalizatoare) pe care o cere cuprul la viteze mai mari. La 800 Gbps, cuprul pasiv este practic până la aproximativ 3-5 metri. Cablurile electrice active se extind până la 7 metri. Legăturile optice se întind în mod obișnuit între 100 de metri și 2 kilometri la aceeași rată de date, iar optica coerentă poate ajunge la zeci de kilometri.

Într-o arhitectură dezagregată, acest avantaj de acoperire nu este abstract. Determină în mod direct cât de departe pot sta pool-urile de resurse în timp ce se comportă în continuare ca un sistem unificat. Mai exact:

• În raft:Cuprul încă domină pentru conexiuni foarte scurte de la - server-la-partea de sus-de-comutator de rack, GPU-la-GPU într-o tavă. La distanțe mai mici de 2-3 metri, cuprul este mai simplu, mai ieftin și cu o latență mai redusă-.
• Raft-la-raft (2–100 m):Aici interconectarea optică devine implicită practică la 400G și mai sus. Conectarea unui rack de calcul la un pool de memorie dintr-un rack adiacent sau conectarea tăvilor GPU pe un rând necesită de obicei densitatea lățimii de bandă și atingerea pe care o oferă fibra.Ansambluri de cabluri de fibră opticăşiConectivitate MPO/MTPsunt standard pentru aceste căi.
• Cameră-la-cameră și clădire-la-clădire (100 m–10+ km):Doar transportul optic este viabil la aceste distanțe și viteze. Acest domeniu de aplicare este important pentru dezagregarea la scară-campusului, unde pool-urile de stocare, resursele de calcul de rezervă sau-recuperarea în caz de dezastru se află în clădiri separate.

Interconexiune optică vs cupru în centre de date dezagregate

Alegerea dintre optic și cupru nu este binară -, ci depinde de domeniul-. Iată cum se compară cei doi între factorii care contează cel mai mult într-un design dezagregat:

Partea practică: folosiți cuprul acolo unde simplitatea pe distanțe scurte{0}}încă câștigă. Folosiți optica acolo unde acoperirea, densitatea lățimii de bandă, eficiența energetică sau gestionarea cablurilor devin constrângerile obligatorii. Într-un mediu dezagregat, ponderea optică a interconexiunii totale crește deoarece arhitectura în sine creează căi mai lungi și mai mari-cu lățime de bandă între grupurile de resurse separate. Pentru o comparație mai profundă a tipurilor de media, consultațiFibră optică vs cabluri de cupru: care este potrivit pentru implementarea dvs.

Avantajele cheie ale interconectarii optice pentru dezagregare

Densitate mai mare a lățimii de bandă pentru pool-uri de resurse separate

Dezagregarea crește volumul de trafic care traversează stratul de interconectare, deoarece resursele care au fost odată co{0}}locate acum comunică prin intermediul fabricii. Fibra optică acceptă această cerere cu o lățime de bandă mai mare per-fibră și mai multe fibre pe cablu. Un singurcablu fibră panglicăpoate transporta sute de fibre într-o secțiune transversală compactă-, permițând tipul de densitate de porturi pe care îl necesită clusterele GPU dezagregate și pool-urile de memorie.

Putere redusă și sarcină termică la scară

Eficiența energetică contează mai mult într-un design dezagregat, deoarece stratul de interconectare transportă o cotă mai mare din traficul total al sistemului. La 800G și mai sus, conexiunile de cupru pe distanțe moderate necesită procesare DSP intensă-putere la ambele capete. Legăturile optice la viteze și distanțe echivalente consumă mai puțină energie pe bit. Documentația tehnică NVIDIA privind platforma sa de comutare optică co-aReducere de 3,5 ori a consumului de energiecomparativ cu transceiver-urile tradiționale conectabile. La scara centrului de date, această diferență se traduce direct în facturi mai mici de energie electrică și infrastructură de răcire redusă.

Scalare modulară, independentă

Una dintre promisiunile de bază ale dezagregării este că calculul, memoria și stocarea se pot scala la rate diferite. Interconexiunea optică susține această promisiune, deoarece adăugarea capacității la un pool de resurse nu necesită reproiectarea întregii structuri.Module optice conectabilepoate fi actualizat sau adăugat treptat - de la 400G la 800G la 1,6T - fără a schimba instalația de fibre de bază.

Flexibilitate pentru sarcini de lucru eterogene

Atunci când resursele sunt puse în comun și conectate printr-o țesătură optică de-înaltă performanță, echipele de infrastructură pot atribui resurse sarcinilor de lucru în mod dinamic, în loc să modeleze încărcăturile de lucru în jurul configurațiilor fixe de server. Această flexibilitate este deosebit de valoroasă în mediile în care joburile de instruire AI,-inferența în timp real, conductele de analiză și aplicațiile grele de stocare-coexistă și concurează pentru diferite tipuri de resurse.

Cum se leagă interconexiunea optică cu CXL și optica co-pachetată

CXL: stratul de protocol pentru partajarea memoriei și a resurselor

CXL (Compute Express Link) și interconectarea optică rezolvă diferite părți ale problemei de dezagregare. CXL este un protocol standard deschis - construit pe stratul fizic PCIe - care permite cache-comunicarea coerentă între procesoare, dispozitive de memorie și acceleratoare. Acesta definește modul în care resursele separate pot fi grupate și partajate eficient la nivel de software și protocol.

Consorțiul CXL, ai cărui membri includ Intel, AMD, NVIDIA, Samsung, Microsoft, Google și Meta, a lansat CXL 3.1 în noiembrie 2023 cu suport explicit pentrucomutare pe mai multe-niveluri și dezagregare-fabricatădincolo de rack. CXL 3.0 a introdus suport pentru până la 4.096 de noduri într-o țesătură unificată, permițând gruparea memoriei la scară-rack și, potențial, la scară în cluster-.

Interconectarea optică este transportul fizic care poate transporta traficul CXL (și alte protocoale) între acele noduri distribuite. O echipă care evaluează gruparea de memorie bazată pe CXL-și o echipă care evaluează interconexiunea optică lucrează adesea la aceeași inițiativă de dezagregare din unghiuri diferite - unul se adresează protocolului și logicii de partajare a resurselor-, celălalt se adresează transportului fizic.

Optică combinată: împingerea optică mai aproape de cip

Optica combinată (CPO) merge mai departe prin integrarea motoarelor optice direct pe același substrat de pachet ca comutatorul ASIC sau GPU, mai degrabă decât să se bazeze pe transceiver-uri conectabile separate, conectate prin trasee electrice pe un panou frontal. Acest lucru elimină cele mai lungi și mai consumate-căi electrice din sistem.

La GTC 2025, NVIDIA și-a anunțat primulplatforme de comutare de fotonică de siliciu co-ambalate(Quantum-X Photonics și Spectrum-X Photonics), oferind o lățime de bandă de până la 409,6 Tb/s cu 512 porturi la 800 Gb/s. CEO-ul NVIDIA, Jensen Huang, a remarcat că scalarea la un milion de GPU-uri folosind transceiver-uri convenționale conectabile ar consuma doar aproximativ 180 MW în puterea transceiver-ului - o cifră nesustenabilă pe care CPO este proiectat să o abordeze.

CPO nu este ceva ce trebuie implementat astăzi pentru fiecare echipă care evaluează dezagregarea. Modulele optice conectabile rămân factorul de formă dominant pentru majoritateafibră optică a centrului de dateimplementări și va continua să fie cel puțin până la sfârșitul anilor 2020. Dar CPO reprezintă direcția foii de parcurs optice, iar echipele care planifică grupuri mari de AI sau fabrici dezagregate de generația următoare-ar trebui să urmărească îndeaproape maturitatea acesteia.

Când interconectarea optică are cel mai mult sens?

AI și medii grele{0}}acceleratoare

Clusterele de instruire AI sunt printre cele mai puternice cazuri de utilizare pentru interconectarea optică într-un context dezagregat. Aceste sisteme generează trafic masiv de la est-vest pe căile GPU-la-GPU-la-memorie. Pe măsură ce dimensiunile clusterelor cresc de la sute la mii de GPU, cererea de acoperire și lățime de bandă depășește rapid ceea ce poate suporta cuprul. În arhitectura NVIDIA GB200 NVL72, de exemplu, costurile de rețea (inclusiv transceiver-urile optice) reprezintă 15-18% din costul total al cluster-ului, iar transceiver-urile optice reprezintă aproximativ 60% din acel cost de rețea. Cazul economic și de performanță pentru optimizarea stratului optic este substanțial.

Pooling de memorie și infrastructură componabilă

Dacă echipa dvs. evaluează gruparea de memorie bazată pe CXL-, stratul de transport fizic trebuie să accepte acea separare fără a adăuga o latență inacceptabilă sau a limita scara. CXL 3.1 vizează în mod explicit dezagregarea la scară fabric-dincolo de rack, ceea ce înseamnă că căile de interconectare se vor întinde pe distanțe mai mari decât magistralele tradiționale de memorie intra-server. Legăturile optice sunt potrivite naturale pentru acele căi.

Medii-la scară largă cu nevoi de scalare inegale

Interconectarea optică are, de asemenea, mai mult sens atunci când calculul, memoria și stocarea trebuie să se extindă la rate diferite. Dacă capacitatea dvs. de calcul crește de 3 ori pe an, dar stocarea crește de 1,5 ori, o arhitectură dezagregată vă permite să extindeți fiecare grup independent -, iar interconectarea optică face acest lucru posibil din punct de vedere fizic, fără a reproiecta instalația de cablare de fiecare dată.

Când NU are sens

Interconectarea optică nu este punctul de plecare potrivit pentru fiecare mediu. Dacă centrul dvs. de date rulează în principal sarcini de lucru echilibrate, cu scop general-pe servere convenționale, iar traficul dvs. de la rack-la-rack este modest și-deservit de infrastructura existentă din cupru, costul și complexitatea unei fabrici-prima optice este posibil să nu fie justificate. În mod similar, dacă operați la o scară în care câteva zeci de servere vă satisfac nevoile, dezagregarea în sine poate introduce mai multă complexitate operațională decât salvează. Arhitectura dă roade atunci când scara, eterogenitatea și dezechilibrul resurselor sunt reale și măsurabile - nu ipotetice.

Ce trebuie evaluat înainte de implementare

1. Hartați blocajul real

Începeți cu o întrebare clară: care este constrângerea obligatorie? Este atingerea (căile de cupru prea scurte pentru aspectul rack-ului)? Densitatea lățimii de bandă (nu este suficient debit per cablu pentru a alimenta clusterul dvs. GPU)? Putere (legăturile electrice care consumă prea multă putere la 400G+)? Utilizarea resurselor (servere supraprovizionate pe o axă și înfometate pe alta)? Interconectarea optică este cea mai valoroasă atunci când blocajul este fizic și măsurabil, nu atunci când este adoptat ca un gest general de modernizare.

2. Evaluați costul total al sistemului, nu costul cablului

O greșeală comună este compararea prețului unui cablu de cupru cu prețul unui cablucablu opticîn izolare. Această comparație este înșelătoare. Comparația semnificativă include consumul de energie, supraîncărcarea termică (și costul de răcire pe care îl creează), densitatea portului pe unitate de rack, acoperirea utilizabilă, flexibilitatea upgrade-ului și costul resurselor blocate în arhitectura mai largă. În multe medii dezagregate la 400G și peste, costul total de deținere al fibrei este mai mic decât cuprul atunci când luați în considerare întregul sistem.

3. Verificați compatibilitatea și pregătirea operațională

Evaluatestarea cablurilor de fibră opticăcerințele, interoperabilitatea modulelor, instrumentele de monitorizare și familiaritatea operațională a echipei dumneavoastră cu fibra. Modulele optice conectabile (OSFP, QSFP-DD) sunt bine-standardizate și acceptate pe scară largă, dar echipa dvs. de operațiuni ar trebui să fie confortabilă cu manipularea, curățarea și depanarea fibrelor înainte de a le implementa la scară. Luați în considerare începerea cu un domeniu pilot unde puteți valida acești factori operaționali.

4. Planificați longevitatea plantei de fibre

Un avantaj semnificativ al infrastructurii de fibră este că instalația pasivă de fibră - cablurile, panourile de corelare și căile - pot suporta mai multe generații de tehnologie transceiver. Un-bine proiectatconectivitate centru de dateUzina de fibră instalată astăzi pentru 400G poate suporta upgrade-uri 800G și 1.6T prin schimbarea transceiver-urilor, fără a trage cabluri noi. Acest lucru face ca investiția inițială în fibră să fie mai susținută pe un orizont de planificare de 10 ani.

O cale practică de adopție

Pasul 1: Identificați un domeniu constrâns.Căutați locul în care atingerea cuprului, puterea, densitatea lățimii de bandă sau eșuarea resurselor creează deja dureri măsurabile. Aceasta poate fi o extindere a clusterului GPU, un blocaj-la-rack într-un mediu de analiză sau un pilot de pooling de memorie.

Pasul 2: Pilotează și validează.Implementați interconexiune optică în acel domeniu. Măsurați comportamentul latenței, consumul de energie, complexitatea operațională și economia de expansiune față de linia de bază existentă.

Pasul 3: extindeți pe baza dovezilor.Folosiți datele pilot pentru a construi cazul de afaceri și tehnic pentru o adoptare mai largă. Dezagregarea și migrarea optică sunt rareori cel mai bine gestionate ca un singur proiect big-bang. Lansarea pe etape vă permite să învățați, să ajustați și să construiți încrederea organizațională.

Lista de verificare a deciziei: este interconectarea optică potrivită pentru inițiativa dvs. de dezagregare?

• Distanțele dvs. de legătură-la-rack sau cameră-la-depășesc atingerea practică a cuprului la viteza țintă?
• Intenționați să implementați viteze de legătură de 400G sau mai mari în termen scurt?
• Consumul de energie de la interconectarea electrică devine o parte semnificativă din bugetul de energie al centrului dvs. de date?
• Evaluați gruparea de memorie bazată pe CXL-, infrastructura componabilă sau extinderea clusterului GPU?
• Este blocarea resurselor (calcul inactiv, memorie sau stocare blocată în servere fixe) o problemă de cost măsurabilă?
• Mediul dumneavoastră trebuie să scaleze calculul, memoria și stocarea la rate diferite?

Dacă se aplică trei sau mai multe dintre acestea, interconexiunea optică merită o evaluare serioasă ca parte a foii de parcurs de dezagregare.

FAQ

Ce este interconectarea optică într-un centru de date?

Interconectarea optică este o tehnologie de transport care utilizează semnale luminoase pestecabluri de fibră opticăpentru a transporta date între dispozitive de rețea, servere, comutatoare, sisteme de stocare și pool-uri de resurse în interiorul și între centrele de date. Oferă o lățime de bandă mai mare, o acoperire mai mare și o putere mai mică pe bit în comparație cu cuprul la viteze echivalente -, ceea ce îl face deosebit de important pentru arhitecturile dezagregate și orientate spre AI-.

Cum diferă interconectarea optică de CXL?

Ele operează la diferite straturi. Interconectarea optică este o tehnologie de transport fizic - care mută biții din punctul A în punctul B folosind lumină. CXL este un standard de protocol care definește modul în care CPU-urile, memoria și acceleratoarele comunică în mod coerent. Interconexiunea optică poate transporta trafic CXL, dar CXL rulează și prin legături electrice pentru conexiuni de -scurtă rază. Echipele le evaluează adesea pe ambele simultan, deoarece dezagregarea creează cerere atât pentru protocoale mai bune (CXL) cât și pentru un transport fizic mai bun (optică).

Pot coexista cuprul și opticul într-un centru de date dezagregat?

Da, și de obicei o fac. Cele mai multe medii dezagregate folosesc cuprul pentru conexiuni intra-foarte scurte (sub 3–5 metri), unde rămâne mai simplu și mai ieftin, și fibra optică pentru rack-la-rack-la-rând și căi mai lungi unde atingerea, puterea și limitarea cuprului devin blocaje. Decizia depinde de domeniul de aplicare-, nu tot-sau-nimic.

Ce este optica co-ambalată și am nevoie de ea acum?

Optica combinată (CPO) integrează motoarele optice direct în același pachet cu comutatorul ASIC sau procesorul, eliminând nevoia de transceiver conectabile separate și reducând consumul de energie și latența. NVIDIA și Broadcom implementează CPO în platformele de rețea AI de -generație următoare. Majoritatea centrelor de date nu au nevoie de CPO astăzi -module optice conectabilerămâne standardul -, dar CPO este pe foaia de parcurs pentru infrastructura-la scară largă AI în perioada 2026-2028.

Când NU ar trebui să urmăresc dezagregarea cu interconectarea optică?

Dacă sarcinile dvs. de lucru sunt bine-echilibrate între calcul, memorie și stocare; scara ta este modestă (câteva zeci de servere); iar infrastructura dvs. existentă de cupru face față nevoilor dvs. actuale și pe termen scurt de lățime de bandă-fără efort -. Este posibil ca complexitatea suplimentară a dezagregării și a migrării optice să nu merite investiția. Începeți cu gâtul de sticlă, nu cu cuvântul la modă.

Ce tipuri de fibră sunt utilizate în interconectarea optică a centrelor de date?

Fibră unic{0}modeste utilizat pentru legături de-distanță mai mare,-viteză mai mare (de obicei, de la rack-la-rack și nu numai).Fibră multimodalăeste obișnuită pentru conexiuni intra-de date- mai scurte, de până la câteva sute de metri. Alegerea depinde de acoperirea necesară, viteza și profilul de cost al fiecărei legături.