Chip AI AI „cal negru” pentru a ucide, cel mai mare cip din istorie

Conform mai multor rapoarte media străine, recent, lansarea de cipuri AI din SUA, CerebrasSystems, a lansat cel mai mare cip vreodată, cipul numit „TheCerebrasWaferScaleEngine”; (denumit în continuare WSE) are 1,2 trilioane de tranzistoare.

În istoria cipurilor, în 1971, primul procesor 4004 de la Intel avea doar 2.300 de tranzistoare, iar cel mai recent procesor avansat de micro-dispozitive avea doar 32 de miliarde de tranzistoare. Samsung a construit, de asemenea, un cip de memorie flash (cip eUFS) cu 2 trilioane de tranzistoare, dar nu este potrivit pentru calculatoare AI.

WSE, cel mai mare cip de înregistrare, sa născut pentru calculatoare AI.

Datele arată că cipul de 42.225 de metri pătrați are 400.000 de nuclee, care sunt conectate între ele printr-o rețea de comunicații inter-mesh cu rețea de hardware fină, care furnizează 100 PB de lățime de bandă totală pe secundă. Mai multe nuclee, mai multă memorie locală și o arhitectură cu lățime mare de bandă cu latență scăzută creează cea mai bună arhitectură pentru accelerarea activității AI. WSE este de 56,7 ori mai mare decât cel mai mare GPU și are 18 GB de cip-on.

De fapt, majoritatea cipurilor de astăzi sunt integrări cu mai multe cipuri bazate pe siliciu de 12 inci. Însă cipul de la CerebrasSystems este un cip separat în care tranzistoarele sunt interconectate pe o placă de siliciu cu un singur cristal. Designul interconectat permite tuturor tranzistoarelor să funcționeze cu viteze mari în ansamblu.

Explicat în mod explicit, acest produs este complet învățat pe calculator, mai mult decât puterea de calcul și lățimea de bandă de stocare, scuze, nivelul oamenilor sau vocabularul nou - ritmuri de ritm (Petabytes, 1PB = 1024TB = 10 ^ 6GB = 2 ^ 50bit), viteza este de aproximativ 3.000 de ori cea a celui mai mare procesor grafic NVIDIA (GPU, puterea de calcul în virgula flotantă, folosită frecvent în cercetarea referitoare la AI), iar lățimea de bandă de stocare este de 1000 de ori.

O astfel de capacitate puternică provine de la tranzistoarele sale de 1,2 trilioane de pe cip. Se știe că procesorul 4004 de la Intel avea 2.300 de tranzistoare în 1971. Conform Legii lui Moore, „la fiecare 18 luni, numărul tranzistorilor de pe cip se dublează” Până în acest an, ar trebui să existe exact 1 trilion de tranzistoare și încă un tranzistor și puterea de calcul care poate fi realizată este mărită cu un punct. În al doilea rând, designul său de arhitectură de chip și interconectarea cipului și schema de comunicare sunt, de asemenea, foarte avansate, ceea ce face ca sinergia dintre tranzistoarele de 1,2 trilioane să fie foarte sincronă, întârzind nivelul nanosecundelor. În timpul rulării, acest tranzistor de 1,2 trilioane este ca și cum un tranzistor este sincronizat.

În domeniul inteligenței artificiale, dimensiunea cipului este foarte importantă. Deoarece cipurile mari procesează informațiile mai rapid, timpul pentru a genera răspunsuri este mai scurt. Reducerea timpului de observare sau „timpul de pregătire”. permite cercetătorilor să testeze mai multe idei, să utilizeze mai multe date și să rezolve noi probleme. Google, Facebook, OpenAI, Tencent, Baidu și mulți alții cred că limitarea fundamentală a dezvoltării inteligenței artificiale astăzi este că durează prea mult timp pentru a antrena modelul. Prin urmare, reducerea timpului de pregătire va elimina un blocaj major în progresul industriei.

Desigur, producătorii de cipuri de obicei nu produc cipuri mari dintr-un motiv. Pe o singură placă, de obicei apar anumite impurități în timpul procesului de fabricație. O mică impuritate poate provoca defectarea cipului și chiar poate descompune sever mai multe jetoane. Dacă un singur cip este fabricat pe o singură placă, probabilitatea ca acesta să conțină impurități este de 100%, iar impuritățile vor provoca cu siguranță cipul. Dar designul cipului CerebrasSystems este marginal, asigurând că una sau o cantitate mică de impurități nu vor invalida întregul cip.

CEOF de la Cerebras Systems, a declarat într-un comunicat, „cipul WSE al companiei este conceput pentru inteligență artificială și conține inovații de bază care rezolvă provocări tehnice care limitează dimensiunea cipului de zeci de ani, cum ar fi conexiunea încrucișată *, randamentul, puterea de putere. Și ambalaje. Fiecare decizie arhitecturală este de a optimiza performanța lucrărilor de inteligență artificială. Ca urmare, cipul WSE oferă sute sau mii de ori de soluții existente în funcție de volumul de muncă, cu puțină putere și spațiu. . Performanță & quot;

Aceste îmbunătățiri ale performanței sunt obținute prin accelerarea tuturor elementelor de formare a rețelei neuronale. Rețeaua neuronală este o buclă de feedback computațional pe mai multe niveluri. Cu cât intrarea trece mai repede prin buclă, cu atât mai rapidă bucla învață sau „trenuri”. Modul de a obține o intrare mai rapidă prin buclă este de a accelera calculul și comunicarea în buclă.

În arhitectura de comunicare, arhitectura de comunicare a clusterului traversează lățimea de bandă și întârzierea cauzată de o parte din consumul de energie din tehnologia tradițională de comunicare, datorită utilizării procesorului de releu pe WSE. Prin utilizarea unei structuri în două dimensiuni pentru a conecta 400.000 de procesoare bazate pe WSE, arhitectura clusterului realizează o latență scăzută și o lățime de bandă mare, cu o lățime de bandă totală de până la 100 de bătăi pe secundă (1017 octeți pe secundă). . Chiar dacă nu este instalat niciun software suplimentar, o astfel de structură de cluster poate susține procesarea globală a informațiilor, iar informațiile primite sunt procesate de procesorul corespunzător.

Pentru acest produs, producția în masă și disiparea căldurii pot fi principalele provocări. Cu toate acestea, la apariția WSE, punctele sale principale sunt suficiente.

Analistul principal al grupului Linley, Linley Gwennap, a declarat într-o declarație: „CerebrasSystems a făcut pași mari în tehnologia pachetelor pe wafer, iar performanța de procesare pe un cip de siliciu depășește cu mult imaginația oricui. Realizând acest obiectiv, compania a rezolvat o serie de provocări inginerești care au afectat industria de zeci de ani, inclusiv permiterea unei comunicări de înaltă viteză în regim de presiune, rezolvarea defectelor de fabricație, ambalarea cipurilor de dimensiuni mari, furnizarea de alimentări de înaltă densitate și răcire. sisteme. CerebrasSystems Reunirea inginerilor de top din diferite discipline, crearea de noi tehnologii și livrarea unui produs în doar câțiva ani este o realizare impresionantă. & Quot;

Analistul principal și fondatorul TiriasResearch, Jim McGregor, a declarat într-un comunicat: „Până în prezent, procesorul grafic reconfigurat a satisfăcut cererea uriașă de inteligență artificială pentru puterea de calcul. Soluția de astăzi va avea sute de aceste elemente grafice reconfigurate. Procesoarele sunt conectate împreună și necesită luni întregi pentru instalare, folosesc sute de kilowati de putere și modifică pe larg software-ul de inteligență artificială, chiar și luni pentru a obține funcționalitate. În schimb, WSE cu un singur chip Dimensiunea absolută a cipului permite mai mult calcul, memorie de performanță mai mare și lățime de bandă mai mare. Jetoanele WSA evită conexiuni libere, memorie lentă, bazată pe cache și integrare prin tehnici de integrare a pachetelor la scară wafer. Limitările tradiționale de performanță inerente cipurilor de procesare centrate pe grafică.

Înființată în 2016, CerebrasSystems a fost un mister și cheie scăzută în industrie încă de la înființare, concentrându-se pe furnizarea de date de date pentru instruirea în centrele de date. A fost numită „cea mai așteptată 100 de companii de cipuri din lume”. de CBInsights. Conform datelor, compania a finalizat o finanțare din seria A de 25 de milioane de dolari în 2016. Investitorul a fost un cunoscut capitalist de risc Benchmark, ulterior a primit mai multe runde de finanțare. În septembrie 2017, a primit o sumă totală de 112 milioane dolari, finanțată în valoare de 860 milioane USD.

Fundalul echipei fondatoare a companiei este, de asemenea, foarte puternic. Co-fondatorul și CEO Andrew Feldman, care a fondat compania de cipuri SeaMicro, a fost achiziționat de AMD în 2012 pentru 334 de milioane de dolari. După ce SeaMicro a fost achiziționat de AMD, colegii de clasă originali au intrat în cea mai mare parte a AMD pentru a-și continua munca, așa că atunci când Andrew Feldman a preluat conducerea pentru a-și continua activitatea, mulți colegi vechi au ales să-i urmeze, iar majoritatea celorlalți membri ai echipei majore au fost în mare parte cu fondatorul. Andrew Feldman.

Unul dintre lucrurile demne de menționat este Gary Lauterbach. În anii 90, când Sun era în toiul zilei, Gary Lauterbach a ocupat funcția de proiectant principal de cipuri al companiei. Mai târziu, la SeaMicro, s-a ocupat în principal de proiectarea serverului cu putere redusă. Se poate spune că compania a acumulat un număr mare de consum redus de energie la începutul creației. Veteranul designului cipului, acesta este fără îndoială un câștig pentru startup-ul mediu.

Apoi, în 2018, un alt greoi s-a alăturat Celebras Systems, iar fostul vicepreședinte de arhitectură și centru de date CTO Dhiraj Mallick a ocupat oficial funcția de vicepreședinte al ingineriei și afacerilor. Pe durata mandatului său la Intel, veniturile din al doilea trimestru din 2018 au crescut cu 1 miliard de dolari an de la an. În prima jumătate a anului 2018, veniturile centrului de date ale companiei au fost majorate la 10 miliarde de dolari. Este o tehnologie recunoscută și un geniu de afaceri. De asemenea, este un vechi coleg al lui AndrewFeldman la SeaMicro și AMD. Compania are acum 194 de angajați.

CerebrasSystems are un drum lung de parcurs în viitor, dar nu este dificil de imaginat că AI aduce un val de arhitectură computerizată și tehnologie de ambalare cip. Ne putem aștepta să asistăm la jetoane AI mai interesante și chiar neașteptate.