Pasaulē lielākais čips

Aug 23, 2021

Atstāj ziņu

Skrējienā, lai paātrinātu mākslīgo intelektu, Silīcija ielejas uzņēmums Cerebras izvēlas neparastu stratēģiju: Ej liels.


Kamēr tipiska datora mikroshēma ir nagu izmērs, Cerebras' mikroshēma ir pusdienu šķīvja izmērs.


Dziļā mācīšanās, AI tehnoloģija, kas nodrošina balss palīgus, pašbraucošās automašīnas un Go čempioni, balstās uz sarežģītu&"neironu tīklu &"; programmatūra, kas sakārtota slāņos. Dziļās mācīšanās sistēmas var darboties vienā datorā, bet lielākās sistēmas ir izvietotas tūkstošiem savienotu mašīnu, dažreiz lielos datu centros, piemēram, Google pārvaldītajos. Lielā klasterī līdz 48 picas kastes lieluma serveriem ieslīd viena cilvēka augstumā esošos plauktos; Plaukti ir sakārtoti rindās un aizpilda noliktavas lieluma ēku. Neironu tīkli šajās sistēmās var atrisināt biedējošas problēmas, taču tie arī saskaras ar acīmredzamām problēmām. Tīkls, kas vairojas klasterī, ir kā smadzenes, kas izkaisītas pa istabu un savienotas kopā. Elektroni pārvietojas ātri, taču pat tad saziņa starp mikroshēmām ir lēna un patērē daudz enerģijas.


Ēriks Višrija, Sanfrancisko riska kapitāla uzņēmuma Benchmark ģenerālpartneris, pirmo reizi saprata problēmu, kad 2016. gada pavasarī dzirdēja runājam par jaunu datoru mikroshēmu kompāniju Cerebras Systems. Benchmark ir pazīstams kā agrīnais ieguldītājs tādos uzņēmumos kā Twitter, Uber un ebay - tas ir, programmatūrā, nevis aparatūrā. Uzņēmums aplūko aptuveni 200 jaunizveidotus uzņēmumus gadā un iegulda vienā." Mēs spēlējām šo spēli, noskūpstot tūkstoš vardes," Višrija man teica. Savas runas sākumā viņš nolēma vardi mest atpakaļ." Es domāju, kāpēc es tam piekritu?" Mēs' negrasāmies ieguldīt aparatūrā,&- viņš atcerējās, ka domāja.&"Tas ir stulbi."


Cerebras līdzdibinātājs Endrjū Feldmans sāka ar slaidu pārsegu uz savas komandas slaidu un piesaistīja Višrijas' uzmanību: viņa talants bija iespaidīgs. Pēc tam Feldmans salīdzināja divu veidu datoru mikroshēmas. Pirmkārt, viņš aplūkoja grafikas apstrādes vienības jeb Gpus - mikroshēmas, kas īpaši paredzētas 3D attēlu radīšanai. Mūsdienās&mašīnmācīšanās sistēmas paļaujas uz šīm grafikas mikroshēmām dažādu iemeslu dēļ. Tālāk viņš aplūkoja centrālās procesora vienības jeb CPU-vispārējas nozīmes mikroshēmas, kas lielāko daļu darba veic tipiskā datorā.&"Trešais slaids bija par' Gpus,' kas patiesībā ir slikti dziļai mācībai - tie vienkārši ir simtreiz labāki par CPU." Cerebras ir izdomājis jauna veida mikroshēmu, kas nav paredzēta grafikai, bet ir īpaši izstrādāta mākslīgajam intelektam.


Vishria ir pieradis dzirdēt skaņas no uzņēmumiem, kas plāno izmantot dziļu mācīšanos kiberdrošībā, medicīniskajā attēlveidošanā, tērzēšanas robotos un citās lietojumprogrammās. Pēc Cerebras&runas viņš runāja ar inženieriem uzņēmumos, kurus finansēja Benchmark, tostarp Zillow, Uber un Stitch Fix; Viņi viņam teica, ka viņiem ir problēmas ar AI, jo&"apmācīšana &" aizņēma pārāk ilgu laiku; neironu tīkls. Google ir sācis izmantot īpaši ātras&"tenzoru apstrādes vienības, &"; vai Tpus, īpašas mikroshēmas, kas paredzētas MĀKSLĪGAI inteliģencei. Višrija zināja, ka notiek zelta drudzis, un kādam bija jāizdara cērtes un lāpstas.


Tajā gadā Benchmark and Foundation Capital, cita riska kapitāla firma, vadīja Cerebras finansējumu 27 miljonu ASV dolāru apmērā, kas ir piesaistījis gandrīz 500 miljonus ASV dolāru. Arī citi uzņēmumi ražo tā sauktos mākslīgā intelekta paātrinātājus; Cerebras' konkurenti groq, Graphcore un Sambanova savā starpā piesaistīja vairāk nekā 2 miljardus dolāru lielu kapitālu. Bet Cerebras' pieeja ir unikāla. Tā vietā, lai uz liela silīcija gabala izdrukātu desmitiem vafeļu, nogrieztu tās un savienotu savā starpā, uzņēmums ir izveidojis milzīgu&"vafeļu līmeni &"; mikroshēma. Kamēr tipiska datora mikroshēma ir naga lielumā, Cerebras ir aptuveni pusdienu šķīvja izmēra un ir lielākā datora mikroshēma pasaulē.


Pat konkurentiem šis sasniegums šķita iespaidīgs.&"Šī ir jauna zinātne, &"; Naidžels Toons, Graphcore' izpilddirektors un līdzdibinātājs, man teica.&"Tā ir neticama inženierija. Tas ir' šedevrs." Tikmēr cits inženieris, ar kuru es runāju, to raksturoja kā zinātnisku projektu - liels lielu cilvēku labā. Agrāk uzņēmums ir mēģinājis un nespēja izgatavot milzu mikroshēmas; Cerebras' plāns ir likme, ka inženiertehnisko izaicinājumu pārvarēšana ir iespējama un tā vērta.&"Godīgi sakot, man nezināšana ir priekšrocība, &"; Višrija teica." Es nezinu' nezinu, ja es zinātu, cik grūti ir darīt to, ko viņi dara, man būtu drosme ieguldīt."


Ir viegli uzskatīt par pašsaprotamu, ka datori kļūst arvien ātrāki. To bieži izskaidro Mūra likums: modelis, ko 1965. gadā izveidoja pusvadītāju pionieris Gordons Mūrs, saskaņā ar kuru tranzistoru skaits mikroshēmā dubultojas katru gadu vai reizi divos gados. Protams, Mūra&likums nav' īsti nav likums, un inženieri nenogurstoši strādā, lai samazinātu tranzistorus, vienlaikus uzlabojot&arhitektūru&"; katrai mikroshēmai, lai izveidotu efektīvākus un jaudīgākus dizainus.


Chip arhitekti jau sen ir domājuši, vai viena liela mēroga datora mikroshēma varētu būt efektīvāka par mazāku mikroshēmu kopumu, tāpat kā pilsēta ar koncentrētiem resursiem un blīviem blokiem ir efektīvāka nekā piepilsēta. Ideja pirmo reizi tika izmēģināta pagājušā gadsimta 60. gados, kad Texas Instruments ierobežoja dažu collu platu mikroshēmu ražošanu. Bet uzņēmuma' inženieri saskārās ar ražas problēmām. Jebkurā silīcija plāksnē ražošanas defekti neizbēgami apdraud noteiktu ķēžu skaitu. Ja vafelē ir 50 mikroshēmas, uzņēmums var izmest sliktos un pārdot labos. Bet, ja katra veiksmīgā mikroshēma būtu atkarīga no vienas vafeles darba shēmas, daudzas dārgas vafeles tiktu izmestas. Texas Instruments atrada risinājumu, taču tehnoloģija un nepieciešamība vēl nebija pieejama.


Pagājušā gadsimta astoņdesmitajos gados inženieris Džīns Amdāls vēlreiz mēģināja atrisināt problēmu ar viņa dibinātu uzņēmumu ar nosaukumu Trilogy Systems. Tas kļuva par lielāko starta uzņēmumu Silīcija ielejas vēsturē ar aptuveni 250 miljonu ASV dolāru finansējumu. Lai atrisinātu ražas problēmu, Trilogy mikroshēmā iespieda liekos komponentus. Šī metode palielina ražošanu, bet samazina mikroshēmas ātrumu. Tikmēr Trilogy cīnās citādi. Amdahl ar saviem ruļļiem Royce uzbrauca motociklistam, radot juridiskas nepatikšanas; Tās prezidents nomira no smadzeņu audzēja; Spēcīgās lietavas aizkavēja rūpnīcu celtniecību, rūsējošas gaisa kondicionēšanas sistēmas un putekļu savākšanu uz skaidām. 1984. gadā Trilogy padevās.&"Es nesapratu, cik grūti tas būtu, &"; Amdala&dēls pastāstīja laikrakstam The Times.


Ja Trilogy' s tehnoloģija ir veiksmīga, to tagad var izmantot dziļai mācīšanai. Tā vietā Gpus (mikroshēmas, ko izmanto videospēlēs) risina zinātniskas problēmas valstu laboratorijās. Gpus atkārtota izmantošana AI ir atkarīga no tā, ka neironu tīkli, kaut arī ļoti sarežģīti, balstās uz daudzkārtēju pavairošanu un saskaitīšanu. Kad&"; neironi &"; tīklā viens otru aktivizē, tie pastiprina vai samazina' signālus, reizinot tos ar koeficientiem, ko sauc par savienojuma svariem. Efektīvs AI procesors paralēli aprēķinās daudzas aktivizācijas; Tas tos apvieno skaitļu sērijā, ko sauc par vektoriem, vai skaitļu režģos, ko sauc par matricām, vai augstākas dimensijas blokos, ko sauc par tenzoriem. Ideālā gadījumā jūs vēlaties reizināt vienu matricu vai tenzoru ar citu uzreiz. Gpus ir paredzēts darīt kaut ko līdzīgu:


& "; Triloģijas ēna ir tik liela, &"; Feldmans man nesen teica:" ka cilvēki pārstāj domāt un sāk teikt:' Tas' nav iespējams.'" GPU uzņēmumi, tostarp Nvidia, izmantoja iespēju pielāgot mikroshēmas dziļai mācīšanai. 2015. gadā Feldmans un datoru arhitektu grupa sāka apspriest ideju par lielākām mikroshēmām pēc tam, kad viņi līdzdibināja datoru serveru ražotāju Seamicro, ko viņi pārdeva mikroshēmu ražotājam AMD par 334 miljoniem ASV dolāru. Viņi pie šī jautājuma strādāja četrus mēnešus birojā, kas bija aizņemts no riska kapitāla firmas. Kad viņiem bija dzīvotspējīga risinājuma izklāsts, viņi runāja ar astoņiem uzņēmumiem; Es saņēmu finansējumu no Benchmark, Foundation Capital un Eclipse un sāku pieņemt darbā.


Cerebras' pirmais uzdevums ir atrisināt ražošanas problēmas, kas nomoka lielas mikroshēmas. Sākotnēji mikroshēma bija cilindrisks kristāla silīcija lietnis, kura diametrs bija aptuveni pēda, un tērauda lietņu sagrieza mazāk nekā milimetru biezās plāksnēs. Pēc tam ķēde tiek&", iespiesta &"; uz vafeles, izmantojot procesu, ko sauc par litogrāfiju. Uv jutīgās ķīmiskās vielas tiek rūpīgi nogulsnētas uz virsmas, un pēc tam caur detalizētu veidni, ko sauc par masku, tiek projicēts UV gaismas stars. Šīs ķīmiskās vielas reaģē uz ķēdēm.


Parasti apgabals, ko pārklāj gaisma, kas projicēta caur masku, kļūst par mikroshēmu. Tad mikroshēma pārvietojas un gaisma atkal tiek projicēta. Pēc desmitiem vai simtiem mikroshēmu drukāšanas tās tiek izgrieztas ar lāzeru no vafeles.&"; Vienkāršākais veids, kā to izdarīt, ir mammai izņemt apaļu cepumu mīklu, &"; Feldmanis teica.&"Viņai ir cepumu veidne, un viņa rūpīgi sagriež cepumus." Fizikas un optikas likumi neļauj izveidot lielāku cepumu griezēju. Tā rezultātā" mēs izstrādājām tehnoloģiju, lai jūs varētu sazināties ar mazu mīklu starp diviem sīkfailiem."


Drukāšanas sistēmā Cerebras, kas izstrādāta sadarbībā ar TSMC, kas ražo mikroshēmu, sīkfailu malas pārklājas tā, lai to vadi būtu savienoti. Rezultāts ir viens&"vafeļu izmērs &"; vafeles, vara krāsas kvadrāts un 21 cm katrā pusē. (Lielāko Gpus diametrs ir nedaudz mazāks par 3 cm.) Cerebras savu pirmo mikroshēmu, vafeļu mēroga dzinēju 1, ražoja 2019. gadā. Wse-2, kas tika ieviests šogad, izmanto blīvāku ķēdi ar 2,6 triljoniem tranzistoru, kas iepakoti 850 000 apstrādes vienību vai&"; serdeņi &". (Top Gpus ir tikai daži tūkstoši kodolu, bet lielākajai daļai CPU ir mazāk nekā 10.)


& "; 2,6 triljoni tranzistoru ir pārsteidzoši, &"; sacīja Synopsys priekšsēdētājs un līdzdirektors Ārts de Geuss. Synopsys piedāvā programmatūru, ko Cerebras un citi mikroshēmu ražotāji izmanto, lai izveidotu un apstiprinātu savu mikroshēmu dizainu. De Geuss saka, ka, izstrādājot mikroshēmas, inženieriem vispirms ir jāapsver divi galvenie jautājumi:" No kurienes nāk dati?" Kur tas tiek apstrādāts?" Kad mikroshēmas bija vienkāršākas, dizaineri uz šiem jautājumiem varēja atbildēt ar zīmuli uz zīmēšanas galda; Strādājot ar mūsdienu' sarežģītākajām mikroshēmām, ievadiet kodu, kas apraksta arhitektūru, ko viņi vēlas izveidot, un pēc tam pārejiet pie vizualizācijas un kodēšanas rīkiem." Padomājiet par to, kā māja izskatās no jumta," de Geuss teica." Vai garāža atrodas virtuves tuvumā? Vai arī tas ir tuvu guļamistabai? Jūs vēlaties to virtuves tuvumā - pretējā gadījumā jums būs jānes pārtikas preces pa katru mājas stūri." Pēc grīdas plāna izstrādes viņš paskaidroja:" jūs varat izmantot vienādojumus, lai aprakstītu telpā notiekošo."


Mikroshēmu dizaina sarežģītība ir prātam neaptverama.&"Šeit ir daudz slāņu, &"; de Geuss teica, ķēdēm šķērsojot un slāņojot viena virs otras, piemēram, lielu šosejas estakādi. Cerebras inženieriem, strādājot pie vafeļu skalas, sarežģītība ir palielināta. Konspekts' programmatūra palīdz mākslīgā intelekta veidā: modeļu saskaņošanas algoritmi nosaka kopējās problēmas un piedāvā risinājumus; Optimizētāja programma pārvieto telpu uz ātrāku un efektīvāku izkārtojumu. Ja divu kvartālu ēkā mēģina iespiesties pārāk daudz joslu, programmatūra ļauj inženieriem spēlēt Robertu Mozu un pārvietot bloku.


Galu galā, Feldmans saka, liela izmēra mikroshēmu dizainam ir vairākas priekšrocības. Kad kodoli atrodas vienā mikroshēmā, tie sazinās ātrāk: datora smadzenes tagad ir koncentrētas vienā galvaskausā, nevis izkaisītas pa istabu. Lielākas mikroshēmas arī labāk apstrādā atmiņu. Parasti nelielai mikroshēmai, kas gatava faila apstrādei, vispirms jāiegūst fails no koplietojamās atmiņas mikroshēmas, kas atrodas citur shēmas plates; Tikai visbiežāk izmantotie dati tiek saglabāti kešatmiņā tuvāk mājām. Raksturojot vafeļu līmeņa mikroshēmu efektivitāti, Feldmans piedāvāja līdzību: Viņš lūdza mani iedomāties istabas biedru grupu (kodolu), kas dzīvo kopmītnē (mikroshēmā) un vēlas skatīties futbola spēli (veikt skaitļošanas darbu). Lai skatītos spēli, feldman saka, istabas biedriem alus jāuzglabā ledusskapī (dati tiek glabāti atmiņā); Cerebras katrā istabā glabā ledusskapi, tāpēc istabas biedriem nav jāriskē doties uz kopmītnes' koplietošanas virtuvi vai Safeway. Tam ir papildu priekšrocība, ļaujot katram kodolam ātrāk apstrādāt dažādus datus.&"Lai es varētu uzņemt Budu savā kopmītnes istabā, &"; Feldmanis teica.&"; Jūsu kopmītnē jums var būt Šlicis."


Visbeidzot, Cerebras ir jāpārvar ražas problēmas. Uzņēmuma' inženieri izmanto triloģijas' triku: atlaišanu. Bet šeit viņiem ir priekšrocības salīdzinājumā ar saviem priekšgājējiem. Trilogy mēģina izveidot vispārīgas mikroshēmas ar daudziem dažādiem komponentiem, tāpēc, lai izveidotu savienojumu ar vienu neveiksmīgu komponentu, var būt nepieciešams izveidot savienojumu ar tālu nomaiņu. Par Cerebras' mikroshēmu, visi kodoli ir identiski. Ja viens biskvīts ir nepareizs, apkārtējie ir tikpat labi.