AMD parla di Stacking Compute e DRAM all'ISSCC 2023

All'ISSC 2023, la dottoressa Lisa Su, CEO di AMD, ha discusso dell'impilamento dei componenti e del motivo per cui è necessario un packaging avanzato per realizzare il calcolo Zettascale in futuro. Parte della discussione era incentrata sulla memoria. Dato che abbiamo appena pubblicato alcuni pezzi sulla memoria, abbiamo voluto trattarne brevemente su STH.

Uno dei maggiori limiti alla costruzione di sistemi più grandi è diventato il potere di accesso alla memoria. Ciò è avvenuto in due forme, principalmente da interfacce a velocità più elevata e semplicemente aggiungendo più canali di memoria ai server. Ecco il grafico di AMD dal 2007 circa al 2023.

Recentemente abbiamo discusso dell'aumento della larghezza di banda della memoria per core e per socket per Intel Xeon e AMD EPYC nell'ultimo decennio e abbiamo realizzato un pezzo RDIMM per server DDR5 in cui abbiamo mostrato perché il salto da DDR4 a 8 canali a DDR5 a 12 canali è stato così grande grande salto di prestazioni.

Una delle sfide più grandi riguarda l'I/O, dove l'efficienza energetica sta migliorando, ma la perdita di canali sta diventando una sfida ancora più grande.

L’impatto netto di ciò è che il passaggio alla DRAM sta diventando sempre più costoso dal punto di vista energetico. Abbiamo già visto casi in cui HBM è stata integrata in pacchetti per CPU e GPU, ma esistono altre tecnologie. Questi includono l’utilizzo di ottiche co-package e l’impilamento di chip 3D.

All'ISSCC 2023, AMD ha mostrato il concetto di avvicinare la memoria al calcolo utilizzando un interposer di silicio (simile a come le GPU integrano HBM oggi), al futuro dello stacking di memoria sul calcolo. Lo spostamento dei dati attraverso uno stack 3D utilizza molta meno energia rispetto al tentativo di inviare segnali agli slot DIMM DDR5.

Nel discorso è stato discusso il prossimo AMD Instinct MI300. Uno degli aspetti interessanti di questa presentazione è stato lo stacking 3D di Infinity Cache e Infinity Fabric sotto i core di CPU e GPU nell'MI300.

Per qualche riferimento, lo stacking 3D SRAM che vediamo nell'attuale Milan-X e presto nella serie Ryzen 7000X3D, posiziona la SRAM sopra il die della CPU. L'MI300 cambierebbe questo e posizionerebbe la cache sotto il die della CPU. Il raffreddamento è una sfida importante, quindi è logico avvicinare i riquadri di calcolo caldi a un blocco di raffreddamento a liquido.

Un altro argomento discusso rapidamente durante il discorso è stato l'elaborazione nella memoria. Abbiamo parlato di Samsung HBM2-PIM e Aquabolt-XL all'Hot Chips 33 e AMD ha affermato che sta lavorando alla ricerca sull'elaborazione della memoria con Samsung. L'idea qui è ancora più drammatica in quanto non è necessario spostare i dati dalla memoria per eseguire calcoli su di essi.

Ciò sembra ancora un po’ più lontano rispetto ad alcuni dei progressi nel packaging per la memoria.

Lo spostamento dei dati all'interno di un sistema e all'interno di un rack sta diventando un punto focale per il settore. Il costo in termini di energia e prestazioni per lo spostamento dei dati sminuisce l'efficienza complessiva di un sistema. Di conseguenza, l’intero settore sta lavorando per evolversi oltre la tipica CPU con annesso modello DRAM e passare a nuove architetture. Dato che l'intervento è avvenuto all'inizio di questa settimana, volevamo condividerlo con i lettori di STH questo fine settimana come qualcosa su cui riflettere.