La potenza dell’M3 Ultra: il nuovo Mac Studio esegue deepseek R1 localmente
Dave Lee (Dave2D) ha dimostrato che il Mac Studio con chip M3 Ultra, configurato con 512 GB di RAM, è in grado di far girare localmente e con efficienza una versione estesa del modello di intelligenza artificiale DeepSeek R1.
Nei suoi test, Lee ha mostrato come la workstation Apple di alta gamma può processare un modello AI di ben 671 miliardi di parametri direttamente sulla macchina. Questa operazione, però, esige risorse di memoria significative: 404 GB di spazio di archiviazione e 448 GB di VRAM, quest’ultima allocata manualmente tramite linea di comando.
Il segreto di questa performance risiede nell’architettura di memoria unificata dell’M3 Ultra. Questa consente la gestione efficiente di una versione a 4-bit quantizzata di DeepSeek R1. La quantizzazione comporta una lieve perdita di accuratezza, preserva però tutti i parametri del modello e garantisce una velocità di elaborazione di circa 17-18 token al secondo, sufficiente per un’ampia gamma di applicazioni concrete.
L’aspetto più notevole è forse l’efficienza energetica: il Mac Studio compie tutto questo consumando meno di 200 Watt. Un sistema PC tradizionale, per ottenere prestazioni simili, necessiterebbe di molteplici schede grafiche (GPU) con un consumo energetico circa dieci volte superiore.
La possibilità di eseguire localmente modelli AI complessi offre importanti garanzie di privacy, soprattutto in contesti sensibili come l’analisi di dati sanitari, dove l’invio di informazioni a servizi cloud esterni solleva preoccupazioni per la sicurezza dei dati.
