[🔍 CLICCA PER INGRANDIRE]

DeepSeek DSpark accelera la generazione di testo fino all'85% con decodifica speculativa

Il sistema open source DSpark, sviluppato da DeepSeek e dalla Peking University, promette di tagliare fino all'85 per cento i tempi di risposta dei modelli linguistici. Utilizza una tecnica chiamata decodifica speculativa per far lavorare in parallelo un modello piccolo e uno grande, senza sacrificare la qualità delle risposte. LEGGI TUTTO L'ARTICOLO.


🎧 Ascolta questo articolo

Bonus Video

Perchè i modelli linguistici sono lenti
Quando scriviamo una domanda a un chatbot come DeepSeek, il modello non risponde all'istante con una frase completa. Genera un token alla volta, dove ogni token è una piccola unità di testo, e per ogni token deve rileggere l'intera conversazione e calcolare la parola successiva. Il calcolo matematico in sè è rapido, ma il vero collo di bottiglia è il trasferimento dei dati: i pesi del modello e la memoria della conversazione, chiamata cache di attenzione, devono essere caricati dalla memoria della GPU, il processore grafico che esegue i modelli. Questo trasferimento lascia i core di calcolo inattivi per la maggior parte del tempo, come un motore acceso ma con la frizione premuta. La decodifica speculativa cerca di risolvere questo spreco facendo lavorare contemporaneamente due modelli: uno piccolo e veloce, detto drafter, che propone una bozza di risposta, e uno grande e accurato, che la controlla tutta insieme.

Il problema del drafter parallelo: quando la bozza diventa incoerente
Esistono due tipi di drafter. Quello sequenziale, usato da tecniche come EAGLE-3, genera un token dopo l'altro ed è preciso, ma impiega tempo. Quello parallelo, come DFlash, produce l'intero blocco di token in un solo passaggio ed è velocissimo, ma ogni token viene scelto senza sapere cosa hanno scelto i token vicini. Immagina di dover scrivere una risposta di dieci parole, ma ogni parola la scegli in isolamento, senza leggere quella precedente: potresti scrivere "certo problema" quando avresti voluto dire "nessun problema". Questo fenomeno si chiama suffix decay, il degrado della coda del blocco, e diventa più grave man mano che ci si allontana dall'inizio della frase. Un blocco lungo che perde coerenza a metà strada rallenta invece di accelerare, perchè il modello grande lo rifiuta e deve ricominciare da capo.

La soluzione di DSpark: una memoria minima per tenere il filo
DSpark risolve il problema separando la generazione in due fasi. Prima, un motore parallelo simile a DFlash produce le probabilità di base per ogni posizione del blocco. Poi, una seconda testa leggera e sequenziale corregge quelle probabilità guardando solo il token immediatamente precedente, come chi aggiusta le parole di una frase leggendola parola per parola. Questa testa usa una struttura di tipo markoviano, che tiene conto soltanto dell'ultimo token generato, ed è resa estremamente efficiente da una compressione che riduce la matrice di transizione tra tutte le parole del vocabolario a un rango di sole 256 dimensioni. Il costo aggiuntivo dichiarato è marginale, tra lo 0,2 e l'1,3 per cento di latenza in più rispetto a un drafter parallelo puro, ma il guadagno in coerenza permette di accettare blocchi più lunghi fino al 30 per cento in più.

L'intelligenza di sapere quando fermarsi
Un blocco coerente non basta se il sistema lo verifica per intero anche quando la coda è destinata al rifiuto. DSpark aggiunge una testa di confidenza che stima, per ogni token proposto, la probabilità che sopravviva al controllo del modello grande. Un algoritmo di scalatura della temperatura regola questa stima in base al contesto, permettendo di alzare o abbassare la soglia di accettazione. Nei test sul modello Qwen3-4B, alzando la soglia il tasso di accettazione dei token proposti sulla chat generica è passato dal 45,7 al 95,7 per cento, sulla matematica dal 76,9 al 92,5 per cento e sul codice dal 67,6 al 92 per cento. Uno scheduler che legge in tempo reale il carico dell'hardware usa queste stime per distribuire la capacità di verifica tra tutte le richieste attive, allungando i blocchi quando il sistema è scarico e accorciandoli quando il traffico aumenta.

I numeri in produzione e la verifica indipendente
Nei test offline su modelli Qwen3 da 4, 8 e 14 miliardi di parametri, DSpark ha migliorato la lunghezza media dei token accettati del 26,7-30,9 per cento rispetto a EAGLE-3 e del 16,3-18,4 per cento rispetto a DFlash. Distribuito sui server di produzione di DeepSeek-V4, accelera la generazione per utente del 60-85 per cento sul modello V4-Flash e del 57-78 per cento su V4-Pro rispetto al precedente sistema di predizione multi-token. Sotto un vincolo severo di 120 token al secondo per utente, il guadagno di throughput aggregato sale fino al 661 per cento, ma va letto con cautela: a quella soglia il sistema precedente andava quasi in tilt, quindi il confronto evidenzia più la capacità di DSpark di gestire carichi estremi che un reale moltiplicatore di velocità nell'uso quotidiano. Una verifica indipendente su Apple Silicon, pubblicata su GitHub, ha misurato su modelli Qwen3 e Gemma-4 un'accelerazione tra 1,4 e 1,65 volte, confermando parzialmente i risultati di DeepSeek su scala ridotta.

Un toolkit aperto per tutti
Insieme al paper, DeepSeek ha rilasciato DeepSpec, un toolkit con licenza MIT che permette a chiunque di addestrare e valutare i propri drafter. Il repository include le implementazioni di DSpark, DFlash ed EAGLE-3 sotto un unico framework, con checkpoint già pronti per i modelli Qwen3 e Gemma. Questo significa che la tecnica non è un'esclusiva di DeepSeek: qualsiasi azienda o sviluppatore che gestisce un proprio modello linguistico può addestrarla sul proprio traffico e ottenere accelerazioni simili. La decodifica speculativa non altera la qualità delle risposte, perchè il modello finale verifica ogni token e scarta quelli sbagliati. È una differenza fondamentale rispetto ad altre tecniche come la quantizzazione o la distillazione, che sacrificano un pò di precisione per guadagnare velocità. In un'epoca in cui il costo dell'inferenza pesa sempre di più sui bilanci, DSpark offre una strada aperta e verificabile per far correre i modelli linguistici senza pagare pegno in termini di qualità.

DSpark rappresenta un passo avanti concreto nell'ottimizzazione dei modelli linguistici, rendendo la decodifica speculativa accessibile e portando vantaggi misurabili sia a chi sviluppa modelli in proprio sia a chi li utilizza tramite API.

Nessun commento trovato.

Disclaimer
L'indirizzo IP del mittente viene registrato, in ogni caso si raccomanda la buona educazione.