┌─ Embedding ────────────────────────────────────┐ │ ┏━━━━━seq━━━━━┓ │ │ vocab ┃ │ │ ┃ ┃ │ │ ┃ T ┃ │ │ ┃ ┃ │ │ ┃ ┃ │ │ ┗━━━━━━━━━━━━━┛ │ │ ┏━━━━128256━━━━┓ ╔═════seq═════╗ │ │3072 ┃ 3072 ║ │ │ ┃ E ┃ ║ X ║ │ [01/22] Token embedding │ ┃ ┃ ║ ║ │ │ ┗━━━━━━━━━━━━◇━┛ ╚═════════════╝ │ └───────────────────────────────── Embedding end ┘ ┌─ Llama Block b ×28 ────────────────────────────┐ │ ╔═════seq═════╗ │ │ 3072 ║ │ ┌─ [02/22] BLOCK INPUT ─────────────────────┐ │ ║ Xᵦ ║ │ │ Operation: Route hidden state into block │ │ ║ ║ │ │ Equation: Xᵦ = X when b=0; │ │ ╚═════════════╝ │ │ otherwise output of block b−1 │ │ ┏━1━┓ ┏━━━━━seq━━━━━┓ │ │ Source: none (runtime activation routing) │ │ 3072 ┃ 3072 ┃ │ └───────────────────────────────────────────┘ │ ┃ γ ┃ ┃ Xᵦ′ ┃ │ [03/22] Attention RMSNorm │ ┃ ┃ ┃ ┃ │ │ ┗━◇━┛ ┗━━━━━━━━━━━━━┛ │ │ ┌─ GQA Group i ×8 ───────────────────────────┐ │ │ │ ┏━━3072━━━┓ ┏━━━━━seq━━━━━┓ │ │ │ │ 128 ┃ 128 ┃ │ │ [04/22] K projection │ │ ┃ Wk ┃ ┃ K ┃ │ │ │ │ ┗━━━━━━━◇━┛ ┗━━━━━━━━━━━━━┛ │ │ │ │ ┏━━━━━seq━━━━━┓ │ │ │ │ 128 ┃ │ │ [05/22] K rotary position encoding │ │ ┃ Kᵣ ┃ │ │ │ │ ┗━━━━━━━━━━━━━┛ │ │ │ │ ┏━━3072━━━┓ ┏━━━━━seq━━━━━┓ │ │ │ │ 128 ┃ 128 ┃ │ │ [06/22] V projection │ │ ┃ Wv ┃ ┃ V ┃ │ │ │ │ ┗━━━━━━━◇━┛ ┗━━━━━━━━━━━━━┛ │ │ │ │ ┌─ Query Head j ×3 ──────────────────────┐ │ │ │ │ │ ┏━━3072━━━┓ ┏━━━━━seq━━━━━┓ │ │ │ │ │ │ 128 ┃ 128 ┃ │ │ │ [07/22] Q projection │ │ │ ┃ Wq ┃ ┃ Q ┃ │ │ │ │ │ │ ┗━━━━━━━◇━┛ ┗━━━━━━━━━━━━━┛ │ │ │ │ │ │ ┏━━━━━seq━━━━━┓ │ │ │ │ │ │ 128 ┃ │ │ │ [08/22] Q rotary position encoding │ │ │ ┃ Qᵣ ┃ │ │ │ │ │ │ ┗━━━━━━━━━━━━━┛ │ │ │ │ │ │ ┏━━128━━┓ ┏━━━━━seq━━━━━┓ │ │ │ │ │ │ seq ┃ seq ┃ │ │ │ │ │ │ ┃ ┃ ┃ ┃ │ │ │ [09/22] Attention scores │ │ │ ┃ Kᵣᵀ ┃ ┃ S ┃ │ │ │ │ │ │ ┃ ┃ ┃ ┃ │ │ │ │ │ │ ┃ ┃ ┃ ┃ │ │ │ │ │ │ ┗━━━━━━━┛ ┗━━━━━━━━━━━━━┛ │ │ │ │ │ │ ┏━━━━━seq━━━━━┓ │ │ │ │ │ │ seq ┃ │ │ │ │ │ │ ┃ ┃ │ │ │ [10/22] Causal softmax │ │ │ ┃ A ┃ │ │ │ │ │ │ ┃ ┃ │ │ │ │ │ │ ┃ ┃ │ │ │ │ │ │ ┗━━━━━━━━━━━━━┛ │ │ │ │ │ │┏━━━━━seq━━━━━┓ ┏━━━━━seq━━━━━┓ │ │ │ │ │128 ┃ 128 ┃ │ │ │ [11/22] Weighted value aggregation │ │ │┃ V ┃ ┃ Hᵢⱼ ┃ │ │ │ │ │ │┗━━━━━━━━━━━━━┛ ┗━━━━━━━━━━━━━┛ │ │ │ │ │ └────────────────────────────── Head end ┘ │ │ │ └─────────────────────────────────── GQA end ┘ │ │ ┏━━━━━seq━━━━━┓ │ │ 128×3×8=3072 H₀₀ ┃ │ │ ┃ ⋮ ┃ │ [12/22] Head concatenation │ ┃ H₇₂ ┃ │ │ ┗━━━━━━━━━━━━━┛ │ │ ┏━━3072━━━┓ ┏━━━━━seq━━━━━┓ │ │ 3072 ┃ 3072 ┃ │ │ ┃ Wₒ ┃ ┃ Y ┃ │ [13/22] Attention output projection │ ┃ ┃ ┃ ┃ │ │ ┗━━━━━━━◇━┛ ┗━━━━━━━━━━━━━┛ │ │ ┏━━━━━seq━━━━━┓ ┏━━━━━seq━━━━━┓ │ │ 3072 ┃ 3072 ┃ │ │ ┃ Xᵦ ┃ ┃ R ┃ │ [14/22] Attention residual │ ┃ ┃ ┃ ┃ │ │ ┗━━━━━━━━━━━━━┛ ┗━━━━━━━━━━━━━┛ │ │ ┏━1━┓ ┏━━━━━seq━━━━━┓ │ │ 3072 ┃ 3072 ┃ │ │ ┃γ′ ┃ ┃ R′ ┃ │ [15/22] MLP RMSNorm │ ┃ ┃ ┃ ┃ │ │ ┗━◇━┛ ┗━━━━━━━━━━━━━┛ │ │ │ │ ┌─ MLP ──────────────────────────────────────┐ │ │ │ ┏━━3072━━━┓ ┏━━━━━seq━━━━━┓ │ │ │ │ 8192 ┃ 8192 ┃ │ │ │ │ ┃ ┃ ┃ ┃ │ │ [16/22] Gate projection │ │ ┃ Wg ┃ ┃ G ┃ │ │ │ │ ┃ ┃ ┃ ┃ │ │ │ │ ┗━━━━━━━◇━┛ ┗━━━━━━━━━━━━━┛ │ │ │ │ ┏━━3072━━━┓ ┏━━━━━seq━━━━━┓ │ │ │ │ 8192 ┃ 8192 ┃ │ │ │ │ ┃ ┃ ┃ ┃ │ │ [17/22] Up projection │ │ ┃ Wu ┃ ┃ U ┃ │ │ │ │ ┃ ┃ ┃ ┃ │ │ │ │ ┗━━━━━━━◇━┛ ┗━━━━━━━━━━━━━┛ │ │ │ │ ┏━━━━━seq━━━━━┓ │ │ │ │ 8192 ┃ │ │ │ │ ┃ ┃ │ │ [18/22] Gated activation │ │ ┃ P ┃ │ │ │ │ ┃ ┃ │ │ │ │ ┗━━━━━━━━━━━━━┛ │ │ │ │ ┏━━━8192━━━━┓ ┏━━━━━seq━━━━━┓ │ │ │ │ 3072 ┃ 3072 ┃ │ │ │ │ ┃ Wd ┃ ┃ M ┃ │ │ [19/22] Down projection │ │ ┃ ┃ ┃ ┃ │ │ │ │ ┗━━━━━━━━━◇━┛ ┗━━━━━━━━━━━━━┛ │ │ │ │ ┏━━━━━seq━━━━━┓ ┏━━━━━seq━━━━━┓ │ │ │ 3072 ┃ 3072 ┃ │ │ │ │ ┃ R ┃ ┃ Xᵦ₊₁ ┃ │ │ [20/22] MLP residual │ │ ┃ ┃ ┃ ┃ │ │ │ │ ┗━━━━━━━━━━━━━┛ ┗━━━━━━━━━━━━━┛ │ │ │ └─────────────────────────────────── MLP end ┘ │ └───────────────────────────────────── Llama end ┘ ┌─ Final ────────────────────────────────────────┐ │ ┏━1━┓ ┏━━━━━seq━━━━━┓ │ │ 3072 ┃ 3072 ┃ │ │ ┃γf ┃ ┃ Z ┃ │ [21/22] Final RMSNorm │ ┃ ┃ ┃ ┃ │ │ ┗━◇━┛ ┗━━━━━━━━━━━━━┛ │ │ ┏━━3072━━━┓ ┏━━━━━seq━━━━━┓ │ │ 128256 ┃ 128256 ┃ │ │ ┃ ┃ ┃ ┃ │ [22/22] Language-model head │ ┃ Eᵀ ┃ ┃ Logits ┃ │ │ ┃ ┃ ┃ ┃ │ │ ┃ ┃ ┃ ┃ │ │ ┗━━━━━━━◇━┛ ┗━━━━━━━━━━━━━┛ │ └───────────────────────────────────── Final end ┘