概要
1.58ビット（三値）重みを用いた10億パラメータ規模LLM推論をウェイトリロードなしで実現するCiROMアーキテクチャ。双方向ROMアレイ・三値局所アキュムレータ・KVキャッシュ用eDRAMを統合し、外部DRAMアクセスを43.6%削減。20.8 TOPS/Wの高効率と先行デジタルCiROM比10倍の面積効率を達成する。
A weight reload-free Compute-in-Read-Only-Memory (CiROM) architecture for billion-parameter LLM inference using 1.58-bit (ternary) weights. Integrates bidirectional ROM arrays, tri-mode local accumulators, and eDRAM KV-cache management, reducing external DRAM access by 43.6% during decoding. Achieves 20.8 TOPS/W and 10× area efficiency improvement over prior digital CiROM designs.