#tiny-language-models

Microsoft Researchは、tiny language modelsを用いた推論拡張の新成果を公表した。2-bit量子化とternary weight設計、最大8倍高速化・4倍メモリ削減という効率指標を前面に出し、edge実装の実用性を訴求している。