Fediverse search system
beta version
JJ1GUJ/2
2025/06/16 00:10
jiskey
調べてみたらLLMの量子化かなりお手軽にできるっぽいので試してる4bit量子化するとだいぶ推論が高速になるな
