Tag: LLM

• LLMのGPUメモリサイズ

  2024-03-25
  LLM
  LLM推論に必要なGPU/ユニファイドメモリの目安と、量子化時のサイズ感を整理したメモ。

  続きを読む

← Tags