GMKtec EVO-X2のLLM性能最適化

· ·

Ubuntu環境のOllamaが安定しなかった 🔗

WindowsマシンをUbuntu化してリソースを効率的に利用するところまでは良かったけどUbuntu Desktopがクラッシュする事が多く、Windowsの方がまだ良かったのでは？と思うこともあった。

ちょっと調べてみてOllama自体の設定変更とSWAP周りの設定変更でだいぶ高速化・安定化したように思う。

Ollamaの追加設定は次の2つ

  • OLLAMA_FLASH_ATTENTION=1
  • OLLAMA_KV_CACHE_TYPE=q8_0

GMKtec EVO-X2のVRAMは最大96GB設定なのでvscodeのnum_ctxは256,000まで大きくしてみたけど、これは恐らく意味がない。読み込ませるコンテキスト量にも依るけど、32768で設定していた時よりVRAMの使用率はあがるけど、そもそも32768の時でもGPUのクロックはMAXの2.9GHzで張り付いていて、GPU温度も100度近くになっていた。

GPUクロックに余裕があるなら意味があるけど上限に張り付いている状態なら全然意味はないかな。

あと設定したのがswap設定

1
2
3
4
5

sudo swapoff -a
sudo fallocate -l 32G /swapfile
sudo chmod 600 /swapfile
sudo mkswap /swapfile
sudo swapon

/etc/fstab のファイルにも以下を追加

/swapfile none swap sw 0 0

一番効果が現れたのは恐らくOllama自体の設定のように思えるけどswap設定もあってか安定したように思える。高速化は体感だけど設定前の2～3倍くらいかな。

安定化部分はもう少し様子をみてみる感じだけど、この設定でだいぶ動きがよくなったと思う。

参考 🔗

Ollama
comments powered by Disqus