llama.cpp

 pip install llama-cpp-python

python -m llama_cpp.server \

  --model models/llama-3-8b.Q4_K_M.gguf \

  --host 0.0.0.0 \

  --port 8000