技术博客： llama.cpp 是如何在日常硬件上运行大语言模型的？
地址：outcomeschool.com/blog/how-does-llama-cpp-run-llms-on-everyday-hardware
“
在这篇博客中，我们将学习 llama.cpp 是如何在日常硬件上运行大语言模型的。我们也会了解什么是 llama.cpp、它为什么被创建、它如何通过量化缩小大型模型、如何快速加载模型，以及如何在 CPU 和 GPU 之间分配工作。

本文将覆盖以下内容：
----什么是 llama.cpp
----为什么我们需要 llama.cpp
----快速回顾什么是 LLM
----真正的问题：模型太大，放不下
----第一个重要思路：量化
----理解像 Q4_K_M 这样的命名
----GGUF 文件：把所有东西打包进一个盒子
----内存映射：更聪明地加载模型
----从 CPU 中榨出速度
----与 GPU 分担工作
----运行一个 prompt 的完整过程
----llama.cpp 被用在哪里
”