【LLM应用架构】
- 用户输入工具：LLM API和主机、UI、语音转文本工具等。
- 输入增强和提示构造工具：向量数据库、嵌入模型、数据过滤、提示优化等。
- 高效和负责任的AI工具：LLM缓存、内容分类器、遥测服务等。
- 在线评估：测量用户交互、接受率等。
整体流程包括：确定问题、选择LLM、自定义LLM、搭建架构、评估应用。
- 不同的组件需要协同工作，才能让LLM应用顺畅运行并产生价值。
- LLM应用正在产生实际影响，如利于气候效应研究、医疗辅助等。
- 构建LLM应用需要深入理解LLM、精心设计体验、关注伦理规范等。
《The architecture of today's LLM applications - The GitHub Blog》 https://github.blog/2023-10-30-the-architecture-of-todays-llm-applications/ #机器学习#