Xinference：高性能分布式LLM推理框架

发表于2024-03-20|更新于2025-03-01|LLM工具链

|浏览量:

[文章内容与xinference.md相同，但已移动到正确位置]

文章作者: Songzi

文章链接: http://example.com/2024/03/20/xinference-guide/

版权声明: 本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源松子的代码笔记！

开源框架分布式部署推理加速生产级服务多GPU支持模型托管性能优化

相关推荐

LlamaFactory：高效的LLM微调工具链

[文章内容与llamafactory.md相同，但已移动到正确位置]

Ollama：轻量级本地LLM部署与管理工具

[文章内容与ollama.md相同，但已移动到正确位置]