（持续更新）
任何疑问欢迎留言评论
打破信息差！本文旨在总结推荐一些开源大模型应用和大模型推理工具，方便快速开发属于你自己的大模型应用。
大模型开源应用
一、Dify
生成式 AI 应用创新引擎开源的 LLM 应用开发平台。提供从 Agent 构建到 AI workflow 编排、RAG 检索、模型管理等能力，轻松构建和运营生成式 AI 原生应用。比 LangChain 更易用。
访问地址：https://cloud.dify.ai/signin
文档地址：https://docs.dify.ai/v/zh-hans
Github地址：https://github.com/langgenius/dify
总结：强大的工作流编排能力，丰富的插件能力，提供对外开放的api，灵活丰富的模型管理能力，如果对RAG检索要求很高，那不建议使用Dify，或者将Dify和RagFlow结合使用。
二、FastGPT
基于 LLM 大模型的开源 AI 知识库构建平台。提供了开箱即用的数据处理、模型调用、RAG 检索、可视化 AI 工作流编排等能力，帮助您轻松构建复杂的 AI 应用。
体验地址：https://cloud.fastgpt.in/login
文档地址：https://doc.fastgpt.in/docs/
Github地址：https://github.com/labring/FastGPT
总结：丰富的工作流编排能力，提供对外开放的应用调用api和知识库api，优秀的RAG检索技术。模型信息配置在config.json中，无法在页面灵活配置模型，而且且必须安装one-api才能调用模型。如果即想要工作流编排又想要RAG能力，推荐使用FastGPT。
三、RagFlow
RAGFlow 是一款基于深度文档理解构建的开源 RAG（Retrieval-Augmented Generation）引擎。RAGFlow 可以为各种规模的企业及个人提供一套精简的 RAG 工作流程，结合大语言模型（LLM）针对用户各类不同的复杂格式数据提供可靠的问答以及有理有据的引用。
体验地址：https://demo.ragflow.io/login
文档地址：https://doc.fastgpt.in/docs/
Github地址：https://ragflow.io/docs/dev/
总结：灵活且相对丰富的模型管理配置，RagFlow是不存在工作流编排的，其专注于RAG检索功能。
四、DB-GPT
🤖️ DB-GPT是一个开源的AI原生数据应用开发框架(AI Native Data App Development framework with AWEL(Agentic Workflow Expression Language) and Agents)。
目的是构建大模型领域的基础设施，通过开发多模型管理(SMMF)、Text2SQL效果优化、RAG框架以及优化、Multi-Agents框架协作、AWEL(智能体工作流编排)等多种技术能力，让围绕数据库构建大模型应用更简单，更方便。
🚀 数据3.0 时代，基于模型、数据库，企业/开发者可以用更少的代码搭建自己的专属应用
体验地址：
文档地址：https://www.yuque.com/eosphoros/dbgpt-docs/bex30nsv60ru0fmx
Github地址：https://github.com/eosphoros-ai/DB-GPT
五、Vanna
Vanna，是一款革命性的AI SQL智能体，可以将复杂的SQL查询简化为日常语义对话。在生成式AI的助力下，Vanna 让数据库查询变得前所未有的简单和直观。它是基于 OpenAI 和 Google 提供的大语言模型（LLM）。Vanna 通过预训练模型，结合你的数据库进行微调，可以快速帮你量身打造一个定制化的AI助手。
体验地址：
Github地址：https://github.com/vanna-ai/vanna
大模型部署推理工具
一、xinference
Xorbits Inference (Xinference) 是一个开源平台，用于简化各种 AI 模型的运行和集成。借助 Xinference，您可以使用任何开源 LLM、嵌入模型和多模态模型在云端或本地环境中运行推理，并创建强大的 AI 应用。
文档地址：https://inference.readthedocs.io/zh-cn/latest/index.html
Github地址：https://github.com/xorbitsai/inference
总结：xinference内部支持了多种模型，用户可以自己注册自定义的模型，xinference也支持了多种推理引擎：transformers，vllm，llama.cpp等。
二、Ollama
Get up and running with large language models.
文档地址：看Github中的README.md文件
Github地址：https://github.com/ollama/ollama