Dify安装与Ollama模型接入

Dify是什么Dify是一个开源的LLM应用开发平台帮助开发者快速构建和运营生成式AI应用。它介于“直接使用大模型”和“从零开发AI应用”之间——你不需要写大量代码但又能获得比简单Prompt工程更强大的能力。模块说明编排Orchestration可视化构建AI工作流支持多步骤推理、条件分支、循环等RAG知识检索内置文档向量化、分块、重排序搭建企业知识库问答Agent模式支持Function Calling、Ract等Agent架构让AI自主调用工具Prompt管理版本化Prompt工程支持A/B测试和迭代优化运营观测对话日志、标注反馈、持续优化类似AI产品的“数据飞轮”多模型支持兼容OpenAI、Anthropic\Azure、本地模型Ollama等、国内模型通义、文心Dify的下载与安装第一步下载Docker。Docker快速入门——Windowns系统下Docker安装理解与完整附带WSL1如何升级为WSL2_升级wsl2-CSDN博客Dify的官方推荐部署方式是基于容器化。Dify不是单一可执行文件而且是一个微服务架构应用包含多个独立进程API服务、Web前端、Worker、数据库、缓存/消息队列、向量数据库验证dockerWinR 输入cmd 执行下面命令docker --version如果正常输出版本号即安装成功开始第二步类似下图第二步克隆Dify仓库输入以下命令git clone https://github.com/langgenius/dify.git如果无法 clone,可以直接download原始的zip文件解压缩地址 https://github.com/langgenius/dify.git访问GitHub地址仓库页面-点击“Code”-选择“Download ZIP”“实在是下载不了文章最上方我已经放好资源包大家点击下载即可”第三步进入到dify文件夹下docker文件夹将.env.example文件名改为.env(切换到dify/docker文件夹下去操作可以使用rename .env.example.env)也可以输入下面命令cd dify/docker cp .env.example.env第四步启动Dify在dify文件下进入终端然后去操作下面的命令输入下面的命令docker compose up -d第五步访问应用地址http://localhost/signin 第一次需要除第一次后面只要登录设置好邮箱、用户名、密码就可以登录了点击设置-进入开发界面Dify接入大模型本地Ollama与API应用第一步安装OllamaOllama一个用于在本地或云端构建、运行和管理大型语言模型LLM的开源工具下载地址Download Ollama on macOS第二步下载模型“模型后面的数字越大8B12B对于硬件要求越高”选择一个模型随便发送一条消息即可开始下载。第三步应用模型模型下载完毕之后即可在对话框输入消息开始对话还可以联网操作附ollama常用命令命令用途示例ollama run运行模型。若本地无此模型会自动下载ollama run llama3.2ollama pull仅下载模型到本地不立刻运行ollama pull mistralollama list/ollama ls列出所有已下载到本地的模型ollama listollama ps查看当前正在后台运行的模型列表ollama psollama stop停止一个正在后台运行的模型以释放资源ollama stop llama3.2ollama rm删除一个本地模型以释放磁盘空间ollama rm llavaollama show查看模型的详细信息如参数、许可证等ollama show llamaollama serve启动Ollama的后台服务进程ollama serveollama help查看所有可用命令的帮助信息ollama help第四步接入模型点击设置-在安装模型提供商中找到Ollama提供商下载安装好会出现在模型列表中点击右下角添加模型输入前面下载好的准确的模型名称项目类型有三种可选LLM基于 Transformer 解码器的自回归生成模型通过最大化上下文条件概率进行预训练承担语义理解与文本生成任务。Text Embedding基于双编码器架构的稠密向量化模型经对比学习训练将文本映射为固定维度向量以支撑海量语义检索。Rerank基于交叉编码器架构的相关性精排模型对查询与候选文档进行全交互注意力计算输出精细相关性分数以优化排序质量。三者级联构成 RAG 的“召回–重排–生成”流水线Embedding 粗筛Rerank 精排LLM 终答。不知道选什么就选LLM注意基础URLdocker(同一机器)部署difyhhtp://host.docker.internal:11434docker(不同机器)部署difyhttp://192.168.x.x(自己IP):11434