dify和ollama使用教程

geteshi
2025-01-02 / 0 评论 / 16 阅读 / 正在检测是否收录...

1. 安装docker

这一步百度

2. 安装dify

git clone https://github.com/langgenius/dify.git
cd dify
cd docker
cp .env.example .env
docker-compose up -d

env里面可以修改映射的端口,默认是80和443,教程先默认

2.1 之后访问 localhost/install 进行安装

3. 安装Ollama

然后我们需要去安装Ollama,官网地址
https://ollama.com/
安装完ollama后去找适合的模型下载
https://ollama.com/search
下列我举例一下网友比较推荐的模型


这里的几b是代表着多少亿的参数,个人笔记本建议选择10b以内,不然参数太多了可能会很慢。

这里我以yi-coder为例子
终端运行

ollama run yi-coder
ollama run yi-coder
pulling manifestpulling 8169bd33ad13... 100% ▕██████████████████████████████████████████████████████████████████████████████████████▏ 5.0 GB
pulling afc128547699... 100% ▕██████████████████████████████████████████████████████████████████████████████████████▏  527 B
pulling 43070e2d4e53... 100% ▕██████████████████████████████████████████████████████████████████████████████████████▏  11 KB
pulling 3dc12ee097e8... 100% ▕██████████████████████████████████████████████████████████████████████████████████████▏  135 B
pulling a60ed831ae4c... 100% ▕██████████████████████████████████████████████████████████████████████████████████████▏  485 B
verifying sha256 digest
writing manifest
success
>>> 你好Hi, how can I assist you? Please provide more specific information about your request.

4.然后dify里面配置模型

m5enc65v.png
m5encgoq.png
m5encmqx.png
这里URL填写http://host.docker.internal:11434(因为dify是安装在docker里面的,但是ollama是安装在本机的,所以需要让docker访问ollama的api)

点击保存,右上角会提示修改成功

4.1 回到首页创建空白模板

m5endhs9.png
右上角选择yi-code,然后给他提示词就可以了
m5endxzp.png
然后上方点击知识库进行知识库配置
m5ene8dk.png
可以上传自己需要的内容
处理的时候可以这样选择
m5enexj7.png
添加完成之后回到聊天机器人

4.2 给机器人添加知识库

左边的提示词下面哟一个上下文,可以添加知识库,之后就可以正常使用了

5. 但是上面的yi-coder不好用

所以我用了另外的,

ollama run llama3.1:8b

这个相比于其他会好用很多。

5.1 TEXT EMBEDDING 配置

知识库那里的添加,我们也可以选择高质量
只是需要配置一个TEXT EMBEDDING
添加和上面的那个差不多只是需要选择TEXT EMBEDDING
m5enjwb0.png

5.2 Ollama配置TEXT EMBEDDING

dmeta-embedding-zh

ollama pull shaw/dmeta-embedding-zh

测试:

curl http://localhost:11434/api/embeddings -d '{
  "model": "shaw/dmeta-embedding-zh",
  "prompt": "天空是灰色的"
}'

返回的内容
m5enmv1k.png

这样就成功了
dify里面正常添加这个就行
m5eno5k3.png

0

评论 (0)

取消