窝牛号

使用LobeChat打造属于自己的聊天机器人界面——可本地运行部署

上期教程,我们分享了如何在本地部署llama2大语言模型,由于使用ollama进行本地的部署,其ollama只是一个后台服务,而ollama并没有提供一个可视化的界面。当然我们可以使用cmd终端窗口里面跟llama2大模型进行沟通交流,但是其界面只有一个黑色的框,并不美观。本期我们就介绍一下Lobe Chat,一个漂亮的UI可视化界面。

Lobe Chat简介

Lobe Chat 框架

Lobe Chat 是一个开源聊天机器人平台,旨在让开发者轻松构建和部署自定义聊天机器人。无代码界面、预训练模型、自定义训练和多模态支持。它使开发者能够轻松构建和部署智能、可定制的聊天机器人,以满足各种使用场景需求。

计算机视觉模型

Lobe Chat 支持主流的大模型,包含计算机视觉模型,文本转语音已经语音转文本模型,LLM大语言模型,文生图,多模态模型以及支持本地大模型的部署。

文生图模型

虽然开源的大模型都支持相关的代码部署与安装,但针对不是开发人员来讲,若使用这些大模型无疑是十分困难的事情。好在Lobe Chat简化了开发流程,不使用任何代码就可以使用各大模型。Lobe Chat不仅支持本地部署的大模型,也可以联网使用各大模型的API接口。

Lobe Chat 插件商店

Lobe Chat不仅支持各大模型,还支持插件商店,可以从插件商店里面下载安装好用的插件,这个跟ChatGPT的GPTs类似。安装完成后,当调用语言模型时,若涉及到相关的服务,模型会自动调用相关的插件服务。

Lobe Chat的安装

Lobe Chat的安装可以直接使用docker容器进行安装,当然在安装Lobe Chat前,需要确保自己电脑已经安装好了docker,并打开了docker。docker容量是一个跨平台的容器管理器,可以在官方网站很容易下载安装,这里就不做介绍了。

打开本地cmd窗口,在窗口中输入如下指令,Lobe Chat会自动在docker自行安装,安装完成后,可以在docker容器管理器中查看,并点击start按键,便可以自行打开Lobe Chat界面。

docker run -d -p 3210:3210 -e OLLAMA_PROXY_URL=http://host.docker.internal:11434/v1 lobehub/lobe-chat

docker容器

Lobe Chat默认使用3210的端口号,只需要在浏览器中输入如下链接,便可以打开Lobe Chat默认的启动界面

http://localhost:3210

Lobe Chat默认启动界面

直接点击左上角的对话按键,就可以进入Lobe Chat跟LLM 大模型进行聊天了。而Lobe Chat界面默认使用的是ChatGPT模型,因此若想直接跟ChatGPT模型进行对话,需要提供自己的API key。

默认ChatGPT模型

当然作为一个管理多个模型的可视化界面框架,Lobe Chat除了支持OpenAI相关的大语言模型外,还支持ollama, anthporic, google, groq, amazon, perplexity, mistral, openrouter, moonshot ai以及智浦AI等大模型,目前Lobe Chat还在开发中,后期将会支持更多的大语言模型。

Lobe Chat支持的大语言模型

Lobe Chat还支持语音识别与语音输入,其默认使用的是OpenAI开源的whisper模型,可以免费使用。

Lobe Chat支持语音输入输出

也可以在Lobe Chat语音服务选择项中配置其他的语音服务

Lobe Chat的语音服务

当然你若有其他模型的API接口,也可以直接在语言模型配置界面,输入自己的API key即可。当然在聊天界面同时需要选择自己已经配置好的语言模型。一切准备就绪就可以跟模型沟通交流了。

聊天界面选择自己的模型

这里配置了Google Gemini大语言模型的API,可以直接选择此模型进行聊天,模型会根据你输入的文本,判断是否需要进行中文或者英文输出。

Google Gemini大语言模型

Lobe Chat使用ollama本地大模型

Lobe Chat在联网的时候,可以通过API接口调用不同的大语言模型外,也可以直接使用本地部署的大语言模型,确保没有网络的情况下,也可以使用本地部署的大语言模型。

ollama 大模型

我们安装Lobe Chat的时候,默认使用了ollama模型,上期教程,我们分享了ollama的本地部署llama2大模型,其ollama安装完成后,就可以用Lobe Chat来使用ollama的本地大语言模型了。

Lobe Chat的使用ollama本地模型

ollama安装完成后,只需要本地打开ollama即可,其ollama运行在11434端口,可以在浏览器中输入如下地址:

http://localhost:11434 就可以看到如下信息,表明ollama已经在后台运行了 Ollama is running

这里直接在Lobe Chat的界面中选择ollama的模型即可,这里前提是已经在ollama中下载了相关的本地模型。这里选择llama2 chat7b模型,此模型在介绍ollama安装时已经下载了,当然也可以下载其他的大语言模型。

选择ollama本地模型

这里有一个奇怪的现象是使用Lobe Chat默认输出是英文的回答,但是在cmd窗口中,直接使用llama2模型,其输入中文,直接回复的是中文答案,这里需要研究一下看看哪里设置是否有问题。

ollama 使用llama2模型

cmd窗口输入输出 % ollama run llama2 >>> 你好,你是谁 我是一个人工智能语言模型。我不是一个固定的人, 而是一个基于机器学习算法和大量数据进行训练的系统。 我可以帮助您完成多种任务,包括回答问题、提供信息、互动我是一个人工智能语言模型。 我不是一个固定的人,而是一个基于机器学习算法和大量数据进行训练的系统。 我可以帮助您完成多种任务, 包括回答问题、提供信息、互动和更多。如果有其他事物需要帮助,请随时问我。 >>> Send a message (/? for help)

除了LLM大语言模型外,也可以使用Lobe Chat提供的多模态模型以及插件服务,给模型输入图片,文档等方式跟大语言模型沟通交流。当然插件服务提供了更多的有特色的性能,可以体验使用,比如说日历,爬虫等相关插件。

Lobe Chat多模态模型

体验了插件服务,有一个问题是使用本地模型或者其他不支持函数调用的模型是无法使用插件服务的,这里除了ChatGPT可以用之外,ollama,Gemini是不支持函数调用的,因此无法使用插件服务,当然虽然模型的不断升级迭代,相信后期的模型都会支持函数调用。

Lobe Chat插件服务

https://chat-docs.lobehub.com/en/usage/start https://github.com/lobehub/lobe-chat

本站所发布的文字与图片素材为非商业目的改编或整理,版权归原作者所有,如侵权或涉及违法,请联系我们删除

窝牛号 wwww.93ysy.com   沪ICP备2021036305号-1