多模态GPT-4大模型的发布，让很多人看到了AI人工智能的魅力，特别是ChatGPT的流行，让很多人开始关注人工智能。虽然ChatGPT可以通过一些魔法进行使用，但是GPT-4多模态大模型，openai却没有完全免费开放给个人，要想使用GPT-4，要么通过官方的邀请，要么是升级到付费账号。但就算付费，一些地区也无法进行相关服务的购买。
OpenAI GPT
GPT-4发布时，工程师一个手绘网页，传递给GPT-4时，模型会自动进行图片的识别，然后输出搭建整个网页的代码，强大的多模型模型吊足了大家的胃口。开源的MiniGPT-4多模态模型，让我们提前可以尝试一下GPT-4的魅力。
MiniGPT-4的架构由带有预训练 ViT模型编码器和Q-Former，一个单一的线性投影层，一个高级的 Vicuna 大语言模型
MiniGPT-4 旨在将来自预训练视觉编码器的视觉信息与先进的大语言模型（LLM）结合。具体来说，利用 Vicuna作为语言解码器，它是基于 LLaMA 构建，可以执行各种复杂的语言任务。对于视觉感知，使用与BLIP-2中相同的视觉编码器，一个ViT主干与他们预训练的 Q-Former。语言和视觉模型都是开源的，目标是使用线性投影层弥合视觉编码器和 LLM 之间的差距 。
https://github.com/Vision-CAIR/MiniGPT-4 requirements.txt 地址 https://github.com/WangRongsheng/Use-LLMs-in-Colab/blob/main/MiniGPT-4/requirements.txt !pip install -q salesforce-lavis !pip install -q bitsandbytes !pip install -q accelerate !pip install -q gradio==3.27.0 !pip install -q h5py !pip install -q typing-extensions !pip install -q wheel !pip install -q git+https://github.com/huggingface/transformers.git -U首先，我们需要clone整个项目工程，并安装相应的第三方库，这里的requirements.txt文件需要到相应的链接自行下载，放置到MiniGPT-4根目录中。
7B模型 , 下载 Checkpoint Aligned with Vicuna 7B 34;wangrongsheng/MiniGPT-4-LLaMA&39;pretrained_minigpt4.pth&34;wangrongsheng/MiniGPT-4-LLaMA-7B&39;prerained_minigpt4_7b.pth& 在线试玩网站扩展阅读：
OpenAI官方发布ChatGPT API接口gpt-3.5-turbo，python可直接调用
OpenAI开发的ChatGPT用来论文翻译与润色，效果强大
使用python调用ChatGPT的API，打造属于自己的桌面智能助手
ChatGPT又又又更新了，多模态GPT-4大模型发布
本站所发布的文字与图片素材为非商业目的改编或整理，版权归原作者所有，如侵权或涉及违法，请联系我们删除
热门信息
阅读 ()
1 注册微信号怎么注册第二个阅读 ()
2 怎么把照片变成卡通头像阅读 ()
3 手机越充越少电怎么解决