GPT-4识图功能迟迟不开放，终于有人忍不住自己动手做了一个。 6park.com
MiniGPT-4来了，Demo开放在线可玩。 6park.com
传一张海鲜大餐照片上去，就能直接获得菜谱。 6park.com
 6park.com
 6park.com
传一张商品效果图，就可以让AI写一篇带货文案。
 6park.com
手绘一个网页，可以给出对应的HTML代码 6park.com
 6park.com
 6park.com
除了生产力拉满，也支持根据常识推理图上内容是否合理、解释表情包为什么好笑，以及看截图找电影等娱乐玩法。
 6park.com
 6park.com
官方案例演示：
接下来，我将为大家展示几个示例。
 6park.com
 6park.com


实验结果表明，GPT-4的这些先进能力理论上可以归因于它采用了更加先进的大型语言模型。
这意味着，未来在图像、声音、视频等领域，基于这些大型语言模型所开发的应用，在实际效果上都将表现不俗。
这个项目验证了大型语言模型在图像领域的可行性。接下来，预计会有更多开发者加入，将GPT-4的能力扩展至音频、视频等领域，从而让我们得以欣赏到更多有趣且令人惊艳的AI应用。


可以说，GPT-4发布时展示过的功能，MiniGPT-4基本也都有了。 6park.com
这下网友直接把Demo服务器挤爆，开发团队连开4台备用服务器，都有几十人在排队。 6park.com
不等OpenAI了，现在就能玩
除了研究团队给出的示例，网友也用MiniGPT-4玩出了各种花样 6park.com
有人上传自己画的画，让AI评价评价。 6park.com
 6park.com
 6park.com
有人上传一张从车道拍摄的飞机坠毁瞬间，让MiniGPT-4尽可能详细地描述，并思考自动驾驶AI能不能理解这个场面。 6park.com
 6park.com
 6park.com
做到这么好的效果，MiniGPT-4实现起来却并不复杂。 6park.com
把图像编码器与开源语言模型Vicuna（小羊驼）整合起来，并且冻结了两者的大部分参数，只需要训练很少一部分。 6park.com
传统预训练阶段，使用4张A100在10个小时内就可完成，此时训练出来的Vicuna已能够理解图像，但生成能力受到很大影响。 6park.com
为解决这个问题，团队让MiniGPT-4与ChatGPT合作创建了3500个图像文本的高质量数据集，也一并开源。 6park.com
用新的数据集微调可以显著提高模型的生成可靠性和整体可用性，而且计算效率很高，使用单个A100只需要7分钟。 6park.com
 6park.com
 6park.com
并且团队正在准备一个更轻量级的版本，部署起来只需要23GB显存。 6park.com
也就是消费级显卡中拥有24GB显存的3090或4090就可以本地运行了。 6park.com
MiniGPT-4开发团队来自KAUST（沙特阿卜杜拉国王科技大学），包括4位华人成员和他们的导师 Mohamed Elhoseiny。 6park.com
 6park.com
 6park.com
两位正在读博的共同一作还在GitHub页面上特别标注正在找工作。 6park.com
有意向的公司要抓紧抢人了～ 6park.com
在线Demo：https://minigpt-4.github.io 6park.com
开源代码：https://github.com/Vision-CAIR/MiniGPT-4 6park.com
论文：https://github.com/Vision-CAIR/MiniGPT-4/blob/main/MiniGPT_4.pdf 6park.com


贴主:gonewithsmoke于2023_12_17 11:42:31编辑