出品 | OSC开源社区（ID：oschina2013)

除了大力投资 Open AI ，微软还亲自下场大搞 AI 。8 天前，微软开源了 Visual ChatGPT ，这个软件可以连接 ChatGPT 和一系列视觉模型，以实现在 ChatGPT 的聊天过程中发送和接收图像。

众所周知，尽管 ChatGPT 的功能非常强大，甚至可以用来写小说写论文，但目前也仅限于文字交流。

Visual ChatGPT 的出现，就像在以文字交流的 APP 中首次添加了表情包功能，而且还是根据用户输入的文本自动生成的 “定制化表情包”，大大提升了 ChatGPT 的趣味性和应用领域。

一方面，ChatGPT（或 LLM）充当通用界面，提供对图像的理解和用户的交互功能。另一方面，基础图像模型通过提供特定领域的深入知识来充当背后的技术专家。

仓库中列出了技术架构及原理图：

Demo 中共进行了三种不同类型的对话，分别是 Visual ChatGPT 接收用户的图像、Visual ChatGPT 根据用户的文本修改图像并发送给用户，以及 Visual ChatGPT 识别图片，并回答用户的提问。Visual ChatGPT 会根据用户的输入，判断是否需要使用 VFM  （Visual Foundation Model，视觉基础模型）来处理该问题。

仓库中还给出了 Visual ChatGPT 所使用的图像模型和显存使用情况：

更详细的内容可以阅读 Visual ChatGPT 的 arxiv 论文：https://arxiv.org/abs/2303.04671

Visual ChatGPT 在 3 月 10 日发布，截至 3 月 16 日早 15 点，该项目已暂获 21.9K Stars ，可谓是火箭式上涨。

相关链接：https://github.com/microsoft/visual-chatgpt

------

我们创建了一个高质量的技术交流群，与优秀的人在一起，自己也会优秀起来，赶紧点击加群，享受一起成长的快乐。另外，如果你最近想跳槽的话，年前我花了2周时间收集了一波大厂面经，节后准备跳槽的可以点击这里领取！

推荐阅读

• GPT-4 太强了！一夜醒来，Excel 到 PPT 动嘴就能做！
• RocketMQ高级功能代码实现｜文末赠书
• Java中如何解析、格式化、生成SQL语句？

··································

你好，我是程序猿DD，10年开发老司机、阿里云MVP、腾讯云TVP、出过书创过业、国企4年互联网6年。从普通开发到架构师、再到合伙人。一路过来，给我最深的感受就是一定要不断学习并关注前沿。只要你能坚持下来，多思考、少抱怨、勤动手，就很容易实现弯道超车！所以，不要问我现在干什么是否来得及。如果你看好一个事情，一定是坚持了才能看到希望，而不是看到希望才去坚持。相信我，只要坚持下来，你一定比现在更好！如果你还没什么方向，可以先关注我，这里会经常分享一些前沿资讯，帮你积累弯道超车的资本。

点击领取2023最新10000T学习资料