我们的CogAgent: Visual Language Model as GUI Agent中了CVPR 2024，祝贺小伙伴们，模型代码可以在这里下载 http://t.cn/A6lTL9n8 ，现在可以利用cogagent实现gui的自动控制，还能实现游戏等很多好玩的东西了。

“本文介绍了CogAgent，这是一个18亿参数的视觉语言模型，专门用于GUI理解和导航。CogAgent在VQA和GUI基准测试中取得了领先成绩，超越了基于LLM的方法，并在多项VQA基准测试中达到最先进水平。其模型架构结合了高低分辨率图像编码器，并引入了新的高分辨率交叉注意力模块，以处理高分辨率图像输入。CogAgent在预训练中使用了大量GUI相关数据，并在微调和多任务微调阶段进一步优化。总的来说，CogAgent在视觉语言模型的基础上，通过专门的模型架构和训练方法，实现了对GUI的深入理解和导航能力。”-GLM-4