结肠镜检查目前是结直肠癌最为精准的筛查方法之一。本文旨在探讨智能结肠镜技术的研究前沿及其在多模态医学应用中的潜在影响。为此，我们首先从数据驱动和模型驱动两个角度，对结肠镜场景感知的四类任务进行评估，包括分类、检测、分割以及视觉语言理解。评估结果揭示了该领域的特定挑战，并强调了在结肠镜研究中进一步开展多模态研究的必要性。针对这些问题，本文构建了三项基础性资源：大规模多模态指令微调数据集 ColonINST、面向结肠镜设计的多模态语言模型 ColonGPT，以及一个多模态基准测试平台。为推动该快速发展领域的持续进展，我们还建有一个公开网站以发布最新进展：http://t.cn/AXftRjTh 全文链接：http://t.cn/AXftRjTP #机器学习[超话]##人工智能[超话]##结肠镜技术##场景感知#