为纯文本AI编码模型赋予看图与前端UI还原能力的视觉工具箱
通过agent-vision-toolkit视觉工具箱和技能,让DeepSeek等纯文本LLM编码代理能够直接识别粘贴图片、处理长截图OCR并进行前端UI还原,提供视觉任务的完整方法论与无缝集成支持。
GitHubAnionex1.3kGitHub Star
CodexClaude CodePiOh My PiOpenCodeDeepSeek
收录于 2026-10-31 · 原文发布于 2026-10-13
要点
- 使用vision-skills技能教导代理在处理视觉任务时知道检查什么、选择哪个工具、遵循什么顺序以及如何验证最终结果。
- 通过透明本地代理和单文件原生插件实现无缝集成,使直接粘贴的图片和代理内置的图像工具都能正常工作。
- 结合视觉工具CLI与技能,让任何能够调用Shell的代理都可以无缝使用多图理解、图片问答、前端UI还原和GUI自动化。
- 针对前端UI还原或视觉任务,传递用户或模型的最新意图,生成当前回合所需的细节,而非泛泛的描述。
坑点
- 纯文本模型由于缺乏多模态能力,导致无法直接看图,图片工具调用被系统阻止。
- 生成宽泛、无焦点的图像描述,无法满足当前回合的具体需求。
.cursorrules
- 优先使用视觉工具箱(vision-skills)处理包含图片、长截图或前端UI还原的视觉任务。 - 在处理视觉任务时,遵循意图驱动的图片问答、工具调用顺序以及结果验证流程。
可复制提示词
请参考当前项目的视觉工具箱,识别并使用粘贴的图片,按照规范的视觉工作流对 [目标前端组件/页面] 进行前端UI还原和验证。
#AI前端美化#多模态#UI还原#Cursor
相关方法
内容由 AI 依据原文翻译整理,细节以原帖为准;版权归原作者。