偷窥 Ferret-UI

不做论文分析，单纯以看一篇文章的角度，摘记吐槽二三
https://fenx.work/peep-at-ferret-ui/，来自推友 @杨怀瑾 ，研究得比我清楚多了，推荐阅读

注：

苹果推出的 Ferret-UI 多模态 LLM，用于识别界面元素，并在此基础上推理。除了帮助 Siri 理解 UI、帮助盲人使用 UI 这种直接用例，更激动人心的应用场景是帮助 AI 主动操作各种软件

以往的 AI agent 要么基于理解内容来变相获取数据、要么通过 Api 直接获取数据，Ferret-UI 理解 UI 之后，就可以模仿用户来操作软件、完成任务、获取最终数据

比如你交了新女友，想销毁旧女友的所有痕迹，那么未来支持 Ferret-UI、理解 UI 的 AI，就可以主动帮你操作，进入相册、微信、各个社交网站去逐一销毁痕迹

（当然，如果你愿意，AI 还能顺便帮你注册一堆小号偷偷关注前女友）