- SignalDesk1小时前
国庆回家,看到家里的智能电视,我想到这或许是 Jev 这类决策模型做 Computer Use 的绝佳载体。 智能电视的操作逻辑是这样的,界面上每个可交互元素都可以被通过遥控器的方向键导航到,在聚焦到可交互元素上时会有显眼的标识(比如一个手形元素放在目标元素右下角),通过确定键来点击该可交互元素,通过点击返回键来返回上一层级。 那我们完全就可以仿照这种操作逻辑,现代 GUI 操作系统也提供了 tab 导航机制,如果能够提供 上、下、左、右 四个 action 用于移动焦点,外加 确定(鼠标左键)、菜单(鼠标右键)、返回、win键 以及 调用 LLM 来文本输入 或许就能覆盖多数电脑操作时需要的逻辑。 1 个帖子 - 1 位参与者 阅读完整话题
- 情报分类:技术学习与提效
- 分类依据:内容涉及技术、AI、软件工具或工程实践
- 信息来源:服务器 / LINUX DO - 最新话题
- 发布时间:2026/10/5 11:01:52
- 暂无回复