

Computer Use的安装方式也很简单。打开Codex,在这里选择插件,然后筛选到OpenAIbutton,找到Computer Use,添加到Codex,点击安装即可。
最后简单讲一下 Computer Use的实现原理。它本质上是一个桌面的自动化层,与其他产品不同,不是直接通过API 操作,而是分三步:
- 感知当前窗口(通过截图识别窗口内容);
- 判断哪些元素可操作;
- 执行原子化动作。
所以它的操作跟你去操作其实是一模一样的。它会有一些风险:
- 所有你看到的这些信息,都有可能被截图交给模型;
- 如果已经登录了一个账号,这个账号可能会被误操作;
- 有些敏感信息还是需要注意的。
虽然 Computer Use 目前肯定还是有各种各样的问题:
- 耗时比较长;
- 操作不是很稳定(比如操作微信时无法直接在微信框内输入,需要通过调用剪贴板复制粘贴);
- 有时候不能稳定地被正确调用。
这些都是它目前存在的问题。
但是我觉得这个方向是对的。因为他其实打开了一种新的人和电脑的交互方式,也许未来真的有一天我们再也不用鼠标和键盘去操作电脑了。所有的机器跟我们都是自然语言的交互了。那这天的到来一定会非常有意思的。
© 版权声明
文章版权归作者所有,未经允许请勿转载。

