OpenAI正式发布了它的Computer Use,你可以通过Codex 去操纵你电脑当中的任何 APP。

正文上方广告位

845c55288d7eb6f7b90d0991c3d8c0dc

 

b7081895b0372266793cd0219d7da972

Computer Use的安装方式也很简单。打开Codex,在这里选择插件,然后筛选到OpenAIbutton,找到Computer Use,添加到Codex,点击安装即可。

23fb4c3f385d96c8a550bfa5bf0324c7

最后简单讲一下 Computer Use的实现原理。它本质上是一个桌面的自动化层,与其他产品不同,不是直接通过API 操作,而是分三步:

  1. 感知当前窗口(通过截图识别窗口内容);
  2. 判断哪些元素可操作;
  3. 执行原子化动作。

所以它的操作跟你去操作其实是一模一样的。它会有一些风险:

  • 所有你看到的这些信息,都有可能被截图交给模型;
  • 如果已经登录了一个账号,这个账号可能会被误操作;
  • 有些敏感信息还是需要注意的。

虽然 Computer Use 目前肯定还是有各种各样的问题:

  1. 耗时比较长;
  2. 操作不是很稳定(比如操作微信时无法直接在微信框内输入,需要通过调用剪贴板复制粘贴);
  3. 有时候不能稳定地被正确调用。

这些都是它目前存在的问题。

但是我觉得这个方向是对的。因为他其实打开了一种新的人和电脑的交互方式,也许未来真的有一天我们再也不用鼠标和键盘去操作电脑了。所有的机器跟我们都是自然语言的交互了。那这天的到来一定会非常有意思的。

© 版权声明
正文底部广告位

相关文章