在 Colab 打开金门大桥机器人画画示例

打开公开 Colab 示例，可以在第 5 步的 RECORD_MODEL 中选择 11 个模型中任意一个公开记录，默认回放 GPT-6.1 Sol 的金门大桥绘画过程。也可以切换为自己发送动作。Notebook 源文件与公开入口由本仓库统一维护；如需保留自己的修改，可另存副本到 Drive。

这个单文件 notebook 已内置运行所需的配套代码，默认使用 GPU、已录制动作回放。无需另外上传源码 ZIP，也不需要模型 API key；回放和人工交互都不调用大模型。Colab 计算资源仍按你自己的账户规则使用。

默认界面沿用 AgentArk 原版的表单方式：每步先显示说明和必要选项，复杂代码默认隐藏，需要时点击“显示代码”展开。开头依次展示三张图：目标参考图、Sol 最后一轮的三视图录制画面、该轮最终画布。三图均随 notebook 内嵌，无需先启动运行时或额外下载图片。

从打开文件到看到机器人

打开公开 notebook。 点击公开 Colab 示例，登录自己的 Google 账号。若要保留修改，可以另存到自己的 Drive；也可以自行上传本地 .ipynb 文件后打开。
选择 GPU。 在“运行时 / Runtime → 更改运行时类型 / Change runtime type”中选择 Python 3 和 T4 GPU（列表中可用时），保存设置。可用的 GPU 类型取决于 Colab 当时分配的资源。
保留默认选项。 GPU 渲染选项 RENDERER="gpu"，观看方式 MODE="replay"。默认会自动启动回放；RECORD_MOTION_VIDEO=False 可以保持不变。内置源码自动加载，无需填写源码地址或路径。
执行全部代码。 点击顶部“全部运行 / Run all”。如果 Colab 出现常规 notebook 执行或连接权限提示，请自行按页面确认。
等待安装和启动。 前面的单元会安装依赖、下载并校验环境与公开动作记录，再启动机器人模拟器。初次安装需要等待；可以通过单元输出的命令与进度确认执行状态。
打开第 7 单元的网址。 找到“Open AgentArk's existing interaction viewer”，点击它打印的 Colab 原生可视化网址，并使用打开 notebook 时的同一个 Google 账号访问。
确认画面已连接。 页面显示 connected 后，应能看到两个工作区机位、金门大桥参考图，以及不断增加的动作和反馈。机器人会按照已有记录自动继续绘画。

看到相机画面后就可以开始观看，不需要等整幅画完成。默认 Sol 记录包含 155 个动作、3 轮连续 ICL 尝试；其他模型动作数不同。已有一次完整 Sol T4 回放耗时约 103 分钟，仅为一次实测，实际耗时随运行环境变化。

画面、GPU 与录像

可视化页面显示的是环境观测与交互历史。默认关闭 MP4 录像，仍然可以观看画面、步骤推进和最终画布。

如果需要连续过程视频，可以在准备运行前将 RECORD_MOTION_VIDEO 改为 True。它会增加额外渲染、图像读取和 CPU FFmpeg 编码开销，即使 Unity 使用 GPU，录像编码仍使用 CPU。

要确认 Unity 实际用了 GPU，运行第 9 个 Inspect 单元，查看输出中的 player.log 渲染信息，例如 Tesla T4/PCIe/SSE2 和 NVIDIA Corporation。刚启动时可以先等相机画面出现，再重跑这个检查单元。GPU 分配状态本身不足以证明 Unity 的实际渲染设备。

观看绘画直接使用第 7 节的 viewer。 第 9 节只是可选的 GPU 与已保存作品检查，不录制视频，也不重复呈现实时相机画面。作品画布在一轮正式提交或达到动作上限后保存；模拟器启动、重置时保存的白纸不会作为作品展示。第一轮还未结束时，没有成品画布属于正常情况，不代表当前纸上没有笔迹。关闭 MP4 录像不会关闭每轮画布的保存。

可选：自己操作机器人并保存记录

如果希望人工交互，在第一次“全部运行”之前，先找到第 5 单元，将 MODE 改为 human，再执行全部代码。其他默认设置可以保留。

打开第 7 单元的可视化网址后，环境会等待你输入动作。页面中的动作说明和当前法兰位姿可用于编写 MoveFlange；通过动作编辑器提交，随后查看新画面与反馈。也可以使用 notebook 中默认关闭的 SEND_ACTION 单元发送动作。

提交当前画作的动作是：

<tool_call>{"name":"SubmitPainting","arguments":{}}</tool_call>

它会保存当前画布并结束这一轮。人工模式同样保留三轮预算；提交成功的奖励反映保存和交卷流程，不是画作质量评分。

停止、切换模式与保存

查看器会在回放结束后继续保留，方便查看历史。需要停止或切换模式时：

找到第 10 个清理单元，将 STOP_SESSION 改为 True，运行该单元，等待当前会话停止。
若要切换模式，修改第 5 单元的 MODE，重新运行第 5 单元准备一个新目录，再运行第 6 单元启动，并打开第 7 单元给出的链接。

不要在已有回放运行时反复“全部运行”来重启或切换模式。 先使用清理单元，避免覆盖当前进程状态或占用同一个可视化端口。

需要保留结果时，可以从 Colab 左侧“文件 / Files”中保存运行目录里的画布、动作记录和日志；较大的目录可先压缩为 ZIP 再下载。确认所需文件已下载后，再断开 Colab 运行时，释放模拟器和显示资源。Colab 的本地文件随临时实例结束而丢失。

连接暂时失败时

先查看 notebook 的安装和启动单元是否仍在执行，等待环境启动后再打开链接。
查看运行目录里的 session.log，确认环境与查看器是否已经启动；实际渲染信息在 player.log 中。
用同一个 Google 账号打开第 7 单元生成的网址；该链接属于当前实例，运行时释放后会失效。
第 9 节显示“尚未提交作品”时，继续在 viewer 观看即可。一轮提交后单独重跑第 9 节会更新已提交作品列表，不会重新开始回放；不要用“全部运行”来刷新画面。

当前交付是已保存到本地的单文件 notebook，尚无正式 Google Drive 发布网址。后续可以将它上传到自己的 Drive，再提供该 notebook 的分享链接。

新增的鹈鹕回放 notebook使用同一套无推理helper与14文件源码包，但选择独立纯文字目标和11模型的鹈鹕record。其实际设置、证据覆盖与本地回放单独说明；新扩展只做离线检查，不把上面的金门大桥在线验证算成鹈鹕已在线跑通。