Argus — 纯前端长视频理解 Agent Harness
193 字
Argus(取名自希腊百眼巨人 Argus Panoptes)是我独立设计开发并开源的长视频理解 agent harness——只有前端、没有后端,视频完全在浏览器本地解码处理,API Key 与模型全部用户自填。让多模态 LLM agent 自己调用工具去"看"视频:抽帧、局部放大、记笔记、派子代理,典型场景如监控视频数人数、找特定物品。
🔗 在线体验 Argus 🐙 GitHub 源码 它解决什么 # 让 LLM 理解长视频的痛点不在模型,而在怎么把视频喂给它:整段上传太贵,盲抽帧又漏信息。Argus 把这个问题交给 agent 自己决策——它先看视频元信息,再自主决定抽哪些帧、用什么频率、哪里需要放大细看,上下文要爆了就派子代理分段处理。同时视频不离开浏览器,没有服务器,没有数据上传。
架构亮点 # 手写 Agent Loop — 基于 Vercel AI SDK streamText 手动驱动工具循环:拿到 tool calls 自行执行,把抽帧图片作为 ImagePart 注入下一轮,循环直到 agent 给出结论。 8 个视频理解工具 — get_video_info / extract_frames(范围+频率抽帧带时间戳)/ extract_frame_at / list_frames / inspect_region(局部放大细看)/ remember / recall(状态记忆,防长上下文遗忘)/ spawn_subagent(超长视频分段,防上下文爆炸)。 浏览器本地硬解码抽帧 — 原生 <video> + <canvas> seeked + rAF 抽帧(含黑帧重试),mediainfo.js(wasm 懒加载)只用于 fps/编码/码率等富信息,加载本地性能优先。 211 个 Provider 运行时目录 — 接入 models.dev 目录并归一化为 provider 预设,下拉可搜;自动标记视觉模型并优先默认选中(适配视频理解);OpenAI 兼容 / Anthropic / Gemini 三类传输自动判定,附带 CORS 提示与连接测试。 子代理隔离上下文 — 子代理 = 去掉 spawn_subagent 工具的嵌套 agent 运行,长视频分段理解的中间过程不污染主上下文。 技术栈 # 前端 · Vite 8 + React 19 + TypeScript 7(native tsc)+ Tailwind 4 + zustand