基于 Java 与 AgentScope HarnessAgent 的 AI 视频创作工作台,将手动编辑、阶段 AI 和对话式创作整合在同一个白色工作台中。
剧本 → 角色 / 场景 / 道具 → 分镜 → 首帧 → 镜头视频 → 排序合成 → 播放 / 下载
- 手动创作:保存剧本,编辑故事资产、镜头,选择视频片段并调整播放顺序。
- 阶段 AI:生成资产参考图、镜头首帧及视频,提交前明确目标、提示词和费用。
- 创作助手:理解需求、读取项目上下文、选择业务工具,提出剧本修改、资产提取、分镜及媒体任务。
- 人工确认:写入动作通过聊天内可点击确认卡批准或拒绝,不依赖口头承诺。
- 执行可见:SSE展示助手运行事件;异步媒体任务独立展示进度,提交成功不冒充产物完成。
- 持久回读:项目、会话、任务与结果可刷新回读,成片直接播放和下载。
以下截图沿用同一个“旧邮局递信”项目:剧本中的林舟、陈伯、旧邮局与红色信封,逐步进入资产、02镜头首帧、视频和成片。部分为阶段验收时保存的真实界面,含测试标记及当时状态文案;新安装不会自动附带这些作品数据。资产参考图展示文本生图结果,不保证外观一致性,也不是图生视频的直接输入。
保存原始故事,作为后续助手读取、资产提取与分镜设计的业务上下文。
林舟、陈伯、旧邮局和红色信封与剧本对应,资产卡可保存描述并生成参考图。
镜头关联角色、场景和道具,页面与助手工具共享业务规则。
02镜头关联陈伯、旧邮局和红色信封,首帧是后续图生视频的实际输入。
基于首帧生成真实视频,任务状态与播放器在同一阶段展示。
选择已有片段、明确顺序,合成后预览并下载。
该示例成片按指定顺序拼接02镜头的两个历史生成版本,各5秒,总计10秒;不是两个不同镜头的作品。
flowchart LR
UI[React 创作工作台] --> HTTP[阶段 HTTP 接口]
UI --> CHAT[助手 Run / 确认接口]
CHAT --> HARNESS[HarnessAgent + Toolkit + 原生权限确认]
HARNESS <--> LLM[DashScope 文本模型]
HARNESS --> TOOL[项目绑定的业务 Tools]
HTTP --> APP[共享业务 UseCase]
TOOL --> APP
APP --> DB[(MySQL 业务与任务)]
APP --> JOB[本机异步任务执行]
JOB <--> MEDIA[DashScope 图片 / 视频模型]
JOB --> FFMPEG[FFmpeg 成片合成]
JOB --> FILES[本地媒体目录]
HARNESS --> JOURNAL[Run / Event Journal]
JOURNAL --> DB
HARNESS --> STATE[SDK 会话状态文件]
JOURNAL --> SSE[SSE 事件回放]
SSE --> UI
UI --> POLL[媒体任务查询 / 产物读取]
POLL --> APP
核心是一个Java服务、三个创作入口、一套业务规则。模型决定调用哪些工具,业务用例决定动作是否合法;人工确认在副作用执行之前,事件日志与媒体任务分别承担过程展示和结果查询。
架构分层、原生确认恢复、SSE与异步媒体时序、持久化及核心流程说明见架构与核心流程。
助手使用 AgentScope HarnessAgent、Toolkit 与原生权限确认机制。读取工具获取真实项目数据;写入工具在批准后调用业务用例。HTTP页面接口与工具共用归属校验、版本检查及持久化逻辑。
图片、视频和合成任务先登记再执行,保存动作标识、源版本及结果。同键重放不重复提交,版本冲突不覆盖已修改目标,结果未知不自动重新生成。助手事件、业务任务状态和媒体产物分开记录,不把模型回答当作执行凭证。
| 层 | 技术 |
|---|---|
| 工作台 | React 19、TypeScript、Vite |
| 后端 | Java21、Spring Boot3.5、MyBatis-Plus、Flyway |
| Agent | AgentScope Java Harness2.0、DashScope |
| 数据与媒体 | MySQL、单节点本地状态与媒体文件、FFmpeg |
| 模型 | Qwen文本模型、万相生图与图生视频 |
准备JDK21、Maven、Node.js(符合Vite版本要求)、MySQL8及支持libx264的完整FFmpeg。
- 创建独立数据库
creation_studio和数据库账号。 - IDEA导入
server/pom.xml,配置数据库、DashScope Key、媒体与状态目录,启动com.creationstudio.CreationStudioApplication(18200)。 - 启动前端:
cd web
npm.cmd ci
npm.cmd run dev详细配置和操作见安装与使用指南。Key仅配置在后端;图片和视频调用可能产生费用。默认用户模式仅供127.0.0.1本机使用,不应用于公网部署。成片由已有片段本地合成,不再次调用视频模型,输出为无声视频。





