Skip to content

About

No description, website, or topics provided.

Resources

Stars

1 star

Watchers

0 watching

Forks

Latest commit

 

History

2 Commits

Folders and files

NameName
Last commit message
Last commit date
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Creation Studio

基于 Java 与 AgentScope HarnessAgent 的 AI 视频创作工作台,将手动编辑、阶段 AI 和对话式创作整合在同一个白色工作台中。

核心流程

剧本 → 角色 / 场景 / 道具 → 分镜 → 首帧 → 镜头视频 → 排序合成 → 播放 / 下载
  • 手动创作:保存剧本,编辑故事资产、镜头,选择视频片段并调整播放顺序。
  • 阶段 AI:生成资产参考图、镜头首帧及视频,提交前明确目标、提示词和费用。
  • 创作助手:理解需求、读取项目上下文、选择业务工具,提出剧本修改、资产提取、分镜及媒体任务。
  • 人工确认:写入动作通过聊天内可点击确认卡批准或拒绝,不依赖口头承诺。
  • 执行可见:SSE展示助手运行事件;异步媒体任务独立展示进度,提交成功不冒充产物完成。
  • 持久回读:项目、会话、任务与结果可刷新回读,成片直接播放和下载。

工作台预览

以下截图沿用同一个“旧邮局递信”项目:剧本中的林舟、陈伯、旧邮局与红色信封,逐步进入资产、02镜头首帧、视频和成片。部分为阶段验收时保存的真实界面,含测试标记及当时状态文案;新安装不会自动附带这些作品数据。资产参考图展示文本生图结果,不保证外观一致性,也不是图生视频的直接输入。

剧本

保存原始故事,作为后续助手读取、资产提取与分镜设计的业务上下文。

剧本工作台

角色、场景与道具

林舟、陈伯、旧邮局和红色信封与剧本对应,资产卡可保存描述并生成参考图。

故事资产与参考图

分镜与故事资产

镜头关联角色、场景和道具,页面与助手工具共享业务规则。

分镜工作台

02镜头关联陈伯、旧邮局和红色信封,首帧是后续图生视频的实际输入。

分镜关联资产与首帧

镜头视频

基于首帧生成真实视频,任务状态与播放器在同一阶段展示。

镜头视频

成片合成

选择已有片段、明确顺序,合成后预览并下载。

成片工作台

该示例成片按指定顺序拼接02镜头的两个历史生成版本,各5秒,总计10秒;不是两个不同镜头的作品。

系统架构

flowchart LR
    UI[React 创作工作台] --> HTTP[阶段 HTTP 接口]
    UI --> CHAT[助手 Run / 确认接口]
    CHAT --> HARNESS[HarnessAgent + Toolkit + 原生权限确认]
    HARNESS <--> LLM[DashScope 文本模型]
    HARNESS --> TOOL[项目绑定的业务 Tools]
    HTTP --> APP[共享业务 UseCase]
    TOOL --> APP
    APP --> DB[(MySQL 业务与任务)]
    APP --> JOB[本机异步任务执行]
    JOB <--> MEDIA[DashScope 图片 / 视频模型]
    JOB --> FFMPEG[FFmpeg 成片合成]
    JOB --> FILES[本地媒体目录]
    HARNESS --> JOURNAL[Run / Event Journal]
    JOURNAL --> DB
    HARNESS --> STATE[SDK 会话状态文件]
    JOURNAL --> SSE[SSE 事件回放]
    SSE --> UI
    UI --> POLL[媒体任务查询 / 产物读取]
    POLL --> APP
Loading

核心是一个Java服务、三个创作入口、一套业务规则。模型决定调用哪些工具,业务用例决定动作是否合法;人工确认在副作用执行之前,事件日志与媒体任务分别承担过程展示和结果查询。

架构分层、原生确认恢复、SSE与异步媒体时序、持久化及核心流程说明见架构与核心流程。

Agent 与业务集成

助手使用 AgentScope HarnessAgent、Toolkit 与原生权限确认机制。读取工具获取真实项目数据;写入工具在批准后调用业务用例。HTTP页面接口与工具共用归属校验、版本检查及持久化逻辑。

图片、视频和合成任务先登记再执行,保存动作标识、源版本及结果。同键重放不重复提交,版本冲突不覆盖已修改目标,结果未知不自动重新生成。助手事件、业务任务状态和媒体产物分开记录,不把模型回答当作执行凭证。

技术栈

层 技术
工作台 React 19、TypeScript、Vite
后端 Java21、Spring Boot3.5、MyBatis-Plus、Flyway
Agent AgentScope Java Harness2.0、DashScope
数据与媒体 MySQL、单节点本地状态与媒体文件、FFmpeg
模型 Qwen文本模型、万相生图与图生视频

本地运行

准备JDK21、Maven、Node.js(符合Vite版本要求)、MySQL8及支持libx264的完整FFmpeg。

  1. 创建独立数据库 creation_studio 和数据库账号。
  2. IDEA导入 server/pom.xml,配置数据库、DashScope Key、媒体与状态目录,启动 com.creationstudio.CreationStudioApplication(18200)。
  3. 启动前端:
cd web
npm.cmd ci
npm.cmd run dev
  1. 打开 **http://127.0.0.1:5194/**,新建项目。本机默认用户无需登录或填写token。

详细配置和操作见安装与使用指南。Key仅配置在后端;图片和视频调用可能产生费用。默认用户模式仅供127.0.0.1本机使用,不应用于公网部署。成片由已有片段本地合成,不再次调用视频模型,输出为无声视频。

License

MIT。第三方版权与许可证说明见NOTICE。

About

No description, website, or topics provided.

Resources

Stars

1 star

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages