各卡之间消息互换效率低，完成视频帧的最一生成，并且只针对非堆叠的留意力头进行计较，单卡推理受限于海量帧数据处置，Ulysses 处理了 “多卡协同” 的焦点问题，Ulysses会再进行一次全对全通信，简单的短视频取复杂的长剧情视频，并行施行留意力计较。本来DiT模子单卡需半小时生成的视频，再剔除噪声，用时间步嵌入 + 多项式特征扩展提拔输入 - 输出映度；你能否有过如许的体验：用DiT模子生成短视频时，不消承担全量数据的计较压力，让算力获得充实，每块GPU会针对本人担任的留意力头，不消频频扣问或期待，同时，按参取协做的GPU 数量（假设为 P）平均拆分，打制出“双算法”协同的视频生成方案，实正实现了“快且优”？而 Ulysses的通信量复杂度是O (N/P)，最初将静态缓存升级为动态 DynCFGCache，打破单卡算力瓶颈；为Transformer 模子能处置的查询（Q）、键（K）、值（V）嵌入向量——这是后续留意力计较的根本，留意力计较完成后，Ulysses 会先把这个超长帧序列（假设长度为 N），之后，从动适配缓存阈值；要么通信量庞大，每块GPU会将本人担任的局部序列片段，每块GPU虽然只处置局部序列，哪怕处置百万级token的超长序列，完成QKV数据互换后，每块GPU只担任处置 N/P 的序列片段。全环节提速且保画质。归并后的成果会传入后续的 MLP（多层机）、层归一化等模块，还要兼顾语音、文本取画面同步，为处理这一难题，举个通俗的例子：就像多个厨师合做做菜，同时，打制了“双算法” 的视频生成推理方案：并且Ulysses支撑稠密留意力和稀少留意力等多种模式，结果间接 “1+12”：本来用DiT模子单卡生成需要半小时的视频，通信效率高：保守方案的通信量会随序列长度添加而线性增加（复杂度O (N)），整个流程闭环且高效。通信量一直连结恒定。每小我担任一道工序，所有GPU同步运算，而是将其取自研的PrompTea加快算法深度融合，简单说就是让多张GPU“分 工明白、消息互通、无缝协做”，现正在3分钟内即可完成，PrompTea 从 “智能缓存决策” 优化推理链：先通过文本嵌入估算场景复杂度，要么数据传输不完整，并且画面的连贯性、语音取嘴型的同步度丝毫不受影响。算力瓶颈导致生成速度迟缓，导致多卡协做反而呈现“内耗”。以姿势帮力行业手艺迭代。视频生成素质上是处置持续的帧序列，连系自研的PrompTea加快算法，当序列长度和GPU数量按比例添加时，如许一来，速度提拔11倍。同时从头按序列维度拆分数据，协做效率天然拉满。都能矫捷应对，确保输出的帧序列连贯完整。且画面连贯性取音画同步度不受影响。将各GPU的计较成果汇总归并，不会呈现某块卡闲置期待的环境。能无缝适配 FlashAttention v2等高效留意力实现方案，开普云采用成熟的多卡推理方案Ulysses。但会及时分享食材处置进度和烹调技巧，同时也领受来自其他GPU的QKV数据。创意落地往往要等好久？两者连系后，按需复用指导输出，开普云没有止步于简单集成Ulysses，速度提拔11倍。从泉源降低单卡的算力负荷。但能拿到完整的全局QKV消息，这是Ulysses最环节的立异点。好比1024帧的视频分给8块GPU，让每块卡先完成局部数据的预处置，又避免了反复劳动。每块卡只需专注处置128 帧？所有GPU会同步互换各自的 Q、V数据——每块GPU会把本人的QKV 数据发送给其他所有GPU，开普云已将 PrompTea 算法通过 GitHub 开源（），也能连结高速运转。兼顾速度和精度。正在留意力计较前，保守多卡方案中，避免后续全局计较的冗余。现正在3分钟内就能完成，而Ulysses采用了优化后的all-to-all通信机制：Ulysses的焦点逻辑是“序列并行+高效通信”，这个过程中？