文生圖領(lǐng)域權(quán)威的第三方榜單Artificial Analysis競(jìng)技場(chǎng)發(fā)布消息稱，字節(jié)跳動(dòng)Seed團(tuán)隊(duì)圖像生成模型Seedream 3.0綜合性能已追平文生圖SOTA模型GPT-4o，穩(wěn)定超越Recraft V3、Ideogram、Imagen 3、Midjourney V6.1等模型，進(jìn)入全球第一梯隊(duì)。

 

 

Seedream 3.0是字節(jié)近日發(fā)布的新一代文生圖主力模型，目前已在即夢(mèng)、豆包等平臺(tái)全量開(kāi)放。據(jù)Seedream 3.0技術(shù)報(bào)告，Seedream3.0是一個(gè)原生高分辨率、支持中英雙語(yǔ)的圖像生成基礎(chǔ)模型，無(wú)需后處理即可實(shí)現(xiàn) 2K 分辨率圖像直出，適配多比例場(chǎng)景，同時(shí)針對(duì)小字體高保真生成、多行文本排版等業(yè)界難題，模型也取得了突破性的效果表現(xiàn)。

 

值得一提的是，Seedream 3.0在3秒左右即可快速生成1K分辨率的高品質(zhì)內(nèi)容，相比之下，業(yè)界同類模型生成該分辨率內(nèi)容的耗時(shí)基本在10秒以上，而此前文生圖SOTA模型GPT-4o平均耗時(shí)為77秒。

 

圖注：Seedream3.0 技術(shù)報(bào)告中評(píng)測(cè)結(jié)果

 

豆包大模型團(tuán)隊(duì)推文介紹稱，Seedream3.0研發(fā)始于2024年末，通過(guò)調(diào)研設(shè)計(jì)師等群體的實(shí)際需求，團(tuán)隊(duì)不僅將圖文匹配、結(jié)構(gòu)、美感等行業(yè)共識(shí)性指標(biāo)納入攻堅(jiān)方向，同時(shí)，也將挑戰(zhàn)小字生成與復(fù)雜文本排版、2K高清直出、快速圖片生成等難題作為核心目標(biāo)。

 

針對(duì)2K分辨率、多尺寸圖像直出能力實(shí)現(xiàn)，團(tuán)隊(duì)借助了Transformers 架構(gòu)對(duì)變長(zhǎng)輸入序列的靈活處理能力，在從 512x512 到2048x2048 的多種分辨率和不同長(zhǎng)寬比上混合訓(xùn)練，讓模型實(shí)現(xiàn)不經(jīng)過(guò)額外深加工的高清直出，同時(shí)也支持多種分辨率輸出。

 

為支持快速生成高品質(zhì)圖像，模型采用自研推理加速算法，依靠一致性噪聲預(yù)測(cè)，疊加重要時(shí)間步采樣，最終實(shí)現(xiàn)對(duì)模型的無(wú)損加速。在保障圖文匹配、美學(xué)質(zhì)量、結(jié)構(gòu)準(zhǔn)確度等指標(biāo)的前提下，Seedream 3.0 生成1K分辨率圖像僅需 3 秒。

 

圖注：Seedream3.0輸出圖像細(xì)節(jié)豐富，蝴蝶絨毛根根分明

 

Seedream3.0還大幅提升了小字體高保真生成、多行文本語(yǔ)義排版表現(xiàn)，滿足設(shè)計(jì)師對(duì)海報(bào)設(shè)計(jì)的需求。團(tuán)隊(duì)在預(yù)訓(xùn)練階段，引入跨模態(tài)旋轉(zhuǎn)位置編碼，補(bǔ)足傳統(tǒng)方法模態(tài)特征對(duì)齊短板，進(jìn)一步加強(qiáng)了文字渲染能力。

 

圖注：Seedream3.0模型可完成小字生成、多行文本排版，并兼顧畫面美感

 

據(jù)Seedream團(tuán)隊(duì)介紹，相比此前2.0版本，Seedream 3.0 在數(shù)據(jù)和RLHF階段也使用了全新方案。團(tuán)隊(duì)采用缺陷感知的訓(xùn)練策略，使有效數(shù)據(jù)集擴(kuò)充超過(guò)20%，同時(shí)設(shè)計(jì)了精準(zhǔn)的美感描述維度，并進(jìn)一步拓展RLHF獎(jiǎng)勵(lì)模型，使Seedream 3.0 具備多維度質(zhì)量判別能力，綜合性能大幅提升。

 

圖注：Seedream3.0在美感等方面較2.0進(jìn)一步提升

 

Seedream團(tuán)隊(duì)表示，“新模型在海報(bào)創(chuàng)作、生成效率、結(jié)構(gòu)與美感等方面取得了明顯進(jìn)步，但在生成可用性、美感與結(jié)構(gòu)、智能化方面仍有提升空間。”

 

據(jù)了解，未來(lái)，團(tuán)隊(duì)計(jì)劃探索更高效的結(jié)構(gòu)設(shè)計(jì)，包括構(gòu)建效果更好、成本更低、生成更快的文生圖模型，并進(jìn)一步拓展模型對(duì)世界知識(shí)的理解，賦予模型交織生成等能力。同時(shí)，團(tuán)隊(duì)也計(jì)劃探索數(shù)據(jù)、模型量級(jí)、獎(jiǎng)勵(lì)模型等維度的Scaling現(xiàn)象，將認(rèn)知積累應(yīng)用于下一代模型中。

 

Seedream 3.0 技術(shù)報(bào)告：https://arxiv.org/abs/2504.11346

Seedream 3.0 官方網(wǎng)頁(yè)：https://team.doubao.com/zh/tech/seedream3_0

 

 

雷峰網(wǎng)版權(quán)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。