伴隨著AIGC技術風口的到來,“AI+新零售”行業不斷興起。通過AI自動生成海量商品營銷內容,為品牌解決內容制作成本與效率問題,正在成為AIGC賽道下SaaS服務商們為電商企業發力的新方向。
成立於2017年的極睿科技是這一賽道的先行者,其於日前正式推出“ECGPT”和“FashionCLIP”兩大行業垂直模型,並為電商企業提供包含拍攝、圖文、短視頻等多種內容形態的全鏈路解決方案,已累計為超過25000傢知名企業提供內容服務支持,覆蓋鞋服配飾、快消零售等多個行業品類,助力品牌自動生成商品營銷素材,提升內容制作效率、降低人力與時間成本。
作為行業首傢推出垂直大模型的極睿科技,已在AIGC領域具備領先的研發能力,其基於多年來對行業高質量商品數據的積累,為電商內容制作帶來生產力變革。基於此,我們對極睿科技CTO徐鎮進行瞭一次深度技術訪談,共同探討極睿科技對於AIGC大模型在電商領域應用落地的經驗與優勢,本文內容提煉自訪談視頻。
https://www.zhihu.com/video/1688203023741046784
首個行業垂直大模型的三大顯著特征
與徐鎮的此次交談中,我們發現極睿科技推出的首個“ECGPT”和“FashionCLIP”電商垂直大模型在現有的行業背景下,顯露出行業垂直性、內容可控性及全鏈路生成三大顯著特征。
構建億級圖文多模態數據集,自研垂直時尚領域CLIP大模型
行業垂直性是極睿大模型的顯著特征之一。“FashionCLIP”結合瞭極睿科技多年來對電商及媒體領域的泛服飾圖文數據,並通過構建億級圖文多模態數據集、finetuneCLIP 模型而得到的聚焦時尚領域的專用CLIP大模型。從模型垂直度而言,徐鎮介紹到,“FashionCLIP” 在應用於傳統感知類計算機多種視覺任務中包括對Zero-Shot領域的圖片識別、智能分類、智能標簽與多模態搜索等均有出色的效果,並且其還可被應用於包括文生圖、圖生圖在內的多種圖像生成形式,使得“FashionCLIP”在電商服飾垂類領域對圖文相關內容生成具有行業領先性的效果。
極睿技術能力介紹
通過模型持續調優,推動商品內容可控化生成
在電商內容生成環節,貨版一致是品牌最核心的需求。徐鎮談到,為助力電商企業避免為貨不對板帶來的售後履約問題所困擾,極睿科技在圖片生成過程中不斷優化Stable Diffusion模型,並基於SD對積累的電商模特和服裝圖片數據集進行持續微調和模型優化,推動在產品中生成更美觀的亞洲人臉、更寫實的服裝效果和更多樣的拍攝場景;在另一方面,極睿還通過對 ControlNet 模型的優化,讓模特場景圖的生成更可控,生成效果更貼近電商業務場景。
極睿大模型滿足電商內容可控生成需求
算法迭代速度不斷提升,賦能電商全鏈路內容生成
電商全鏈路內容自動生成是極睿大模型能力的另一大亮點。徐鎮認為,極睿大模型在傳統任務感知中已實現基本替代傳統CV算法和部分NLP算法,並基於大模型在內容加工中落地瞭內容生成、圖像編輯、圖像Inpainting、智能摳圖等算法應用場景,此外,不同於行業以往更多基於Rule Based內容生成形式,極睿現可根據數據結構完成落地,同時具備自動生成圖像和視頻素材的能力。他介紹到,目前極睿已在ECPro、iClip、PhotoMagic等系列AIGC產品中通過深度應用“FashionCLIP“和優化的 Stable Diffusion 等模型,擁有圖文、短視頻等電商全鏈路內容的自動生成能力。
極睿AIGC產品矩陣
內嵌大模型的全矩陣內容產品
通過對垂直大模型的深度內嵌,極睿目前可以為全平臺電商企業提供從拍攝、圖文排版、直播切片、商品短視頻到商品種草的全鏈路內容運營解決方案,推動電商企業以更高效、更優質的內容驅動業務增長。
AI電商場景圖智能生成:PhotoMagic
通過對計算機視覺、商品數據庫及AIGC生成模型的結合, 助力品牌實現模特圖換臉換背景、定制AI虛擬模特等,助力企業極速降低拍攝成本,提升商品圖片制作效率和內容轉化率。
PhotoMagic自動生成商品場景圖
商品圖文詳情自動排版上新:ECPro易尚貨
憑借AIGC助力服飾電商自動生成包含主圖、詳情頁等營銷素材,一鍵完成多平臺跨店鋪的極速上新。
商品短視頻智能運營:iClip易視頻
通過AI對品牌已有素材如商品主圖、詳情等內容的抓取,快速生成覆蓋全店商品的微詳情短視頻,並憑借對官方規則的同步及對視頻運營數據的監測,為品牌實現智能化運營。
https://www.zhihu.com/video/1688201568409825280https://www.zhihu.com/video/1688201671656820737
直播切片智能生成:iCut直剪
基於語義及視覺識別,智能抓取直播賣點講解片段,助力直播賣傢自動形成切片賣點短視頻,無需剪輯即可一邊直播一邊實時獲得海量短視頻素材,幫助直播賣傢通過短視頻引流獲客和持續成交。
https://www.zhihu.com/video/1688201765152043008https://www.zhihu.com/video/1688201790154305536
在被問到極睿未來對大模型與產品的規劃時,徐鎮的回答是:隨著算法、算力不斷進步,大模型在電商業務場景中產生的作用與影響力將會與日俱增,極睿也將繼續加大對基礎算法的投入,並基於大模型落地更多產品,為電商企業創造更多業務價值。