文 | 钱钱
編(biān)辑 | 阿景(jǐng)
現(xiàn)在(zài)的(de)AI看(kàn)圖(tú)片(piàn)越(yuè)來(lái)越(yuè)厉害了(le)，你給(gěi)它(tā)張(zhāng)照(zhào)片(piàn)，它(tā)能(néng)說(shuō)出(chū)裡(lǐ)面有什么东西(xī)，甚至編(biān)段小(xiǎo)故(gù)事。
但真要(yào)让它(tā)像人(rén)一(yī)样"品"圖(tú)片(piàn)，比(bǐ)如(rú)說(shuō)說(shuō)這(zhè)張(zhāng)照(zhào)片(piàn)拍得(dé)美(měi)不(bù)美(měi)，畫(huà)質(zhì)有沒(méi)有糊，衣服料(liào)子(zi)看(kàn)着是(shì)棉的(de)還(hái)是(shì)麻(má)的(de)，它(tā)就(jiù)抓(zhuā)瞎了(le)。
最近上海(hǎi)AI實(shí)騐(yàn)室牽(qiān)头，聯(lián)合中科大(dà)、北大(dà)、清(qīng)华搞出(chū)個(gè)UniPercept框架(jià)，就(jiù)是(shì)要(yào)解(jiě)决這(zhè)個(gè)問(wèn)题。
从"认得(dé)出(chū)"到"品得(dé)出(chū)"，UniPercept到底咋搭(dā)的(de)架(jià)子(zi)？
以(yǐ)前(qián)AI看(kàn)圖(tú)片(piàn)，基本(běn)停留在(zài)"语义级"理(lǐ)解(jiě)。
简單(dān)說(shuō)，就(jiù)是(shì)能(néng)认出(chū)圖(tú)裡(lǐ)的(de)人(rén)、物(wù)、场景(jǐng)，比(bǐ)如(rú)"這(zhè)是(shì)一(yī)只猫在(zài)沙發(fā)上睡覺(jué)"。
展开全文
但人(rén)看(kàn)圖(tú)片(piàn)不(bù)止這(zhè)些(xiē)，還(hái)會(huì)注意光線(xiàn)柔(róu)不(bù)柔(róu)和(hé)，构圖(tú)有沒(méi)有講(jiǎng)究，甚至能(néng)感(gǎn)覺(jué)出(chū)照(zhào)片(piàn)裡(lǐ)衣服的(de)布料(liào)是(shì)光滑還(hái)是(shì)粗糙。
這(zhè)種(zhǒng)"感(gǎn)知级"理(lǐ)解(jiě)，AI一(yī)直搞不(bù)定。
UniPercept就(jiù)是(shì)专门干這(zhè)個(gè)的(de)。
它(tā)把感(gǎn)知级理(lǐ)解(jiě)拆成三個(gè)大(dà)塊(kuài)，美(měi)學(xué)、質(zhì)量(liàng)、結(jié)构與(yǔ)纹理(lǐ)。
這(zhè)分(fēn)類(lèi)還(hái)挺懂行的(de)。
美(měi)學(xué)這(zhè)塊(kuài)管构圖(tú)、色彩搭(dā)配這(zhè)些(xiē)"好不(bù)好看(kàn)"的(de)事，質(zhì)量(liàng)负责判断畫(huà)質(zhì)清(qīng)不(bù)清(qīng)晰，有沒(méi)有模糊、噪點(diǎn)，結(jié)构與(yǔ)纹理(lǐ)就(jiù)更細(xì)了(le)，能(néng)分(fēn)析物(wù)体的(de)材質(zhì)、表(biǎo)面肌理(lǐ)，比(bǐ)如(rú)区分(fēn)木纹是(shì)直的(de)還(hái)是(shì)斜的(de)。
這(zhè)三個(gè)領(lǐng)域(yù)下面又分(fēn)了(le)17個(gè)類(lèi)別(bié)，44個(gè)具体準(zhǔn)则。
本(běn)來(lái)想简單(dān)举個(gè)例子(zi)，後(hòu)來(lái)發(fā)現(xiàn)每個(gè)準(zhǔn)则都挺實(shí)在(zài)。
比(bǐ)如(rú)美(měi)學(xué)裡(lǐ)有"眡(shì)覺(jué)平衡"，就(jiù)是(shì)看(kàn)圖(tú)片(piàn)元素(sù)分(fēn)布勻(yún)不(bù)勻(yún)称，質(zhì)量(liàng)裡(lǐ)有"动态模糊"，专门揪那(nà)些(xiē)拍运动物(wù)体时糊掉的(de)部分(fēn)，結(jié)构纹理(lǐ)裡(lǐ)還(hái)有"織(zhī)物(wù)密度"，能(néng)看(kàn)出(chū)毛(máo)衣针腳(jiǎo)密不(bù)密。
光有分(fēn)類(lèi)還(hái)不(bù)行，得(dé)有地方練(liàn)手。
团队搞了(le)個(gè)UniPercept-Bench基準(zhǔn)測(cè)試(shì)集(jí)，裡(lǐ)面的(de)圖(tú)片(piàn)都是(shì)精挑(tiāo)細(xì)選(xuǎn)的(de)。
測(cè)試(shì)分(fēn)两種(zhǒng)，一(yī)種(zhǒng)是(shì)让AI給(gěi)圖(tú)片(piàn)打分(fēn)，比(bǐ)如(rú)美(měi)學(xué)打几分(fēn)，質(zhì)量(liàng)打几分(fēn)，另一(yī)種(zhǒng)是(shì)眡(shì)覺(jué)問(wèn)答(dá)，比(bǐ)如(rú)"這(zhè)張(zhāng)圖(tú)的(de)布料(liào)是(shì)光滑的(de)吗？"。
有了(le)這(zhè)個(gè)測(cè)試(shì)集(jí)，以(yǐ)後(hòu)AI的(de)感(gǎn)知能(néng)力好不(bù)好，一(yī)測(cè)就(jiù)知道。
光有架(jià)子(zi)不(bù)行，還(hái)得(dé)让AI"練(liàn)"出(chū)感(gǎn)知力。
UniPercept的(de)訓(xùn)練(liàn)方法挺特(tè)別(bié)，分(fēn)两步走。
第一(yī)步是(shì)"領(lǐng)域(yù)自适應(yīng)预訓(xùn)練(liàn)"，简單(dān)說(shuō)就(jiù)是(shì)让AI先(xiān)狂看(kàn)80万張(zhāng)各種(zhǒng)圖(tú)片(piàn)，把美(měi)學(xué)、質(zhì)量(liàng)、纹理(lǐ)這(zhè)些(xiē)領(lǐng)域(yù)的(de)基础感(gǎn)覺(jué)練(liàn)出(chū)來(lái)。
這(zhè)就(jiù)像學(xué)畫(huà)畫(huà)，先(xiān)得(dé)看(kàn)够名畫(huà)，才有感(gǎn)覺(jué)。
第二步更關(guān)键，叫(jiào)"任務(wù)对齐强化學(xué)习"。
用了(le)個(gè)叫(jiào)GRPO的(de)算法，让AI在(zài)打分(fēn)和(hé)問(wèn)答(dá)时越(yuè)練(liàn)越(yuè)準(zhǔn)。
這(zhè)裡(lǐ)面有個(gè)小(xiǎo)技(jì)巧，給(gěi)AI的(de)"奖勵(lì)"不(bù)是(shì)非黑即白的(de)，而是(shì)"軟(ruǎn)奖勵(lì)"，答(dá)对一(yī)點(diǎn)給(gěi)點(diǎn)分(fēn)，全答(dá)对給(gěi)满分(fēn)。
就(jiù)像老师改作业，部分(fēn)正确也給(gěi)鼓勵(lì)，這(zhè)样AI學(xué)得(dé)更快(kuài)。
練(liàn)得(dé)怎么样？团队找了(le)18個(gè)現(xiàn)有的(de)AI模型(xíng)來(lái)比(bǐ)。
在(zài)眡(shì)覺(jué)評(píng)分(fēn)任務(wù)裡(lǐ)，UniPercept打分(fēn)和(hé)人(rén)打分(fēn)的(de)相(xiāng)似度明显更高(gāo)，眡(shì)覺(jué)問(wèn)答(dá)上，問(wèn)它(tā)"這(zhè)張(zhāng)圖(tú)的(de)光影风格(gé)是(shì)柔(róu)和(hé)還(hái)是(shì)硬朗"，它(tā)答(dá)得(dé)比(bǐ)別(bié)的(de)AI都準(zhǔn)。
特(tè)別(bié)是(shì)在(zài)ISTA這(zhè)個(gè)专门考細(xì)節(jié)纹理(lǐ)的(de)測(cè)試(shì)裡(lǐ)，UniPercept表(biǎo)現(xiàn)得(dé)最好，能(néng)分(fēn)清(qīng)不(bù)同木纹、布料(liào)的(de)細(xì)微差別(bié)。
練(liàn)得(dé)這(zhè)么好，這(zhè)技(jì)术能(néng)用來(lái)干啥(shà)？
最直接(jiē)的(de)就(jiù)是(shì)帮AI自己生成圖(tú)片(piàn)。
現(xiàn)在(zài)AI畫(huà)圖(tú)很火(huǒ)，但经常畫(huà)出(chū)來(lái)的(de)圖(tú)看(kàn)着別(bié)扭要(yào)么构圖(tú)奇怪(guài)，要(yào)么質(zhì)感(gǎn)不(bù)对，比(bǐ)如(rú)把金属畫(huà)得(dé)像塑料(liào)。
有了(le)UniPercept，就(jiù)能(néng)給(gěi)AI当"評(píng)委(wěi)"，告诉它(tā)哪裡(lǐ)美(měi)、哪裡(lǐ)糙，下次畫(huà)得(dé)更好。
搞設(shè)計(jì)、摄影的(de)人(rén)估計(jì)也用得(dé)上。
以(yǐ)後(hòu)拍完照(zhào)、做完設(shè)計(jì)，不(bù)用找人(rén)打分(fēn)了(le)，UniPercept能(néng)給(gěi)個(gè)详細(xì)的(de)"感(gǎn)知档案"，美(měi)學(xué)85分(fēn)（构圖(tú)不(bù)错，色彩稍暗），質(zhì)量(liàng)90分(fēn)（清(qīng)晰度高(gāo)，无噪點(diǎn)），纹理(lǐ)78分(fēn)（織(zhī)物(wù)質(zhì)感(gǎn)表(biǎo)現(xiàn)一(yī)般）。
比(bǐ)人(rén)評(píng)得(dé)還(hái)細(xì)。
长远來(lái)看(kàn)，這(zhè)东西(xī)可能(néng)會(huì)改变AI和(hé)人(rén)的(de)互(hù)动方式。
以(yǐ)前(qián)我(wǒ)們(men)用AI是(shì)"你帮我(wǒ)看(kàn)看(kàn)這(zhè)是(shì)啥(shà)"，以(yǐ)後(hòu)可能(néng)是(shì)"你帮我(wǒ)品品這(zhè)張(zhāng)圖(tú)怎么样"。
AI不(bù)光能(néng)看(kàn)懂内容，還(hái)能(néng)理(lǐ)解(jiě)我(wǒ)們(men)对美(měi)的(de)感(gǎn)受、对質(zhì)感(gǎn)的(de)偏好，這(zhè)不(bù)就(jiù)是(shì)往更懂人(rén)的(de)方向走嘛。
UniPercept這(zhè)框架(jià)，說(shuō)到底就(jiù)是(shì)給(gěi)AI補(bǔ)上"感(gǎn)知"這(zhè)塊(kuài)短板。
以(yǐ)前(qián)AI看(kàn)世界是(shì)"功能(néng)型(xíng)"的(de)，认得(dé)出(chū)东西(xī)就(jiù)行，現(xiàn)在(zài)想让它(tā)变成"体騐(yàn)型(xíng)"的(de)，能(néng)和(hé)人(rén)一(yī)样感(gǎn)受細(xì)節(jié)、品味好坏。
上海(hǎi)AI實(shí)騐(yàn)室這(zhè)帮人(rén)，聯(lián)合這(zhè)么多高(gāo)校一(yī)起搞，确實(shí)抓(zhuā)住(zhù)了(le)AI眡(shì)覺(jué)的(de)一(yī)個(gè)關(guān)键痛點(diǎn)。
以(yǐ)後(hòu)AI再看(kàn)圖(tú)片(piàn)，可能(néng)真能(néng)像我(wǒ)們(men)一(yī)样，指着一(yī)幅畫(huà)說(shuō)"這(zhè)光影用得(dé)绝了(le)"，拿(ná)起一(yī)件虚拟衣服說(shuō)"這(zhè)料(liào)子(zi)看(kàn)着就(jiù)舒服"。
這(zhè)一(yī)天要(yào)是(shì)真來(lái)了(le)，AI在(zài)创作、設(shè)計(jì)這(zhè)些(xiē)領(lǐng)域(yù)的(de)用处，可就(jiù)不(bù)止是(shì)帮忙干活那(nà)么简單(dān)了(le)。
《本文》有 0 条评论