字節跳動推薦平台技術公開(kāi),項亮:底層架構有時(shí)比上層算法更重要
允中發(fā)自凹非寺
量子位報道(dào)公衆号 QbitAI
字節跳動已正式吹響進(jìn)軍雲計算市場号角。
12 月 2 日,火山引擎全系列雲産品亮相,共推出了 78 項雲産品服務,涵蓋雲基礎、視頻及内容分發(fā)、數據中台、開(kāi)發(fā)中台、人工智能(néng)等五大類。
火山引擎雲産品以性價比、提升業務價值作爲重要賣點。發(fā)布會(huì)上,字節跳動 AML(應用機器學(xué)習)負責人項亮出現在“新雲·智享盛宴”分會(huì)場,詳細介紹了智能(néng)推薦如何結合雲服務爲企業創造價值,并首次向(xiàng)外界分享了火山引擎智能(néng)推薦系統的技術演進(jìn)和應用實踐。
項亮是《推薦系統實踐》的作者,其所在的字節跳動 AML 團隊,爲火山引擎的智能(néng)推薦技術服務提供了全力支持。
以下爲項亮演講全文。
項亮演講原文
很多人理解推薦就(jiù)是推薦算法,機器學(xué)習模型怎麼(me)做的、這(zhè)些模型怎麼(me)調參,覺得這(zhè)些很重要。其實我想說(shuō),推薦系統裡(lǐ)底層的工程架構、系統架構非常重要,某種(zhǒng)程度上會(huì)超過(guò)上層的算法。
我們在内部很多實踐裡(lǐ)也看到,底層工程架構、系統架構如果出現問題,對(duì)業務造成(chéng)的影響是大于算法的。這(zhè)就(jiù)是火山引擎爲什麼(me)要推出推薦系統平台這(zhè)樣(yàng)一個偏底層架構的産品。
我給大家分三個方面(miàn)介紹一下智能(néng)推薦平台:首先介紹推薦在不同産品、不同業務中究竟發(fā)揮什麼(me)作用,以及智能(néng)推薦平台會(huì)給企業帶來什麼(me)價值;然後(hòu)我會(huì)稍微詳細介紹一下平台各個模塊大概是做什麼(me)的,具有什麼(me)能(néng)力;最後(hòu)介紹一些我們客戶使用推薦系統的案例。
可以做選擇的地方,就(jiù)可以做推薦
我做推薦系統已經(jīng)十幾年了。很早之前,很多人認爲推薦就(jiù)是錦上添花的工作。但是在今日頭條、抖音這(zhè)些産品的成(chéng)長(cháng)中,個性化推薦發(fā)揮了重要的作用。推薦也逐漸成(chéng)爲了互聯網信息分發(fā)的主流模式。
信息分發(fā)到現在一共經(jīng)過(guò)了四個階段,這(zhè)些階段一方面(miàn)有先後(hòu)順序,另一方面(miàn)也不完全是替代關系。比如最早的門戶時(shí)代,信息分發(fā)的方式是分類索引;到了谷歌做搜索引擎,這(zhè)是基于用戶的主動性,通過(guò)搜索的方式發(fā)現信息;再往後(hòu)出現了臉書、YouTube,還(hái)有國(guó)内的微博、微信這(zhè)些産品,用戶基于訂閱關注獲得信息;然後(hòu)就(jiù)是推薦引擎,從“人找信息”變成(chéng)了“信息找人”。這(zhè)是在移動互聯網時(shí)代快速發(fā)展起(qǐ)來的,現在已經(jīng)成(chéng)爲了比較主流的信息分發(fā)方式。
所有可以選擇的地方,爲了解決用戶選擇困難,基本都(dōu)可以上推薦系統。比如今日頭條,用戶看新聞,肯定是适合用推薦的,還(hái)有大家熟悉的短視頻。分類信息也可以做推薦,信息的分類一般會(huì)有很多,手機屏幕再大也是有限的,一屏展示不了多少内容。電商的熱門推薦也一樣(yàng)。
說(shuō)起(qǐ)電商的推薦,商品詳情頁這(zhè)個地方,以前最早亞馬遜做了打包交叉銷售,當用戶買了一本書的時(shí)候,可以推薦别的書。最開(kāi)始大家隻考慮推薦的商品和當前買的東西是否相關,但現在都(dōu)會(huì)考慮個性化推薦,不僅要和當前商品相關,還(hái)要和消費者的興趣産生關系。
新用戶冷啓動也已經(jīng)涉及到推薦。一般有産品會(huì)專門做精選頁面(miàn)、熱門頁面(miàn)給新用戶。雖然是新用戶,也可以通過(guò)推薦的技術提升效果。像大屏,現在智能(néng)電視很普及,我們家已經(jīng)沒(méi)有傳統電視了,智能(néng)電視的節目也是需要推薦的。
另外還(hái)有社交、應用市場、音視頻、小說(shuō)的推薦,基本上可以看到,凡是可以做選擇的地方都(dōu)可以做推薦,對(duì)效果的影響也很大。
定好(hǎo)目标,剩下的交給機器學(xué)習
智能(néng)推薦可以幫助客戶提升流量活躍度、銷售貢獻度和效率。但是,搭建整個推薦系統是非常耗費資源的事(shì)情。你做推薦系統,肯定要做得更實時(shí),特征回流要快,這(zhè)些東西都(dōu)消耗大量的人力成(chéng)本,試錯成(chéng)本也很大。
企業可以直接在成(chéng)熟的推薦平台上做推薦系統。字節跳動每天增加 1500 次 AB test,大量的實驗可以規避各種(zhǒng)錯誤,現在把推薦系統平台通過(guò)火山引擎開(kāi)放出來,降低大家的試錯成(chéng)本。
火山引擎智能(néng)推薦平台,第一個特點是端到端。這(zhè)個詞這(zhè)些年經(jīng)常有人提,我估計有些人還(hái)不是特别理解。十年前業界的推薦做不到端到端,比如有人買了《射雕英雄傳》,就(jiù)推薦一本和《射雕英雄傳》相似的書,基于當時(shí)的技術和建模方式,直接就(jiù)是通過(guò)算法工程師自己腦子裡(lǐ)的策略實現的。
現在的技術是可以做到直接提升你想提升的業務目标。比如你想實現什麼(me)效果,模型可以直接預估這(zhè)個目标,最終結果按照預估的結果排。先把目标定下來,剩下的都(dōu)是機器學(xué)習的事(shì)兒,這(zhè)就(jiù)是端到端,這(zhè)個能(néng)力會(huì)全流程提供給客戶。
第二是實時(shí)性,比如消費者購買商品的行爲,下次給他推薦的時(shí)候,能(néng)不能(néng)用上剛剛發(fā)生的行爲,這(zhè)也很關鍵。業界開(kāi)始做實時(shí)的推薦系統,可能(néng)就(jiù)是 2013、2014 左右的時(shí)候。據我所知,現在很多企業并沒(méi)有做到完全的實時(shí),大部分人還(hái)是今天訓練幾個模型,明天就(jiù)按照今天的模型預估用戶的興趣。我們所有系統都(dōu)是實時(shí)的,特征實時(shí)更新、模型實時(shí)訓練,可以給用戶實時(shí)的反饋。
再往下就(jiù)是大規模。我們在内部具備的處理大規模數據的推薦系統、廣告系統的能(néng)力,對(duì)外會(huì)同步提供。
然後(hòu)是行業定制。我們提供了一些行業模闆,包括内容、電商等我們有實踐的行業。當然有很多行業我們沒(méi)有做,但是智能(néng)推薦平台上會(huì)基于我們對(duì)外合作中積累的行業經(jīng)驗,給每個行業提供現成(chéng)的模闆,希望大家配置的時(shí)候不用配太多東西,就(jiù)可以快速構建推薦系統。
另外,很多企業都(dōu)希望自己有研發(fā)能(néng)力,希望系統不要太黑盒了。我們提供的平台是兼具黑白盒能(néng)力的平台,你既可以實現:什麼(me)都(dōu)不管,就(jiù)把數據接對(duì)了,目标定對(duì)了,系統就(jiù)可以做到;你也可以實現:深度開(kāi)發(fā),比如系統裡(lǐ)面(miàn)調調模型,加加特征,這(zhè)個也是支持的。
接下來是更加細節的指标,比如模型種(zhǒng)類,支持很多種(zhǒng)不同的模型。我們對(duì)各種(zhǒng)模型都(dōu)做了充分的内部探索,提供出來的是真正有用的。比如多目标,現在推薦系統往往不隻是有一個目标,我們提供了多目标的支持。還(hái)有很多比較細節的技術。
用好(hǎo)推薦平台,提升的不僅僅是營收
字節内部有很多産品,都(dōu)是通過(guò)推薦中台把産品在底層打通的。比如A産品上有一個方法特别有用,B産品借鑒過(guò)去也很快,我們希望把這(zhè)樣(yàng)的能(néng)力同步到對(duì)外部客戶的服務中。火山引擎的智能(néng)推薦平台,就(jiù)是基于字節推薦中台打造的。
在主要功能(néng)上,火山引擎智能(néng)推薦平台提供的推薦類型非常豐富,黑白盒功能(néng)也介紹過(guò),第三就(jiù)是校驗和歸因分析。做推薦,數據是非常關鍵的,比如給平台的數據是錯的,那推薦肯定做不好(hǎo),往往這(zhè)一步是很多推薦系統工作中最耗時(shí)的部分,所以我們平台會(huì)給大家提供校驗和歸因功能(néng),方便大家把數據做對(duì)。另外大家在實際工作中不隻是模型,還(hái)有各種(zhǒng)各樣(yàng)的運營策略,我們也提供這(zhè)種(zhǒng)能(néng)力。
最後(hòu)講一些客戶案例:
一家電商客戶,在很多位置接入了信息流的個性化推薦。比如個性化搜索,以前搜索和推薦聽起(qǐ)來是兩(liǎng)個不同的技術,但是在電商裡(lǐ),搜索結果也需要個性化。火山引擎的智能(néng)推薦平台,幫助這(zhè)家客戶在推薦場景中獲得人均 GMV100% 的增長(cháng),提升了平台收入和用戶體驗。
電視現在也非常互聯網化了,也可以接推薦系統。比如一些客戶關心時(shí)長(cháng)和付費轉化率,這(zhè)是可以通過(guò)機器學(xué)習模型預估的,也取得了不錯的效果,無論是首頁的個性化推薦還(hái)是頻道(dào)頁推薦、詳情頁推薦。
此外還(hái)有内容社區、廣告等案例,最後(hòu)講的一個是手機廠商的應用商店,這(zhè)是我們技術 toB 做得最早的業務,從幾年前就(jiù)開(kāi)始做了。客戶在使用我們平台過(guò)程中,研發(fā)團隊的能(néng)力也得到了提升,從這(zhè)兩(liǎng)條曲線就(jiù)可以看到,雙方效果的差距越來越小。這(zhè)也說(shuō)明,智能(néng)推薦平台的作用不僅是提升營收,還(hái)能(néng)夠爲客戶創造更多價值。
希望未來我們有機會(huì)爲更多客戶服務。我的分享就(jiù)到這(zhè)裡(lǐ),謝謝大家!
— 完 —