深度學(xué)習(xí)帶來全新的 AI 技術(shù)革命
人類有據(jù)可查的四五千年的歷史，其實(shí)是一場(chǎng)又一場(chǎng)持續(xù)不斷的技術(shù)革命。從漁獵時(shí)代到農(nóng)業(yè)時(shí)代，再到蒸汽時(shí)代、電力時(shí)代，技術(shù)的革命帶來了生產(chǎn)力工具的革命，進(jìn)而影響到人類社會(huì)的發(fā)展。
我們?cè)谶^去七八年間所經(jīng)歷的由深度學(xué)習(xí)帶來的 AI 技術(shù)的進(jìn)步，會(huì)給我們帶來進(jìn)一步的生產(chǎn)力的革命。過去的幾次生產(chǎn)力革命，更多的是從我們的物理能力上面做了延展，使我們能夠跑的更快、跳的更高、力氣更大、動(dòng)作更敏捷、更不知疲勞。但是 AI 的技術(shù)是對(duì)人類腦力的一次延展，使我們能夠看的更遠(yuǎn)、看的更清楚、想的更快、想的更透徹。因此 AI 技術(shù)所帶來的生產(chǎn)力的進(jìn)步可能會(huì)跟以往四次技術(shù)革命有一些本質(zhì)上的突破和區(qū)別。
人工智能其實(shí)是一個(gè)古老的話題，在這之前已經(jīng)經(jīng)歷過兩次浪潮的起落。我們現(xiàn)在正在經(jīng)歷的這次人工智能浪潮從 2010 年之后開始，以深度學(xué)習(xí)技術(shù)真正被實(shí)用化為起點(diǎn)，迎來了第三次高潮。在這一波 AI 浪潮中，技術(shù)和工程上都取得了很多突破，并且這些突破在多個(gè) AI 相關(guān)領(lǐng)域，不管是計(jì)算機(jī)視覺技術(shù)，還是在語音，甚至在一部分自然語言處理等各方面都得到了驗(yàn)證。
傳統(tǒng)機(jī)器學(xué)習(xí)的特征工程化是一項(xiàng)特別龐大的工作，需要耗費(fèi)非常多的人力，要有大量數(shù)據(jù)工程師、算法工程師投入其中，他們玩命做的就是這樣一件事情——如何從海量數(shù)據(jù)中提取出一個(gè)更好的特征或者更好的一些特征集，然后再把它輸入到神經(jīng)網(wǎng)絡(luò)里面去。深度學(xué)習(xí)所帶來的改變，就是我們不再需要太多的人為干預(yù)去創(chuàng)造特征。有了深度學(xué)習(xí)之后，特征工程可以靠神經(jīng)網(wǎng)絡(luò)自己不斷地學(xué)習(xí)做出來。
為什么說深度學(xué)習(xí)帶來了一場(chǎng)新的技術(shù)革命？AI 技術(shù)在過去 60 年起起伏伏，但只有深度學(xué)習(xí)出現(xiàn)之后才帶來了根本性的變化和進(jìn)展。2014 年左右，深度學(xué)習(xí)圖像分類的準(zhǔn)確率在 ImageNet 比賽中第一次超過了人眼準(zhǔn)確率，將傳統(tǒng)計(jì)算機(jī)視覺的準(zhǔn)確率提升了 20% 以上。在很多其他細(xì)分領(lǐng)域，深度學(xué)習(xí)也發(fā)揮了很大的作用。相當(dāng)于人類獲得了一項(xiàng)工具，工具能夠從我們生活的方方面面顯著地提升我們的能力。量變最后會(huì)發(fā)生質(zhì)變，就會(huì)帶來技術(shù)革命�，F(xiàn)在媒體上經(jīng)常聽到兩種不同的觀點(diǎn)，一種認(rèn)為強(qiáng)人工智能就要來了，人類應(yīng)該開始考慮如何不被機(jī)器取代，還有一種則比較悲觀，認(rèn)為現(xiàn)在的 AI 浪潮也只是曇花一現(xiàn)。
我認(rèn)為任何一種技術(shù)的進(jìn)步都一定會(huì)經(jīng)歷三個(gè)階段，第一個(gè)階段是技不如人。在 2011 年之前，從圖形圖像識(shí)別來說，機(jī)器是技不如人，人的錯(cuò)誤率大約在 6%，而機(jī)器的錯(cuò)誤率高達(dá)百分之幾十，基本是瞎猜。第二個(gè)階段是超越大眾，這里指的是在一些定義得比較好的細(xì)分問題領(lǐng)域超越大眾。第三個(gè)階段是超越專家，超越的方向分為兩個(gè)，一個(gè)是在任何細(xì)分領(lǐng)域都可以超越，另一個(gè)是技術(shù)在橫向?qū)用娴难诱�，本來以前人類不能做的事情現(xiàn)在可以做了。
那我們現(xiàn)在在哪呢？我們正處在從技不如人到超越大眾階段的拐點(diǎn)。為什么說它處在這樣一個(gè)階段，是因?yàn)槲覀兊某揭彩窃诓煌募?xì)分領(lǐng)域上逐步達(dá)成的。比如現(xiàn)在在人臉識(shí)別上，機(jī)器比人要強(qiáng)的多。但是在很多其他領(lǐng)域，比如自動(dòng)駕駛，對(duì)環(huán)境道路的認(rèn)知上，機(jī)器還需要再迭代一段時(shí)間，才能夠達(dá)到人今天能夠達(dá)到的高度。當(dāng)我們達(dá)到超越大眾的階段之后，你會(huì)發(fā)現(xiàn)很多的產(chǎn)業(yè)或產(chǎn)品都會(huì)發(fā)生巨大的變化。
AI 在商湯的創(chuàng)新與落地
但光談技術(shù)本身是沒有價(jià)值的，技術(shù)必須跟產(chǎn)業(yè)結(jié)合、跟人的實(shí)際生活結(jié)合，才能真正地把它的價(jià)值體現(xiàn)出來。
對(duì)于商湯而言，我們一方面是在 AI 技術(shù)上不斷地推進(jìn)和迭代，更重要的另一項(xiàng)工作是把這些研究的成果真正賦能到各個(gè)產(chǎn)品和行業(yè)中，為人類服務(wù)。這里我想從三個(gè)方面去談 AI 在商湯的創(chuàng)新落地，第一個(gè)是技術(shù)與平臺(tái)，第二個(gè)是產(chǎn)品，第三個(gè)是行業(yè)解決方案。
AI 技術(shù)與平臺(tái)
在技術(shù)與平臺(tái)層面，商湯主要關(guān)注三個(gè)比較重要的技術(shù)方向。
深度學(xué)習(xí)平臺(tái) SenseParrots
商湯自建 SenseParrots 深度學(xué)習(xí)平臺(tái)支持超深網(wǎng)絡(luò)和超大數(shù)據(jù)學(xué)習(xí)。我們的訓(xùn)練平臺(tái)可以支持超過十億數(shù)據(jù)樣本在一個(gè)學(xué)習(xí) Job 里完成，這是在大型分布式系統(tǒng)的支持下實(shí)現(xiàn)的。另外，SenseParrots 可以解決復(fù)雜的關(guān)聯(lián)性應(yīng)用。我們?cè)趯?shí)踐當(dāng)中發(fā)現(xiàn)大量的問題不是靠一個(gè)深度學(xué)習(xí)的模型就能解決的，它往往是一些深度學(xué)習(xí)模型的組合，再加上一個(gè)邏輯。所以當(dāng)我們?nèi)メ槍?duì)這些端到端的問題進(jìn)行訓(xùn)練的時(shí)候，一定是復(fù)雜關(guān)聯(lián)應(yīng)用的訓(xùn)練，而不是局部的優(yōu)化。
從算力上來看，商湯在過去幾年所擁有的 GPU 數(shù)量已經(jīng)有了非常大的提升�，F(xiàn)在我們的集群里有 14000 個(gè) GPU，最大的單個(gè)集群有超過 1000 個(gè) GPU，也就是說一個(gè)訓(xùn)練的 Job 可以在 1000 個(gè) GPU 上并行實(shí)現(xiàn)。另外，商湯已經(jīng)積累了覆蓋 18 個(gè)不同行業(yè)，超過 100 億的圖像、視頻數(shù)據(jù)，可以使我們的訓(xùn)練質(zhì)量越來越好。
AR 引擎 SenseAR
增強(qiáng)現(xiàn)實(shí)指的是，一個(gè)場(chǎng)景中有一部分是在物理世界真實(shí)存在的，有一部分是虛擬的，虛擬的這部分是對(duì)物理世界的增強(qiáng)。如果想做 AR，首先要對(duì)物理世界有感知，機(jī)器要比較好地了解物理世界，對(duì)它有一個(gè)很好的數(shù)字化的理解，然后再把虛擬的物體有機(jī)地和這個(gè)被數(shù)字化過的物理世界做結(jié)合。AR 是一個(gè)雙向的交互方式，既有機(jī)器對(duì)人的觀察，也有機(jī)器對(duì)人的展現(xiàn)。
提一個(gè) AR 相關(guān)的技術(shù)，6 個(gè)自由度下的實(shí)時(shí)跟蹤。這個(gè)問題的挑戰(zhàn)在于，手機(jī)本身是人拿在手里的，它的角度、位置以及方向等各方面都在不斷變化，在這種情況下，攝像頭也會(huì)隨之顫抖。換句話說，你的取景角度、方位也好，都在發(fā)生變化。在這種條件下如何獲取穩(wěn)定的、對(duì)于物理世界的理解，同時(shí)去產(chǎn)生一個(gè)穩(wěn)定的虛擬物體，在物理世界上的輸出，是比較大的挑戰(zhàn)。
這里談一下“稀疏點(diǎn)恢復(fù)”。我們能夠用點(diǎn)云對(duì)外面世界的關(guān)鍵點(diǎn)做提取，當(dāng)關(guān)鍵點(diǎn)的位置發(fā)生變化的時(shí)候，就能夠知道視角發(fā)生了一定的偏移，同時(shí)再跟手機(jī)內(nèi)部本身的陀螺儀等組件給出的參數(shù)不斷地做校準(zhǔn)，就能做到在產(chǎn)生 AR 效果的時(shí)候沒有偏差和抖動(dòng)，保證精度和穩(wěn)定的跟蹤。第二個(gè)，它能夠做到在有限的算力下獲得有效的輸出。對(duì)于點(diǎn)云而言，當(dāng)它能夠處理的點(diǎn)越多，就意味著可以產(chǎn)生更大密度的點(diǎn)云的提取，或者能夠從更大的范圍去做提取，這都是對(duì) 3D AR 很重要的技術(shù)。
商湯很早就開始在做 AR 平臺(tái)了。2017 年下半年的時(shí)候，Google 和 Apple 分別發(fā)布了他們自己的 AR 平臺(tái)，而商湯的 SenseAR 平臺(tái)從 2016 年開始就在內(nèi)部使用了。
另外還有關(guān)鍵點(diǎn)技術(shù)，它不光用在 AR，它對(duì)于人臉比對(duì)和驗(yàn)證也很重要。關(guān)鍵點(diǎn)指的是人臉上面比較重要的一個(gè)點(diǎn)，它能夠反映一個(gè)人的臉部特征，不管是以前的 106 個(gè)關(guān)鍵點(diǎn)，還是現(xiàn)在的 240 個(gè)關(guān)鍵點(diǎn)的行業(yè)標(biāo)準(zhǔn)，也都是由商湯定義的。
自動(dòng)駕駛技術(shù) SenseDrive
接下來我想談?wù)勛詣?dòng)駕駛場(chǎng)景和技術(shù)。
可駕駛區(qū)域和車道線的檢測(cè)是自動(dòng)駕駛最基本的能力之一，而這樣的一種能力用計(jì)算機(jī)視覺技術(shù)是最適合的。因?yàn)榈谝徊叫枰獙?duì)道路的基礎(chǔ)設(shè)施提出更多改變的需求，第二它能夠達(dá)到很高的精度。下面展示了一些例子，包括車輛距離的檢測(cè)以及行人意圖的檢測(cè)。右邊這張圖是通過自動(dòng)駕駛系統(tǒng)判定行人想往哪個(gè)方向走、以多快的速度走，這是對(duì)行為的理解，在自動(dòng)駕駛里非常重要。
當(dāng)我們用計(jì)算機(jī)視覺去解決類似車道線檢測(cè)這樣的實(shí)際問題的時(shí)候，不光會(huì)用到深度學(xué)習(xí)技術(shù)，也需要和人的經(jīng)驗(yàn)或者傳統(tǒng)的規(guī)則做結(jié)合，才能達(dá)到更好的效果。這里舉個(gè)例子，下面第一張圖是原圖，可以看到其實(shí)從攝像頭看過去，右邊是被車輛遮擋的，但我們有一些先驗(yàn)的知識(shí)，將這些先驗(yàn)知識(shí)和深度學(xué)習(xí)做結(jié)合之后，就能很好地還原出黃色的車道線，就是右邊的圖。
自動(dòng)駕駛不光是看車窗外面，還要看車窗里面。下圖演示的是對(duì)駕駛員的理解和監(jiān)控，比如他注視的方向，所做的動(dòng)作，包括打電話、打盹等。DMS 應(yīng)用中，需要做到對(duì)人瞳孔的實(shí)時(shí)定位。通過對(duì)瞳孔的定位去感知他的視線，通過視線的感知，知道他的注意力在哪個(gè)方向。當(dāng)前不管是用 2D 還是 3D Sensor 都能達(dá)到比較高的精度，這些技術(shù)也不斷地應(yīng)用在汽車?yán)铩４蠹衣赡軙?huì)在車?yán)锟吹礁嗟倪@種被 AI 驅(qū)動(dòng)的駕駛員感知能力。
AI 產(chǎn)品
智能手機(jī)
商湯在智能手機(jī)上的 AI 落地產(chǎn)品包括人臉解鎖、人臉 3D 重建、SenseMoji 等等。
人臉解鎖是蘋果在 2017 年 iPhoneX 發(fā)布的時(shí)候推出的。幾乎在同期，國(guó)內(nèi)很多企業(yè)的安卓系統(tǒng)也發(fā)布了人臉解鎖功能。目前中國(guó)主要的手機(jī)廠商都在大量應(yīng)用商湯的人臉解鎖技術(shù)。從人臉解鎖算法的普適性（包括適用于不同的模組、不同的處理器），以及達(dá)到的精度和速度來說，商湯在全球都是領(lǐng)先的。人臉識(shí)別的錯(cuò)誤率上，我們能夠達(dá)到 10 的負(fù)八次方，超過蘋果的 10 的負(fù)六次方。
人臉解鎖的流程，主要說幾個(gè)點(diǎn)，第一，針對(duì)不同的模組，包括 3D、2D、2.5D、結(jié)構(gòu)光、ToF 各種不同的 Sensor，我們都有相應(yīng)的算法支撐和迭代。第二，圖中藍(lán)色部分是對(duì)活體檢測(cè)和反攻擊能力的構(gòu)建。活體檢測(cè)指的是通過模型檢測(cè)是不是一個(gè)真正的活人，它也是矛和盾在不斷互相對(duì)抗的過程。一開始大家可能想用照片來騙過人臉解鎖，后來想著用視頻，再后來想用 3D 面具，或者帶有一定遮擋的 3D 面具等不同技術(shù)手段來做攻擊。所以我們活體檢測(cè)技術(shù)也會(huì)相應(yīng)地升級(jí)去防止這種系統(tǒng)性的攻擊。
另外一個(gè)人臉的 3D 重建，只需要用手機(jī)拍下臉部上下左右和正面五個(gè)角度略有不同的照片以后，我們就能夠構(gòu)建出人臉的 3D 模型。當(dāng)我們有了人臉 3D 模型以后，就可以在上面加入特效、美顏等功能。
在小米 8 透明探索版和華為 nova3 中使用了商湯的 SenseMoji 技術(shù)，它可以模仿人的表情來生成相應(yīng)的動(dòng)物表情包，還能夠感知人呈現(xiàn)出的情緒狀態(tài)來改變表情包的顏色。SenseMoji 背后涉及的技術(shù)首先是關(guān)鍵點(diǎn)的定位與追蹤，需要把人臉重要的點(diǎn)找出來，然后基于機(jī)器學(xué)習(xí)去探索和發(fā)現(xiàn)，當(dāng)這些關(guān)鍵點(diǎn)和正常的平靜的臉部表情之間有偏差的時(shí)候代表的是什么情緒，最后構(gòu)建出來以后再把情緒通過虛擬的形象表達(dá)出來，這又叫人體的表情遷移。
刷臉
大家一提商湯就會(huì)想到刷臉，我們確實(shí)也刷臉。刷臉其實(shí)不光用在 Access Control 里面，包括支付、認(rèn)證、會(huì)員和 VIP 的識(shí)別等都可以用到。這也是計(jì)算機(jī)視覺最早落地和產(chǎn)品化的技術(shù)之一。
人臉檢測(cè)其實(shí)有很多技術(shù)上的難點(diǎn)。第一個(gè)難點(diǎn)，當(dāng)人通過閘機(jī)的時(shí)候，人跟閘機(jī)上的攝像頭之間的距離是不斷變化的。越好的算法，它對(duì)變化的適應(yīng)性越強(qiáng)，能夠越快地去做人的比對(duì)，然后開門或拒絕開門。因?yàn)閿z像頭是以每秒鐘比如說 25 幀這樣的速度去拍攝的，所以最簡(jiǎn)單的做法是，當(dāng)我拍下來一張圖片的時(shí)候，就以各種預(yù)設(shè)好的圖片的大小去把框截取出來做人臉的檢測(cè)，再把檢測(cè)到的人臉做拉伸。這面臨的很大的挑戰(zhàn)就是算力，這樣做的算法是對(duì)各種尺寸潛在臉大小的遍歷過程。
我們的做法是在模型訓(xùn)練當(dāng)中就把不同尺寸大小的臉結(jié)合進(jìn)去，在模型里做優(yōu)化，這樣能夠得到極大的速度提升和精準(zhǔn)度的提升。與此相關(guān)的，如何優(yōu)化，包括算法本身的優(yōu)化，以及工程上的優(yōu)化，能夠提升速度。在同樣的一個(gè)網(wǎng)絡(luò)結(jié)構(gòu)，但做了不同類型的優(yōu)化以后帶來的速度提升，最高能夠達(dá)到 800 倍。這就是 0.01 秒和 8 秒延遲之間的區(qū)別。這些技術(shù)已經(jīng)用在多種設(shè)備上面，包括酒店入住時(shí)用到的身份驗(yàn)證一體機(jī)、人臉識(shí)別安檢通道等設(shè)備。
行業(yè)解決方案
對(duì)于一個(gè) To B 的產(chǎn)品或行業(yè)來說，很多時(shí)候 B 端用戶并不關(guān)注你的產(chǎn)品有多炫、功能有多強(qiáng)，他們?cè)谝獾氖撬幸粋�(gè)問題需要解決，你有什么辦法能夠幫他們解決。行業(yè)解決方案涵蓋了多種產(chǎn)品和技術(shù)，最后要達(dá)成的目的就是把客戶的痛點(diǎn)解決掉。
我們?nèi)ツ旮K寧一塊做了無人店的案例。對(duì)于零售行業(yè)，線上和線下的體驗(yàn)是不一樣的。在線上線下，我們對(duì)于信息的獲取、選擇推薦，以及最后的結(jié)算和運(yùn)輸，都是不一樣的。為什么會(huì)有這樣的區(qū)別呢？因?yàn)榫�上的交易也好，商業(yè)行為也好，是幾乎被百分之百數(shù)字化的。在這樣一個(gè)數(shù)字化環(huán)境里面，我們能夠用數(shù)字化的手段去做服務(wù)提升、降本增效。但是線下在有計(jì)算機(jī)視覺技術(shù)之前，我們很難讓機(jī)器去理解線下的人、貨、場(chǎng)之間的關(guān)聯(lián)，這些事情不能完全靠人力去觀察和記錄。
正是由于計(jì)算機(jī)視覺技術(shù)，我們可以真正去數(shù)字化線下的物理世界，當(dāng)物理世界被數(shù)字化之后，就可以做更多計(jì)算，用數(shù)字化的手段去提升體驗(yàn)和效能，包括刷臉支付、對(duì)人流進(jìn)行分析和統(tǒng)計(jì)、對(duì)人的偏好進(jìn)行理解，等等。在這樣一個(gè)解決方案里面，涵蓋了很多技術(shù)，包括刷臉的技術(shù)，包括對(duì)人流統(tǒng)計(jì)的技術(shù)，包括怎么樣能夠做到高精度的支付，包括我們對(duì)人的行為的理解，等等。這個(gè)場(chǎng)景是多項(xiàng) AI 技術(shù)和傳統(tǒng)技術(shù)的結(jié)合，形成了一個(gè)全新的解決方案。
第二個(gè)例子是智慧城市案例，對(duì)社區(qū)進(jìn)行數(shù)字化改造。
在這樣一個(gè)解決方案里面，除了需要用到很多 AI 的視覺技術(shù)之外，我們也需要一個(gè)巨大的系統(tǒng)。涵蓋的面積越大，需要處理的數(shù)據(jù)量就越大，不光對(duì) AI 的技術(shù)本身的精度提出了更多的要求，同時(shí)也對(duì)計(jì)算機(jī)視覺系統(tǒng)提出了更高的要求。上面這些場(chǎng)景背靠的是 SenseFoundary 方舟這樣一個(gè)平臺(tái)。
方舟平臺(tái)是到目前為止在業(yè)界唯一能夠支撐超萬路的系統(tǒng)，而且已經(jīng)被實(shí)施部署在多個(gè)地方。我們?cè)谏虾２渴鸬倪@樣一套系統(tǒng)接入了 22000 路視頻，是業(yè)界絕無僅有的。方舟平臺(tái)同時(shí)還具備很多其他的能力，包括線性擴(kuò)展能力、多種算法的融合以及擴(kuò)充的能力，高精度算法自我迭代能力，等等。
小 結(jié)
計(jì)算機(jī)視覺雖然是一個(gè)名詞，其實(shí)它涵蓋了很多技術(shù)方向。如果想要真正把計(jì)算機(jī)視覺產(chǎn)業(yè)化，不只是需要一兩個(gè)技術(shù)點(diǎn)的突破，它需要的是整體平臺(tái)性的提升，必須要同時(shí)投入多個(gè)技術(shù)方向，這也是商湯在過去的幾年一直持續(xù)在做的事情。我們?cè)诎?SLAM、主動(dòng)學(xué)習(xí)、三維重建、強(qiáng)化學(xué)習(xí)、圖像分類、底層視覺等方向都有相應(yīng)的布局和工程上的迭代，這樣一來當(dāng)你碰到一個(gè)實(shí)際問題的時(shí)候才有足夠的武器去解決它。
如果說我們的 AI 技術(shù)想落地，就必須在不同的工業(yè)領(lǐng)域上去做探索，才能真正形成一個(gè)行業(yè)線。AI 技術(shù)的創(chuàng)新和賦能百業(yè)這兩件事情是需要不斷地相互迭代、相互促進(jìn)的。
