商湯科技：高效低成本的室內(nèi)外精確定位和AR導(dǎo)航已經(jīng)到來
商湯科技SenseMARS火星混合現(xiàn)實平臺，以更低成本、更易普及的AI視覺技術(shù)為核心，以高效低成本的方式實現(xiàn)室內(nèi)外精準(zhǔn)定位和AR導(dǎo)航。
商湯SenseMARS火星混合現(xiàn)實平臺由浙江大學(xué)-商湯科技三維視覺聯(lián)合實驗室與商湯產(chǎn)品團(tuán)隊聯(lián)合打造，具備專業(yè)級高精度三維數(shù)字化地圖構(gòu)建、跨平臺和終端的空間感知計算、全場域厘米級的端云協(xié)同定位等空間定位和構(gòu)建能力，并可支持Android/iOS/Web/小程序等系統(tǒng)平臺，以及手機、平板電腦、AR/MR眼鏡等多種終端設(shè)備，從而實現(xiàn)室內(nèi)、室外等不同場景的AR/MR特效、導(dǎo)航和導(dǎo)覽等功能。
雖然，自1967年衛(wèi)星導(dǎo)航技術(shù)開放民用以來，經(jīng)過50多年的發(fā)展，導(dǎo)航定位已經(jīng)廣泛應(yīng)用于交通物流、地理信息、高精度測量等行業(yè)，提高了現(xiàn)代社會的運行效率，給個人生活和旅行帶來了極大的便利。導(dǎo)航定位技術(shù)在室外場景中已經(jīng)非常流行，但室內(nèi)導(dǎo)航的應(yīng)用還沒有得到很好的發(fā)展。
一方面由于衛(wèi)星信號的衰減，衛(wèi)星導(dǎo)航定位在室內(nèi)幾乎毫無用武之地。另一方面，盡管基于藍(lán)牙信標(biāo)定位、Wi-Fi信號等專用設(shè)備的解決方案在一定程度上可以輔助室內(nèi)導(dǎo)航定位，但卻部署和維護(hù)成本高昂，不具備大規(guī)模推廣的條件。
商湯科技SenseMARS火星混合現(xiàn)實平臺基于視覺高精定位的AR導(dǎo)航
室內(nèi)導(dǎo)航的難點在哪里？展覽館、博物館、商場、交通樞紐等大型室內(nèi)場景環(huán)境復(fù)雜，規(guī)模巨大，并存在很多無紋理空間區(qū)域和視覺歧義區(qū)域，地圖數(shù)據(jù)的采集、制作及表達(dá)是一大難點。同時，伴隨光照、視點變化，用戶如何精準(zhǔn)快速地實現(xiàn)重定位也是一項挑戰(zhàn)。
稀疏點云地圖構(gòu)建采用運動恢復(fù)結(jié)構(gòu)（Structure from Motion，簡稱SfM）技術(shù)。利用離線采集的視頻或圖片提取場景中的視覺特征，恢復(fù)圖片的相機位姿和場景的稀疏三維點云，視覺特征和三維點云主要用于視覺重定位，而相機位姿可用來做進(jìn)一步的稠密三維幾何構(gòu)建。
稀疏點云地圖
稠密三維點云
以采集的視頻或圖片以及SfM恢復(fù)的相機位姿為輸入，經(jīng)過稠密深度估計、深度融合、網(wǎng)格構(gòu)建和紋理貼圖，最終輸出場景的精細(xì)化稠密點云和帶紋理的三維網(wǎng)格模型，這就是稠密三維幾何構(gòu)建。
得益于商湯在原創(chuàng)技術(shù)研發(fā)上的產(chǎn)學(xué)研優(yōu)勢，浙江大學(xué)-商湯三維視覺聯(lián)合實驗室研究團(tuán)隊經(jīng)過兩年多時間的技術(shù)攻關(guān)和打磨，提出基于單目/多目/全景相機、慣性測量單元、GPS等多源數(shù)據(jù)的采集方案和多源數(shù)據(jù)融合建圖算法，實現(xiàn)了高效穩(wěn)定的地圖數(shù)據(jù)采集、重建和更新。
2萬平米場景一般可在1小時內(nèi)完成數(shù)據(jù)采集，6個小時左右完成三維重建和紋理貼圖（單節(jié)點服務(wù)器上），重建精度可達(dá)厘米級。
重建的高精度三維網(wǎng)格可以用來正確處理虛擬物體和真實場景的遮擋以及碰撞關(guān)系，實現(xiàn)具有高度真實感的增強現(xiàn)實效果。
大規(guī)模3D地圖重建，SenseMARS生成的50萬平方米杭州錢江世紀(jì)城園區(qū)地圖。
高精度三維數(shù)字化模型和紋理貼圖，SenseMARS生成的變壓器三維模型
讓機器輸出準(zhǔn)確匹配場景
有了地圖數(shù)據(jù)之后，用戶如何透過終端將導(dǎo)航指示箭頭等虛擬內(nèi)容無縫融合在現(xiàn)實場景中？
關(guān)鍵就在于實時、準(zhǔn)確地獲取用戶的相機位姿，由視覺重定位和SLAM一起來實現(xiàn)。
視覺重定位以用戶拍攝圖像為輸入，將圖像中的特征與地圖數(shù)據(jù)中的特征進(jìn)行匹配，獲取圖像特征點和地圖三維點的2D-3D對應(yīng)關(guān)系，并計算圖像相機位姿，在SLAM過程中幫助進(jìn)行累積誤差的矯正。
SenseMARS視覺定位技術(shù)在商超、展館等典型室內(nèi)場景成功率高于95%，結(jié)合SLAM 技術(shù)實現(xiàn)連續(xù)穩(wěn)定的位姿跟蹤，同時拓展地圖未覆蓋到的區(qū)域。
SLAM技術(shù)利用相機、IMU等常見的傳感器信息可以實時計算出當(dāng)前設(shè)備的6DoF位姿，保證圖像上AR效果與真實環(huán)境的一致性、穩(wěn)定性及貼合性。
再借助離線高精度地圖和高精定位結(jié)果，就可以保證在大尺度場景下長時間的高精定位和跟蹤。
此外，針對目前APP方案比較重且SLAM算法的機型覆蓋率不足的問題，商湯同時提供了輕量級的Web SLAM能力，能夠在H5和小程序中實時運行。
用戶無需安裝App只需簡單掃描二維碼，即可體驗完整的室內(nèi)外定位和AR導(dǎo)航導(dǎo)覽能力。
基于以上這些技術(shù)，商湯SenseMARS平臺可以支撐多種實際復(fù)雜場景中的高精度增強/混合現(xiàn)實需求。在GPS信號難以覆蓋的區(qū)域，讓用戶可通過圖像或視頻實時準(zhǔn)確地獲取自身位置。
結(jié)合商湯SLAM技術(shù)還能以增強/混合現(xiàn)實的方式獲取場景的額外信息如導(dǎo)航、導(dǎo)覽、商家介紹等基于位置的內(nèi)容增強，切身感受AR與生活場景的巧妙融合。
