自成立以來，跨維智能致力于將先進的三維幾何深度學習技術賦能機械臂柔性操作等垂直領域，為客戶提供AI視覺算法、3D智能相機及高性價比的軟硬件一體化三維視覺解決方案，讓機器人以靈活主動的方式完成復雜環境下基于三維視覺的定位、識別、引導等任務。

近日，記者有幸邀請到跨維（深圳）智能數字科技有限公司創始人賈奎（博士）做客《機器視覺》雜志，深入了解到跨維智能3D視覺解決方案區別與傳統AI+3D視覺解決方案的優勢所在。

M：MACHINE VISION

J：賈奎

M： 賈博士您好，AI技術可賦能的領域眾多，為什么您會帶領跨維選擇了“以AI技術助力3D視覺賦能機械臂完成柔性操作感知”這一細分領域？

J：AI領域涵蓋面非常廣闊，從計算機視覺、自然語言處理、語音識別等都屬于AI領域，我從2000年開始就深耕于計算機視覺這個細分領域，在多年的研究中，也積累了相當的研究成果。而3D視覺因為有著模仿人眼、在物理空間形成立體視覺的優勢，成為了計算機視覺中底層的訴求。從2015年開始，我主要專注于3D視覺領域，將AI技術結合到3D視覺中的應用當中。這項研究放眼當時的整個國際學術圈，都是較為的存在。

在AI技術助力3D視覺的眾多分支應用中，經過綜合考量，賦能機械臂完成相關柔性操作感知是可落地性與商業變現周期較短的。而且工業智能制造的大多場景都是半開放的環境，通過AI技術助力3D視覺，可以從根本上改變以往機械臂柔性操作在傳統方案中的固有缺陷。從長遠出發，這樣的產品形式能夠改變當前自動化產線的設計思路，以搭積木方式實現整個產業線的自動化，也能夠把自動化推向智能制造的新階段。

M： 在跨維智能成立的有限時間里，卻迸發出了無限的潛力，可以分享一下貴司核心技術嗎？

J：從底層出發，跨維智能核心技術是Sim2Real AI云中臺DexVerse。行業中絕大部分的AI技術，還是傳統意義上的圖像的識別、理解、語義分割等圖像層面上的。而3D技術本身解決的是三維物理空間中的問題，對物體的空間位置進行感知定位，并完成相關操作。而跨維的云中臺DexVerse是一款新型的AI平臺，它可以通過打通物理仿真、數據合成、AI 設計與訓練、模型軟硬件部署的閉環，建立 Sim2Real 虛擬空間與現實空間的映射關聯，實現對機械臂柔性操作、機器人感知與控制等任務的AI賦能。

例如，機械臂如何將桌面上的水杯拿起這樣的操作，在人類的感知中似乎是非常輕而易舉的，但在機器的眼中，這是一個相當復雜的過程。首先需要解讀的是杯子放在桌面上，距離機械臂的距離是多少？高度是多少？其次世界上杯子千變萬化，杯子形態變換后，機器是否還能認出這是一個杯子？機器如何去應對形態、顏色、大小均各異的“杯子”？

機械臂在跨維云中臺DexVerse的助力下，通過物理仿真與數據合成，可以訓練出機械臂拿起水杯所需要的各種數據，去支持機械臂實現對目標物體后續的抓取、定位、上下料、拆垛等操作。通過仿真空間中模擬物體之間的相互作用、運動和變形，以預測真實世界中的物理行為，并合成虛擬數據用于深度學習模型訓練。

M：為何Sim2Real AI是實現3D視覺大模型和通往垂直場景AGI高效且低成本的重要技術？

J：跨維智能Sim2Real AI云中臺DexVerse所使用的AI技術，相比起基礎的圖像理解，是跨維度的難度躍升。首先三維數據的獲取本身相比二維數據就難得多，工業場景中的三維數據由于開放多變的場景及隱私保護導致海量真實數據采集難上加難，而且針對各種corner cases的真實數據難以有效獲取。其次是現階段的AI技術從數據獲取到AI模型訓練，再到垂直的應用場景，這之間由于技術與應用的分離，導致模型的應用效果不太理想。在工業領域眾多場景里，就會形成數據孤島，從數據與知識上難以互通利用。后是現有AI技術的標注難題，如何實現高精度3D等高維標注仍然屬于痛點難題。

基于現有AI所面臨的難題成就了跨維智能的核心產品Sim2Real AI云中臺DexVerse，通過物理仿真合成數據，可以實現加速AI在垂直場景中的落地應用。DexVerse對于跨維自身產品的形成也是決定性的，可以以更快速、更低成本、更產品化的方式解決3D視覺助力機械臂的非標定制問題。

M：可以簡單介紹一下跨維智能的系列產品嗎？

J：基于自研的Sim2Real AI云中臺DexVerse，跨維智能構建了完善的智能制造軟硬件產品生態，也就是跨維智能的“1+3”產品體系。“1”是自研的Sim2Real AI云中臺DexVerse，“3”即DexVision3D工業視覺軟件、DexSense3D工業智能相機、DexOne智能視覺一體化設備。

基于DexVerse所構建的DexVision3D工業視覺軟件：PickWiz 3D視覺引導軟件，可以在仿真空間模擬多樣化場景，并生成大量的合成數據。這樣的工業視覺軟件可應用的場景更多樣化，不僅減少了模型重復搭建的成本，而且終識別效果優于真實數據，并且模擬的多樣化場景也使視覺系統的穩定性和效率大幅提升。

DexSense 3D工業智能相機：XEMA北極鷗系列開源相機，它可以支持一鍵連接跨維 PickWiz 3D視覺引導軟件的，搭載上DexVerse云平臺，可實時收集真實數據，不斷在云端優化視覺算法。如果DexVerse云平臺是大腦，那么DexSense 3D工業智能相機就是眼睛，好的成像能力可以減輕大腦的負載壓力，這也是跨維智能自研相機的初衷。

后，DexOne 智能視覺一體化設備，是跨維智能布局引領智能智造領域范式改變的重要一步。該設備也是基于自研的 DexVerse 平臺，通過深度域適應優化算法實現整個流程的自動化，針對工業場景中的痛點進行模型設計，滿足工業現場落地需求。以3D視覺引導機械臂對物料進行上下料抓取，搬運，替代傳統人工作業抓取搬運，有效提高產線的生產效率和生產質量，產能提高20%以上；同時，該項目機器人為模塊化架構，針對未來不同的產品工藝，具有更高兼容性，可觸及更多更廣的生產范圍，以滿足客戶日益增長的柔性化需求。

M: 作為公司自研的Sim2Real AI云中臺DexVerse，您可以談談未來公司基于DexVerse的產品研發規劃嗎？

J：基于我們自研的Sim2Real AI云中臺DexVerse所能夠支撐的，其實不單是機械臂、智能制造相關的應用，更是服務泛機器人底層AI能力形成的加速器。無論是幫助具身智能去感知3D定位，還是去幫助無人車做導航和物體識別，它都是一款非常不錯的AI能力平臺，3D合成數據還有機會賦能3D AIGC、AI生物制藥、AI新材料等更廣泛的領域。

M：自公司成立以來，貴司一直致力于推動3D視覺引導機械臂柔性操作領域的普及化應用，請問在這個方向上取得了哪些成果？

J：“3D視覺+智能相機+機械臂”是未來自動化新型應用重要的載體。目前，在國內自動化產線智能制造的升級過程中，這樣的新型應用載體隨處可見。基于市場需求，我們在產品研發和應用探索上也一直走在行業的前沿，迄今為止，我們已經取得了很大的進展，比如在3D視覺解決方案產品迭代方面，我們推出了四大解決方案，包含：3D視覺引導淺框無序抓取、3D視覺引導單目標精定位、3D視覺引導工件上下料、3D視覺引導拆垛解決方案等； 在應用場景探索落地方面，我們也跟諸如汽車零部件、工程機械、家電、光伏新能源和物流等行業內的眾多頭部集成商客戶成功落地了多種應用場景，實現了行業應用從0到1的突破。

M：在未來幾年內，您對那些應用行業比較看好？

J：機器視覺對于提高工業機器人的靈活性和可操作性具有重要意義，在大批量工業生產過程中，3D視覺助力機器人實現更多高精度動作，拓寬其應用場景，也大大提高了生產效率和柔性化程度。目前來說，物流、金屬加工和汽車零部件等行業，已經成為開始規模化應用3D機器視覺的幾個主要應用市場，另外，家電、醫療、光伏新能源等多個更大體量的市場也在啟動機器視覺對于自動化產線的升級改造。未來，更大的市場機會也將來自于上述工業市場的商業類應用。