首頁
產(chǎn)品系列
行業(yè)應(yīng)用
渠道合作
新聞中心
研究院
投資者關(guān)系
技術(shù)支持
關(guān)于創(chuàng)澤
| En
 
  當(dāng)前位置:首頁 > 新聞資訊 > 機器人知識 > 機器人多模態(tài)視覺語言導(dǎo)航技術(shù)解析  
 

機器人多模態(tài)視覺語言導(dǎo)航技術(shù)解析

來源:算法邦      編輯:創(chuàng)澤      時間:2022/4/21      主題:其他   [加盟]

計算機視覺(CV)和自然語言處理(NLP)早先是兩個較為獨立的研究領(lǐng)域。CV 重點關(guān)注如何用計算機代替人眼對目標(biāo)完成識別、跟蹤、測量等任務(wù),對圖像進行處理;NLP 則研究計算機如何處理、運用自然語言,包括語言生成、問答、對話等任務(wù)。近年來,以深度神經(jīng)網(wǎng)絡(luò)為代表的機器學(xué)習(xí)和模式識別技術(shù)被廣泛應(yīng)用于 CV 和 NLP 領(lǐng)域,取得了目前最先進的效果。

近年來,研究者們試圖將動作控制也引入到「視覺-語言」任務(wù)的框架中。吳琦將此類任務(wù)命名為 V3A(Vision, Ask, Answer, Act),在給定視覺輸入后,我們希望機器能夠提出問題、回答問題、并通過和人以及機器之間的語言交流執(zhí)行某些動作。

例如,「Vision+Ask」的任務(wù)包含視覺問題生成、根據(jù)問題生成查詢、圖像描述等;「Vision+Answer」的任務(wù)包含視覺問答、視覺對話等;「Vision+Act」的任務(wù)包含指稱表達、視覺對齊(visual grounding)、語言引導(dǎo)的視覺導(dǎo)航、具身視覺問答、具身指稱表達等。




  



基于康復(fù)機器人內(nèi)部傳感器的運動功能評價方法

基于康復(fù)機器人內(nèi)部傳感器識別記錄訓(xùn)練過程中的運動學(xué)參數(shù),能夠?qū)崟r定量評估不同的運動模式,還能夠掌握患者是否主動參與訓(xùn)練等情況

優(yōu)必選科技副總裁龐建新:面向智能機器人的視覺感知與理解

智能機器人視覺方面的工作,主要體現(xiàn)在感知、理解、學(xué)習(xí)及推理4個方面,涉及到目標(biāo)檢測、目標(biāo)追蹤、人體姿態(tài)估計、人臉識別、行為識別、推理等技術(shù)

優(yōu)必選專家丁宏鈺深入講解大型仿人機器人整機構(gòu)型

從大型仿人機器人整機構(gòu)型國內(nèi)外研究現(xiàn)狀入手,圍繞機器人整機構(gòu)型、關(guān)節(jié)運動特點、伺服驅(qū)動器、減速器、仿真平臺等方面進行深度講解,最后就大型仿人機器人整機構(gòu)型未來發(fā)展趨勢給出自己的見解

個性化的人機交互

HRI的MTL可以使機器人更輕松,更智能地與新用戶進行交互,即使使用諸如RL這樣的數(shù)據(jù)密集型方法,也可以避免社交交互失敗的不利影響。MTL和多模態(tài)ML已用于自動識別自閉癥譜系障礙(ASD)兒童

淺談服務(wù)機器人的潛在危險

服務(wù)機器人潛在危險有:電擊、與能量有關(guān)的危險、著火、與熱有關(guān)的危險、機械危險、輻射、化學(xué)危險等

視頻搜索太難了!阿里文娛多模態(tài)搜索算法實踐

視頻搜索是涉及信息檢索、自然語言處理(NLP)、機器學(xué)習(xí)、計算機視覺(CV)等多領(lǐng)域的綜合應(yīng)用場景

野外自主農(nóng)作物探測機器人Robotanist使用擴展卡爾曼濾波器(EKF)方法融合MTI等傳感器信息

驅(qū)動系統(tǒng)由4個200W無刷直流電機構(gòu)成,通過50:1的空心軸減速機可以最高達2m/s的速度在玉米、高粱等農(nóng)作物的地里前進

Jupiter由四輪獨立轉(zhuǎn)向的底盤和UR5機械臂組成通過SSD網(wǎng)絡(luò)檢測目標(biāo)物體

通過2D激光雷達信息采用Hector SLAM實現(xiàn)機器人對地圖的感知和自主導(dǎo)航規(guī)劃,通過頂部的RGB-D相機采集目標(biāo)物體深度和RGB圖像信息

移動式操作機器人平臺Personal Robot 2可模擬開門、打臺球和畫畫

機器人的學(xué)習(xí)分為三個部分的軌跡預(yù)測包括示教者的手部運動軌跡、示教者的身體移動軌跡以及被操作物體的運動軌跡

仿人操作機器人Cosero配備7自由度機械臂裝有Kinect相機實現(xiàn)對目標(biāo)環(huán)境的3D感知

Cosero是德國波恩大學(xué)的Sven Behnke團隊根據(jù)家庭環(huán)境中的日常操作任務(wù)而研制的一款仿人操作機器人基于深度學(xué)習(xí)方法的目標(biāo)姿態(tài)估計和RGB-D SLAM等感知測量

傳感器面臨時代新機遇,未來發(fā)展將呈現(xiàn)哪些趨勢

機器人、無人機、自動駕駛汽車等加快落地,智慧城市深入建設(shè),更是為傳感器產(chǎn)業(yè)帶來了難以估量的龐大機遇

中國移動室內(nèi)定位白皮書

中國移動聯(lián)合產(chǎn)業(yè)合作伙伴發(fā)布《室內(nèi)定位白皮書》,對室內(nèi)定位產(chǎn)業(yè)發(fā)展現(xiàn)狀及面臨的挑戰(zhàn),深入分析了垂直行業(yè)的室內(nèi)定位需求,并詳細闡述了實現(xiàn)室內(nèi)定位的技術(shù)原理, 及室內(nèi)定位評測體系
 
資料獲取

服務(wù)機器人在展館迎賓講解
新聞資訊
== 資訊 ==
» 人形機器人未來3-5年能夠?qū)崿F(xiàn)產(chǎn)業(yè)化的方
» 導(dǎo)診服務(wù)機器人上崗門診大廳 助力醫(yī)院智慧
» 山東省青島市政府辦公廳發(fā)布《數(shù)字青島20
» 關(guān)于印發(fā)《青海省支持大數(shù)據(jù)產(chǎn)業(yè)發(fā)展政策措
» 全屋無主燈智能化規(guī)范
» 微波雷達傳感技術(shù)室內(nèi)照明應(yīng)用規(guī)范
» 人工智能研發(fā)運營體系(ML0ps)實踐指
» 四驅(qū)四轉(zhuǎn)移動機器人運動模型及應(yīng)用分析
» 國內(nèi)細分賽道企業(yè)在 AIGC 各應(yīng)用場景
» 國內(nèi)科技大廠布局生成式 AI,未來有望借
» AIGC領(lǐng)域相關(guān)初創(chuàng)公司及業(yè)務(wù)場景梳理
» ChatGPT 以 GPT+RLHF 模
» AIGC提升文字 圖片滲透率,視頻 直播
» AI商業(yè)化空間前景廣闊應(yīng)用場景豐富
» AI 內(nèi)容創(chuàng)作成本大幅降低且耗時更短 優(yōu)
 
== 機器人推薦 ==
 
迎賓講解服務(wù)機器人

服務(wù)機器人(迎賓、講解、導(dǎo)診...)

智能消毒機器人

智能消毒機器人

機器人底盤

機器人底盤

 

商用機器人  Disinfection Robot   展廳機器人  智能垃圾站  輪式機器人底盤  迎賓機器人  移動機器人底盤  講解機器人  紫外線消毒機器人  大屏機器人  霧化消毒機器人  服務(wù)機器人底盤  智能送餐機器人  霧化消毒機  機器人OEM代工廠  消毒機器人排名  智能配送機器人  圖書館機器人  導(dǎo)引機器人  移動消毒機器人  導(dǎo)診機器人  迎賓接待機器人  前臺機器人  導(dǎo)覽機器人  酒店送物機器人  云跡科技潤機器人  云跡酒店機器人  智能導(dǎo)診機器人 
版權(quán)所有 © 創(chuàng)澤智能機器人集團股份有限公司     中國運營中心:北京·清華科技園九號樓5層     中國生產(chǎn)中心:山東日照太原路71號
銷售1:4006-935-088    銷售2:4006-937-088   客服電話: 4008-128-728