創(chuàng)澤機器人
CHUANGZE ROBOT
當前位置:首頁 > 新聞資訊 > 機器人知識 > 機器人多模態(tài)視覺語言導航技術解析

機器人多模態(tài)視覺語言導航技術解析

來源:算法邦     編輯:創(chuàng)澤   時間:2022/4/21   主題:其他 [加盟]

計算機視覺(CV)和自然語言處理(NLP)早先是兩個較為獨立的研究領域。CV 重點關注如何用計算機代替人眼對目標完成識別、跟蹤、測量等任務,對圖像進行處理;NLP 則研究計算機如何處理、運用自然語言,包括語言生成、問答、對話等任務。近年來,以深度神經網絡為代表的機器學習和模式識別技術被廣泛應用于 CV 和 NLP 領域,取得了目前最先進的效果。

近年來,研究者們試圖將動作控制也引入到「視覺-語言」任務的框架中。吳琦將此類任務命名為 V3A(Vision, Ask, Answer, Act),在給定視覺輸入后,我們希望機器能夠提出問題、回答問題、并通過和人以及機器之間的語言交流執(zhí)行某些動作。

例如,「Vision+Ask」的任務包含視覺問題生成、根據問題生成查詢、圖像描述等;「Vision+Answer」的任務包含視覺問答、視覺對話等;「Vision+Act」的任務包含指稱表達、視覺對齊(visual grounding)、語言引導的視覺導航、具身視覺問答、具身指稱表達等。







機器學習框架應用報告:聯邦學習場景應用研究報告2022

對于聯邦學習技術,數據應用推廣的經驗,并深入探討聯邦學習在政務,醫(yī)療,金融,廣告,物流的應用價值,以期為數據應用價值的釋放帶來解讀和參考

Deep Tech:2022先進計算七大趨勢

DeepTech通過科研數據分析、專家訪談等方式洞悉先進計算領域發(fā)展趨勢,探尋具備技術顛覆性,有商業(yè)化前景的先進計算技術,提煉出 2022 年先進計算技術及應用七大趨勢

基于電阻抗和聲學成像的仿生機器皮膚

一種基于水凝膠彈性體混合物的仿生機器皮膚.分為三層結構,中間的水凝膠層構成機器皮膚的主體,可以實現電信號的傳遞,實現靜態(tài)和動態(tài)觸覺的模態(tài)識別

基于康復機器人內部傳感器的運動功能評價方法

基于康復機器人內部傳感器識別記錄訓練過程中的運動學參數,能夠實時定量評估不同的運動模式,還能夠掌握患者是否主動參與訓練等情況

優(yōu)必選科技副總裁龐建新:面向智能機器人的視覺感知與理解

智能機器人視覺方面的工作,主要體現在感知、理解、學習及推理4個方面,涉及到目標檢測、目標追蹤、人體姿態(tài)估計、人臉識別、行為識別、推理等技術

優(yōu)必選專家丁宏鈺深入講解大型仿人機器人整機構型

從大型仿人機器人整機構型國內外研究現狀入手,圍繞機器人整機構型、關節(jié)運動特點、伺服驅動器、減速器、仿真平臺等方面進行深度講解,最后就大型仿人機器人整機構型未來發(fā)展趨勢給出自己的見解

個性化的人機交互

HRI的MTL可以使機器人更輕松,更智能地與新用戶進行交互,即使使用諸如RL這樣的數據密集型方法,也可以避免社交交互失敗的不利影響。MTL和多模態(tài)ML已用于自動識別自閉癥譜系障礙(ASD)兒童

淺談服務機器人的潛在危險

服務機器人潛在危險有:電擊、與能量有關的危險、著火、與熱有關的危險、機械危險、輻射、化學危險等

視頻搜索太難了!阿里文娛多模態(tài)搜索算法實踐

視頻搜索是涉及信息檢索、自然語言處理(NLP)、機器學習、計算機視覺(CV)等多領域的綜合應用場景

野外自主農作物探測機器人Robotanist使用擴展卡爾曼濾波器(EKF)方法融合MTI等傳感器信息

驅動系統(tǒng)由4個200W無刷直流電機構成,通過50:1的空心軸減速機可以最高達2m/s的速度在玉米、高粱等農作物的地里前進

Jupiter由四輪獨立轉向的底盤和UR5機械臂組成通過SSD網絡檢測目標物體

通過2D激光雷達信息采用Hector SLAM實現機器人對地圖的感知和自主導航規(guī)劃,通過頂部的RGB-D相機采集目標物體深度和RGB圖像信息

移動式操作機器人平臺Personal Robot 2可模擬開門、打臺球和畫畫

機器人的學習分為三個部分的軌跡預測包括示教者的手部運動軌跡、示教者的身體移動軌跡以及被操作物體的運動軌跡

仿人操作機器人Cosero配備7自由度機械臂裝有Kinect相機實現對目標環(huán)境的3D感知

Cosero是德國波恩大學的Sven Behnke團隊根據家庭環(huán)境中的日常操作任務而研制的一款仿人操作機器人基于深度學習方法的目標姿態(tài)估計和RGB-D SLAM等感知測量

傳感器面臨時代新機遇,未來發(fā)展將呈現哪些趨勢

機器人、無人機、自動駕駛汽車等加快落地,智慧城市深入建設,更是為傳感器產業(yè)帶來了難以估量的龐大機遇

中國移動室內定位白皮書

中國移動聯合產業(yè)合作伙伴發(fā)布《室內定位白皮書》,對室內定位產業(yè)發(fā)展現狀及面臨的挑戰(zhàn),深入分析了垂直行業(yè)的室內定位需求,并詳細闡述了實現室內定位的技術原理, 及室內定位評測體系
資料獲取
機器人知識
== 最新資訊 ==
ChatGPT:又一個“人形機器人”主題
ChatGPT快速流行,重構 AI 商業(yè)
中國機器視覺產業(yè)方面的政策
中國機器視覺產業(yè)聚焦于中國東部沿海地區(qū)(
從CHAT-GPT到生成式AI:人工智能
工信部等十七部門印發(fā)《機器人+應用行動實
全球人工智能企業(yè)市值/估值 TOP20
創(chuàng)澤智能機器人集團股份有限公司第十一期上
諧波減速器和RV減速器比較
機器人減速器:諧波減速器和RV減速器
人形機器人技術難點 高精尖技術的綜合
機器人大規(guī)模商用面臨的痛點有四個方面
青島市機器人產業(yè)概況:機器人企業(yè)多布局在
六大機器人產業(yè)集群的特點
機械臂-高度非線性強耦合的復雜系統(tǒng)
== 機器人推薦 ==
迎賓講解服務機器人

服務機器人(迎賓、講解、導診...)

智能消毒機器人

智能消毒機器人

機器人開發(fā)平臺

機器人開發(fā)平臺


機器人招商 Disinfection Robot 機器人公司 機器人應用 智能醫(yī)療 物聯網 機器人排名 機器人企業(yè) 機器人政策 教育機器人 迎賓機器人 機器人開發(fā) 獨角獸 消毒機器人品牌 消毒機器人 合理用藥 地圖
版權所有 創(chuàng)澤智能機器人集團股份有限公司 中國運營中心:北京 清華科技園九號樓5層 中國生產中心:山東日照太原路71號
銷售1:4006-935-088 銷售2:4006-937-088 客服電話: 4008-128-728