產(chǎn)品中心 應(yīng)用方案 技術(shù)文摘質(zhì)量保證產(chǎn)品選型 下載中心業(yè)內(nèi)動態(tài) 選型幫助 品牌介紹 產(chǎn)品一覽 聯(lián)系我們
- 科學(xué)家將AI大模型用于傳感器設(shè)計，在動態(tài)環(huán)境實現(xiàn)高精度成像
- 來源：美國賓夕法尼亞大學(xué) 發(fā)表于 2025/2/11
近日，美國賓夕法尼亞大學(xué)團隊造出一種名為 PanoRadar 的高分辨率射頻成像系統(tǒng)，首次讓基于射頻（RF，radio Frequency）成像的視覺識別成為可能，未來能被用于自動駕駛、物流配送和搜救機器人等領(lǐng)域。
（來源：Sylvia Zhang）
在射頻成像的傳統(tǒng)技術(shù)中，主要面對著兩大難題：第一個難題是低分辨率問題，第二個難題是機器人移動導(dǎo)致的成像失真問題。
針對低分辨率的問題，該課題組通過旋轉(zhuǎn)線性天線陣列來形成大型合成天線陣列。研究人員表示，盡管此前有人通過類似的合成孔徑雷達技術(shù)來提高分辨率，但是這類技術(shù)往往要通過在二維平面上移動天線來進行掃描，不僅操作緩慢而且耗時較長。而該團隊提出的旋轉(zhuǎn)天線系統(tǒng)設(shè)計方案，在有效形成大陣列的同時還能讓成像更加高效。
針對移動機器人成像失真的問題，考慮到 PanoRadar 最終會被用于移動機器人，因此需要合理有效地處理機器人運動帶來的成像失真問題。解決這一問題的難處在于：本次研究所使用的無線電波的波長位于毫米級別，這就要求在成像時對于天線的位置必須實現(xiàn)毫米級的精度，否則信號的相位一致性會被誤差所破壞。
然而，一些常用的跟蹤及定位用傳感器，比如慣性測量單元傳感器和輪速計傳感器等，它們均無法實現(xiàn)上述測量精度。為此，課題組利用了多普勒效應(yīng)的特性，通過分析旋轉(zhuǎn)雷達來捕捉反射信號的多普勒頻率變化，以便針對機器人移動的速度和方向?qū)崿F(xiàn)精確估計。
另外，為了解決多普勒和到達角的頻率混合問題，他們還提出一款新的分離方法，從而讓基于多普勒的速度估計成為可能。
需要說明的是，雖然 PanoRadar 能在水平角度通過旋轉(zhuǎn)形成大陣列從而獲得優(yōu)異的分辨率，但是其垂直分辨率會受到天線數(shù)量限制。為此，他們又提出一種機器學(xué)習(xí)方法，該方法基于三維環(huán)境結(jié)構(gòu)特性打造而來，能夠彌補 PanoRadar 在垂直分辨率上的不足。
對于物體表面來說，它們在三維空間中通常呈現(xiàn)出連續(xù)分布以及能和地面接觸的特性。基于這一特性該團隊讓大模型學(xué)習(xí)大量數(shù)據(jù)，借此來挖掘空間維度的相關(guān)性，從而幫助提升 PanoRadar 受限的垂直維度。
此外，他們還提出一種讓二維卷積來學(xué)習(xí)三維空間結(jié)構(gòu)的方法，這不僅讓大模型的學(xué)習(xí)和訓(xùn)練變得更加有效，也降低了計算資源和計算時間。
未來，這一成果有望用于以下領(lǐng)域：
其一，用于自動駕駛領(lǐng)域。PanoRadar 擁有高分辨率的射頻成像能力，能夠彌補攝像頭和激光雷達在霧、雨、雪等惡劣天氣中的局限，讓駕駛更加安全。另外，在夜間、隧道、地下場景等光線不足或信號干擾較強的場景中，PanoRadar 能夠提供清晰可靠的環(huán)境感知能力，從而能夠確保駕駛的安全性。
其二，用于物流配送領(lǐng)域。即能夠用于物流機器人、無人配送車、配送無人機等設(shè)備，幫助其在多變的城市環(huán)境中實現(xiàn)高效導(dǎo)航。尤其是在雨霧天或擁堵區(qū)域，PanoRadar 在感知到障礙物之后，會對前進線路加以優(yōu)化，從而讓配送任務(wù)安全地完成。另外，在智能倉庫中 PanoRadar 可以幫助機器人高精度地感知貨物位置，即使在灰塵環(huán)境或煙霧環(huán)境中也能保持高效工作。
其三，用于搜救機器人。在地震和火災(zāi)等極端情況下，PanoRadar 可以穿透煙霧、灰塵和碎片，從而為搜救機器人提供清晰的環(huán)境感知，進而幫助定位幸存者或危險區(qū)域，在提高救援行為的效率的同時，還能確保救援人員的安全。而在一些受災(zāi)地區(qū) PanoRadar 還能支持機器人或無人機在惡劣環(huán)境下完成精準的緊急物資和藥品投送。
（來源：MobiCom）
打造既魯棒、又能高清成像的射頻傳感器
研究人員表示，當前機器人和自主系統(tǒng)技術(shù)正在飛速發(fā)展，并已被用于自動駕駛、搜索救援、倉庫物流和醫(yī)療健康等領(lǐng)域。這就要求機器人針對周圍環(huán)境實現(xiàn)既準確、又魯棒的感知，以便確保安全順利地完成作業(yè)。
目前，常用的傳感器主要有相機和激光雷達等，它們能夠提供高分辨率的圖像和點云。但是，作為一種視覺傳感器，它們和人類眼睛存在同樣的“不足”，即在充滿濃煙和充滿水霧的惡劣環(huán)境下很難看清周圍環(huán)境。
比如，裝載相機和裝載激光雷達的自動駕駛車輛在大霧天氣無法正常工作，搜救機器人也無法在滿是煙霧和灰塵的火災(zāi)現(xiàn)場展開救援。
射頻，指的是可以輻射到空間的電磁頻率，其頻率范圍位于 300KHz 到 30GHz 之間。在上述惡劣環(huán)境之中，射頻傳感器能夠?qū)崿F(xiàn)既有效又可靠的工作。這是因為射頻傳感器所依賴的無線電波，能夠輕易地穿過懸浮在空氣中的微小粒子，其背后原理和人們在大霧天仍能收聽廣播是一個道理。
此前，已有不少學(xué)者開始利用射頻傳感器的上述特點來進行射頻成像，以便為機器人提供魯棒可靠的感知方式。然而，當前的自動駕駛汽車和配送機器人依然嚴重依賴于相機和激光雷達，這是因為現(xiàn)有射頻傳感器的分辨率往往較低。要知道相機能夠?qū)崿F(xiàn)百萬像素甚至千萬像素的高分辨率圖像，但是由于分辨率較低射頻傳感器只能給出一團團的反射圖像，因此它很難辨別周圍環(huán)境和周圍物體。
為了讓射頻傳感器既能保持可靠魯棒的特性，又能像激光雷達一樣提供高分辨率的成像結(jié)果，該團隊開始了本次研究。
成像質(zhì)量能與激光雷達相媲美
前面提到，在與激光雷達這種光學(xué)傳感器相比時，射頻成像傳感器的分辨率有著明顯差距。此外，大部分現(xiàn)有技術(shù)在掃描時耗時較長，這在動態(tài)應(yīng)用中顯然是不切實際的。盡管部分雷達商品已能取得較高的分辨率，但是它們價格十分昂貴，而且只能提供二維的平面信息，而這不僅會增加部署成本，還會限制獲取信息的維度。
因此，亟需一種新方法來突破射頻成像在移動機器人中的瓶頸。一次偶然的機會，研究人員注意到了電腦中旋轉(zhuǎn)的散熱風扇。這讓他們聯(lián)想到或許可以通過旋轉(zhuǎn)的方式，來以快速、穩(wěn)定的方式擴大天線陣列，從而提升成像分辨率。
基于此，他們定下這一研究方向：設(shè)計一套以旋轉(zhuǎn)雷達為基礎(chǔ)的高分辨率射頻成像系統(tǒng)。
為了驗證上述構(gòu)想的可行性，他們先是開發(fā)出一款原型系統(tǒng)。一開始他們使用了一個非常簡單的旋轉(zhuǎn)裝置——即商店里常見的小型商品展示轉(zhuǎn)臺。這套慢速旋轉(zhuǎn)平臺雖然看起來很“原始”，但是在靜止環(huán)境之下他們成功生成了一個房間輪廓的射頻圖像，這說明旋轉(zhuǎn)雷達的基本想法是可行的。
接著，他們將上述慢速旋轉(zhuǎn)平臺移植到移動機器人平臺上，并引入一臺工業(yè)電機，從而能在實現(xiàn)快速旋轉(zhuǎn)的同時還能提高成像效率。然而，他們發(fā)現(xiàn)機器人在運動時，成像質(zhì)量會受到嚴重干擾。后來，他們發(fā)現(xiàn)這是因為對于雷達成像來說，它需要極高的天線位置精度，而機器人的運動會破壞信號的相位一致性。
為解決這一問題，他們針對機器人提出一種基于多普勒效應(yīng)的運動估計和補償方法，從而讓本次 PanoRadar 能在動態(tài)環(huán)境中實現(xiàn)高精度成像。
這時，PanoRadar 已經(jīng)能在水平方向和深度方向上達到較高的分辨率。但是，為了實現(xiàn)真正的高分辨率三維成像，他們打算進一步提升 PanoRadar 的垂直分辨率。在三維環(huán)境結(jié)構(gòu)特性的啟發(fā)之下，課題組使用數(shù)據(jù)驅(qū)動的方法，并通過引入大模型，進而利用三維空間中物體表面連續(xù)性和與地面的支撐關(guān)系，來增強 PanoRadar 在垂直方向的分辨率。這一改進大幅提高了 PanoRadar 的整體成像質(zhì)量，甚至能與激光雷達的成像質(zhì)量相媲美。
保潔大爺和“警報事件”
研究中，數(shù)據(jù)采集是一個重要環(huán)節(jié)。為了驗證 PanoRadar 的性能，他們需要在建筑樓道和實驗室周邊等真實場景中運行機器人。
由于 PanoRadar 配備了旋轉(zhuǎn)雷達，這種新穎的設(shè)計總是會吸引人們駐足圍觀。尤其是當人們看到雷達隨著機器人的移動不斷旋轉(zhuǎn)時都會好奇地問：“這是在干嘛呢？”每次面對這樣的疑問，他們都會耐心解釋說這是一個科研用的移動機器人，能夠用于復(fù)雜環(huán)境下的高分辨率成像。
特別是當他們提到它甚至可以在煙霧、塵埃等惡劣條件下清晰地感知周圍環(huán)境時，大家的表情總是充滿驚訝和贊嘆。盡管這些互動打斷了數(shù)據(jù)采集進度，但也成為了讓人開心的小插曲。
最有趣的是，課題組幾乎每次采集數(shù)據(jù)時都會遇到一位固定的“老熟人”——一位負責清潔的保潔大爺。保潔大爺一開始也和其他人一樣，非常好奇研究人員到底在干什么。
但是隨著大家逐漸熟悉，保潔大爺甚至還記住了他們。有一次保潔大爺看到他們推著機器人走過來直接招呼道：“又出來采集數(shù)據(jù)啦？”這種小小的日常問候讓為科研工作增添了一份生活的溫度。
除了進行數(shù)據(jù)采集，還要進行煙霧實驗。為了測試 PanoRadar 在空氣懸浮粒子（如煙霧、灰塵）中的成像能力，課題組買了一臺便攜式霧汽發(fā)生器——這是一個可以快速產(chǎn)生濃霧的小設(shè)備。
某天晚上，他們打算在實驗室樓的走廊里進行測試。當時，周圍沒有太多人，環(huán)境也比較安靜。該團隊把機器人放置在走廊中央，并使用霧汽發(fā)生器在它周圍噴射濃霧，以此來模擬大霧環(huán)境。
實驗一開始的時候效果非常好，能讓人清晰地看到射頻成像穿透煙霧的能力，數(shù)據(jù)表現(xiàn)也完全符合預(yù)期。正當他們興奮地記錄數(shù)據(jù)時，意外發(fā)生了：由于霧氣過于濃烈，觸發(fā)了建筑物內(nèi)的煙霧報警器。頓時，整個樓道里警鈴大作、震耳欲聾！
一開始他們還沒意識到發(fā)生了什么，直到看到走廊盡頭的警報燈閃爍，才意識到是這次實驗引發(fā)了警報。幸運的是，那天晚上樓里幾乎沒有人，教室也空蕩蕩的，沒造成太大的騷動。
盡管如此，他們還是立刻關(guān)閉設(shè)備，打開窗戶透氣，并迅速清理現(xiàn)場。后來回想起來，這段“警報事件”也成了團隊的一個笑談。自此以后，他們對于實驗環(huán)境和實驗方法也更加謹慎。
而為了避免再次觸發(fā)警報，他們使用激光切割亞克力板做了一個小箱子罩在設(shè)備上，從而讓濃霧限制在箱子之內(nèi)。
在項目接近尾聲之時，課題組決定將代碼和數(shù)據(jù)進行開源。他們希望通過共享這些資源，進一步推動射頻成像技術(shù)在自動駕駛、機器人和其他領(lǐng)域的發(fā)展。
日前，相關(guān)論文以《在射頻中實現(xiàn)視覺識別》（Enabling Visual Recognition at Radio Frequency）為題發(fā)在移動計算與網(wǎng)絡(luò)會議（MobiCom，Mobile Computing and Networking）上 [1]。Haowen Lai 是第一作者，美國賓夕法尼亞大學(xué) Mingmin Zhao 教授擔任通訊作者。
圖 | 相關(guān)論文（來源：MobiCom）
為了更好地展示本次成果，他們將整套機器人和射頻成像系統(tǒng)搬到會議現(xiàn)場進行實時演示。演示中，該團隊重點展示了 PanoRadar 在濃霧環(huán)境下的高分辨率成像能力。在現(xiàn)場他們利用一臺霧汽發(fā)生器來模擬濃霧條件。在這種情況下常規(guī)的光學(xué)傳感器和激光雷達往往會完全失效，以至于無法捕捉到有效信息。而 PanoRadar 卻能清晰地恢復(fù)周圍環(huán)境的細節(jié)，并能執(zhí)行一系列的下游視覺識別任務(wù)。研究人員將 PanoRadar 的結(jié)果與激光雷達在濃霧環(huán)境下的結(jié)果進行對比，鮮明的效果差距讓許多參會者印象深刻。
在現(xiàn)場許多與會者特別好奇他們?nèi)绾瓮ㄟ^旋轉(zhuǎn)雷達和射頻信號實現(xiàn)如此高的成像分辨率，還有人詢問是否有計劃將系統(tǒng)商業(yè)化。更讓他們激動的是，這次演示還讓他們贏得了會議最佳演示獎。此外，該團隊的博士生 Haowen Lai 也在本次會議的學(xué)生研究比賽獲得了第一名。
將與業(yè)界伙伴探索 PanoRadar 的物流配送應(yīng)用
基于本次成果，該團隊將進一步探索高分辨率射頻成像系統(tǒng)的潛力。
其一，將探索室內(nèi)的應(yīng)用潛力。
在一些災(zāi)后環(huán)境或危險環(huán)境中，例如地震廢墟和火災(zāi)濃煙區(qū)域，搜救機器人需在能見度極低的條件下來定位受困人員。而 PanoRadar 可以穿透煙霧和灰塵，為機器人提供清晰的環(huán)境感知能力。因此，他們希望將 PanoRadar 集成到搜救機器人中，并驗證其在真實搜救場景中的性能。
其二，將探索在同步定位與地圖構(gòu)建算法的應(yīng)用潛力。在動態(tài)和復(fù)雜的室內(nèi)環(huán)境中，機器人需要同時完成自身定位與環(huán)境地圖的構(gòu)建。PanoRadar 的高分辨率成像能力不僅能夠提供細致的環(huán)境輪廓，還能在無全球定位系統(tǒng)（GPS，Global Positioning System）信號的環(huán)境下支持魯棒性定位�；诖�，課題組將探索如何利用射頻圖像來直接提升同步定位與地圖構(gòu)建算法（SLAM，Simultaneous Localization and Mapping）的精度與可靠性。
其三，將探索在轉(zhuǎn)角成像與隱蔽物體探測中的潛力。即利用射頻信號的反射特性，讓機器人實現(xiàn)“繞角”探測，例如可以在拐角處提前識別目標物體或潛在威脅，從而避免發(fā)生碰撞。針對此，該團隊計劃設(shè)計一款專用算法，以便開發(fā)更智能的探測功能。
其四，將探索在室外應(yīng)用中的潛力。
在復(fù)雜的戶外環(huán)境中，無人駕駛車輛需要在夜間、強光、雨霧天氣等光學(xué)傳感器失效的情況下保持安全行駛。為此，課題組計劃將 PanoRadar 的射頻成像能力用于無人駕駛平臺之中，以便為其提供全天候的環(huán)境感知能力，特別是實現(xiàn)惡劣天氣條件下的應(yīng)用。
其五，將探索在物流配送機器人中的應(yīng)用潛力。在室外運送貨物時，物流機器人常常面臨障礙物和環(huán)境光線的多變性，而 PanoRadar 能夠顯著提高機器人對于周圍環(huán)境的適應(yīng)能力，從而保障物流機器人的正常運行。下一步，他們也將與業(yè)界伙伴探索 PanoRadar 在物流配送場景中的應(yīng)用，包括將其用于復(fù)雜的城市道路和園區(qū)路徑等。
參考資料：
1.Lai, H., Luo, G., Liu, Y., & Zhao, M. (2024, May). Enabling Visual Recognition at Radio Frequency. InProceedings of the 30th Annual International Conference on Mobile Computing and Networking (pp. 388-403).
排版：多加
- 如果本文收錄的圖片文字侵犯了您的權(quán)益，請及時與我們聯(lián)系，我們將在24內(nèi)核實刪除，謝謝！
