Facebook推出了一個名為 SoundSpaces 的新的開源工具，專為所謂的“嵌入式 AI”而設計。該工具旨在通過允許機器人分析環(huán)境聲音，幫助他們更有效地找到自己的方向。
音頻對導航很有用。例如，如果用戶要求假想的機器人家庭助理取回正在響鈴的智能手機，則將聲音追蹤到其來源可能比目視檢查設備可能位于的每個房間要快得多。
SoundSpaces 是一個主要基于 3D 環(huán)境聲學模擬的音頻渲染信息集。該信息集設計用于 Facebook 的開放供應模擬平臺 AI Habitat，它提供了一個軟件程序傳感器，使其可以在掃描的真實世界環(huán)境中插入聲源的模擬。
SoundSpaces 提供了一系列音頻文件，AI 開發(fā)者可以用這些文件在模擬中訓練聲音感知的 AI 模型。Facebook方面表示，這些音頻文件不是簡單的錄音，而是 "幾何聲學模擬"。這些模擬包括關于波浪如何從墻壁等表面反射的信息、它們?nèi)绾闻c不同的材料相互作用、以及一些其他數(shù)據(jù)，開發(fā)人員可以使用這些數(shù)據(jù)來創(chuàng)建聽起來很真實的模擬，以訓練 AI 模型。
Facebook 研究科學家 Kristen Grauman 和 Dhruv Batra 在博客中寫道，"據(jù)我們所知，這是第一次嘗試訓練既能看到又能聽到的深度強化學習代理，以映射新環(huán)境并定位發(fā)聲目標。通過這種方法，我們在導航方面實現(xiàn)了比使用單模態(tài)同行更快的訓練和更高的準確性。"
此外，F(xiàn)acebook方面還表示，他們已經(jīng)開源了一個名為 “Semantic MapNet”的工具，開發(fā)人員可以用來為模型提供某種空間內(nèi)存以改善導航的軟件模塊。
責任編輯：Rex_07
