Oct 21~24, 2023【晚秋の贅沢な山旅 PART②】黒部峽谷♡下之廊下|日本北阿爾卑斯山秘境健行+野營+秘湯溫泉 DAY 1(黒部水壩〜下之廊下〜阿曾原溫泉)
最近在做一些實驗性質的東西,記得去年短暫玩過 2023 年底上市的第二代 Ray-Ban Meta 智能眼鏡,雖然它主要還是依舊智慧型手機作為算力中心,但我們對它所使用的串流技術很感興趣,因為聽說他們是用藍芽做串流。剛開始我聽到的一些聲音,像是:『他們不知道用了什麼黑科技』這類沒有建設性、不應該從 RD 嘴裡說出來的話時,始終不以為然。
坦白講,每次只要聽到有人說『黑科技』這三個字我都覺得倒胃口,一件理論上可以做到的事,外行人的認知被信息差,加上也沒實作能力去驗證,就什麼都變成黑科技了(有多黑?比巴西黑鮑魚還黑嗎?笑鼠)。反重力技術說不定也非啥黑科技,只是政府不讓你普通老百姓了解罷了。 Ray-ban Meta 的黑科技,講白了就是人家拉個近200人團隊在搞那支眼鏡,然後把軟體、硬體規格點滿,再加上極致優化後的成果唄!
因為知道 Ray-Ban Meta 智能眼鏡有塞入一個強大的 WiFi 晶片在裡面,一開始我猜測會不會有可能是透過 WiFi P2P 或 WiFi SoftAP 的方式去做串流,而去年初我也快速做了一個WiFi P2P架構的 prototype 來驗證,確實傳輸效率非常快,幾百MB的大檔幾乎可以秒級傳完,從眼鏡端將媒體串流到手機端更是不用說的順暢,還記得當時我們的媒體流還是以未經編碼的方式傳透過Socket來傳輸的(這表示所需的頻寬會更大)。
後來因為 iOS 平台不支持 WiFi P2P,所以我們又改用 WiFi SoftAP 的架構來實作,然後這次是採用H264在眼鏡端對影像做編碼,並以RTSP協議來傳輸媒體流。在將熱點強制設為5G頻段的情況下,其串流傳輸效率跟WiFi P2P幾乎相差無異,且眼鏡端功耗聽說更小。題外話,小米的智能眼鏡聽說也是靠 WiFi 在做串流,前陣子有把玩過,不過畢竟是大陸產品,我摸幾下就不想玩了,怕隱私被洩漏一空(笑鼠)。
但是後來聽路人甲轉述說,Ray-Ban Meta 的眼鏡在做直播時,以及最新的 Ray-Ban Display 眼鏡,在透過 WeChat 做視訊聊天時,串流確實是走藍芽通道。不過不論功耗再小,開啟 WiFi 來傳輸這件事本身的功耗就比藍芽大上許多,這也是產品落地最無法被接受的事,因為智能眼鏡那小到摳憐的電池,如果 WiFi 熱點一直開著,電量很快就會被榨乾了。即使透過 BLE 命令來控制眼鏡端 WiFi 熱點,採用按需啟動的方式,在執行媒體串流時,功耗依舊是相當大的!
所以前段時間農曆過年前後,我一直在思考藍芽串流架構的可行性。基於屌絲 SW RD 不信邪的心態,前陣子在家裡花了大約三個小時和 AI Agent 討論、分析、拆解問題、動手開幹,三個小時後,搞出了一個最小限度可動,但其效果僅容自嗨的藍芽串流架構。如果是外行人 Vibe Coder 或者是打嘴砲等級的 SW RD 看到效果,大概會直接認為沒戲唱就放棄了,但我再次秉持不信邪的心態,決定跟它死磕下去。而這也一直都是我解決問題的態度,因為我曾經聽過一句話,沒有背景跟靠山的人,最大的武器就是培養讓自己擁有令人恐懼的執行力。
接著後續幾天,我利用幾個晚上的時間,持續和 AI Agent 討論分析->實作->驗證->優化,一週過去後,我在完全沒變動現有硬體架構的條件下,只靠軟體技術優化,就搞出了一個雖不算完美,但可以在720p解析度、15 FPS、500K Bitrate的條件下,透過藍芽通道做雙向媒體串流,且達到表現尚且不俗的效果!坦白講,這效果已經超出我的預期。
不過我預期中的完美效果,應該是跟我們去年花了好幾個月實作、優化,搞出來的那套 RTSP+WiFi SoftAP 的串流架構那般近乎完全流暢無延遲、清晰且豪無花屏的效果相近才是。不過想歸想,無奈藍芽通道的物理頻寬跟 WiFi 通道頻寬相比,本質上就是輕量級幹重量級,有如街頭89硬剛拳王泰森,不用比直接下課了!
所以即使720P的條件下可以做到近乎完美,如果硬體沒有什麼升級,那麼上到1080P也是直接沒戲唱了(也實際試過了,效果就是會卡頓),畢竟物理限制就在那邊!即使從 HEVC 編碼升級到壓縮率更高的 AV1 編碼,720P也許能有更流暢的效果,但是1080P終究可能還是沒戲唱,再說還有4K、8K呢?
以下是透過純藍芽串流架構,在市售智慧型手機和夜市買來的安卓平台智能眼鏡上面,實現雙向媒體串流,並透過 Zoom SDK來進行視訊會議的 Demo 效果影片。
特性 | 傳統 Wi-Fi RTSP 架構 | 重構後 L2CAP/HEVC 架構 | 建築師視角與影響 |
|---|---|---|---|
傳輸協議 | Wi-Fi SoftAP + RTSP/UDP | Bluetooth 5.3 + L2CAP CoC | 功耗降低 4-10 倍,省去 Wi-Fi 廣播開銷 |
連線延遲 | 5 ~ 15 秒 | < 2 秒 | 基於既有 BLE 連線,實現「即時啟動」 |
視訊編碼 | H.264 (AVC) | HEVC (H.265) | 相同品質下頻寬需求減半 |
有效吞吐量 | 4 ~ 8 Mbps | 200-300+ KB/s (1.6 - 2.4 Mbps) | L2CAP 成功將有效頻寬壓榨至物理極限 |
典型延遲 | 200ms ~ 500ms | 300ms ~ 500ms | 經優化後,藍牙延遲已能對標 Wi-Fi |