PointNet++理解-創新互聯

一、PointNet++解決了PointNet存在的哪些問題

PointNet的point-wise MLP，僅僅是對每個點表征，對局部結構信息整合能力太弱 -->PointNet++的改進：sampling和grouping整合局部鄰域
PointNet的global feature直接由max pooling獲得，無論是對分類還是對分割任務，都會造成巨大的信息損失 -->PointNet++的改進：hierarchical feature learning framework，通過多個set abstraction逐級降采樣，獲得不同規模不同層次的local和global feature（最后一個set abstraction輸出可以認為是global feature），這樣獲得的global特征更高級，表征能力更強。
分割任務的全局特征global feature是直接復制與local feature拼接，這樣直接進行拼接的話，可利用的global feature太少了，生成discriminative feature能力有限 -->PointNet++的改進：分割任務設計了encoder-decoder結構，先降采樣再上采樣，使用skip connection將對應層的local-global feature拼接，這樣的特征更高級，更具有判別性。
當然PointNet++還解決了當點云不均勻的時候，在密集區域學習出來的特征可能不適合稀疏區域的問題，解決方法就是對不同半徑的子區域進行特征提取后進行特征堆疊，不同半徑的子區域的特征提取的維度變換也會隨著半徑的不同而不同

二、PointNet++的SA模塊中有不可導的FPS采樣操作，梯度如何能夠反向傳播？

3D檢測里面有這樣一類操作，用白話講，可以歸類為“路由”：即把特征從哪里取出來，或把特征匯聚到哪里去。“路由”的建立過程本身可以不可導（比如FPS和ball query）。但“路由”一旦建立，特征的傳遞和映射過程一般都是可導的。所以對于FPS操作在反向傳播時的具體實現我認為和torch.scatter的梯度反傳類似，初始化一個0張量，然后按照scatter賦值過去。

成都創新互聯是一家集網站建設,南山企業網站建設,南山品牌網站建設,網站定制,南山網站建設報價,網絡營銷,網絡優化,南山網站推廣為一體的創新建站企業，幫助傳統企業提升企業形象加強企業競爭力。可充分滿足這一群體相比中小企業更為豐富、高端、多元的互聯網需求。同時我們時刻保持專業、時尚、前沿，時刻以成就客戶成長自我，堅持不斷學習、思考、沉淀、凈化自己，讓我們為更多的企業打造出實用型網站。

對于pointnet++中的一個例子（因為不能debug進用C++寫的自定義的cuda算子，debug沒法進c++的代碼的，只能到調用的那一步，所以推薦直接采用全局搜索），對于前向傳播中那些不能導的操作，是要重寫一下backward函數的，重寫時可能會調用自己實現的cuda代碼。可以看到重寫的backward函數返回值只有第一個有梯度，第二個沒有梯度。backward的參數輸入來自于forward的輸出的梯度，backward返回值對應于forward的輸入的梯度，所以說明idx沒有梯度，被截斷了，說明idx這條路是死的，但是features這條路依然有梯度：

案例：
在這里插入圖片描述

外部調用邏輯：