Ben's Heaven

這是一個很有趣的方法，以我的觀點來看是跟 3D 點雲的 Multi-View 方法的延伸。 主要是把 3D 點雲特徵用投影方法投回 2D 影像， 利用 2D/3D 的融合特徵解決物件遮蔽的偵測問題。

  本文建議有點雲特徵的先驗知識者閱讀， 我會盡量講得平易近人， 但仍建議請先參考 此篇 ，先了解基本點雲處理如何處理特徵。 這篇論文的重點在於改變了底層特徵方法。 論文中由這張圖來解釋： 因為現行解決 Rotation Invariant 的方法都是乘上一個矩陣去收集數據， 並沒有考慮點與點之間的結構關係（i.e.上圖笑臉）。 但是我覺得這個例子呈述得很容易誤導， 聽起來很像在解決高低解析度、上下採樣的問題， 實際上在點雲裡面應該是解決類似 KNN 特徵的問題才對。 像是那三個有黑色像素的點，間隔距離、彼此夾角之類的結構關係所產生的資訊。 作者認為現在的 CNN 都沒有抓到結構關係 （Pose） 的精華 （e.g. 點雲中點與點的區域關係 AKA 底層特徵）， 所以要提出解決方法稱為 PaRI 的新架構來解決問題 （我猜是 Pose: Ambiguity-free 3D Rotation-invariant 的縮寫）。 舊有的底層特徵方法： 好，那要改進一定得知道改哪裡嘛？ 之前別人是怎麼做這種結構特徵的？ 答案是：Point Pair Feature（PPF） Point Pair Peature Pr 是參考點，想像成 KNN 的目標點； Pj 是 Pr 附近的鄰居點，有 K 個； ∂n_r 是相較於 r 的三維座標軸，用  gram-schmidt orthogonalization 算出來的， 忘記的同學可以去複習一下 GSO 。 所以經過 PPF 計算，我們會得到一組四個特徵如下圖： 這樣會出個小問題，各位想想好的底層特徵應該要具備什麼特性？ 應該要具備獨特性嘛！ 因為這樣訓練起來才不會與其他特徵混淆。 仔細觀察 αn 的方程式我們會發現，沒有一條能分辨在這個半徑為 d 的圓圈上， 有若干個法向量相同的  Pj 的辦法。  （∂1_r, ∂1_j 分別代表各自的法向量，ModelNet40資料集會給定。） 改善方法： 在改善之前，我們先想想舊有方法遇到什麼問題？ 問題是缺少 Pr 與 Pj 間的獨特特徵，對吧？ 所以我們希望新的方法最好讓每個 Pj 對 Pr 有獨特性。 Local Reference Frame（LRF） +   Augmented Point Pa...

  假設各位都知道並了解  Cross Entropy 是什麼的前提下， 這篇文章主要提到 Focal Loss ，一種基於  Cross Entropy 的改進方法。

  前幾天 meeting 被老師單獨叫過去說： ＂黑武士，你知道你這學期要畢業對吧？＂

  起因是因為主管塞了兩盒工程機包裝的東西給我， 叫我趕快做點東西出來。 ：大勾請問這兩盒是什麼？ ＂窩也不是很清楚，應該是攝影機吧？＂ ＂上禮拜才送來的，就交給你好好幹了！（瞇眼。＂

因為教授可能想讓我做 partial & segmentation， 所以被 assign 了這篇論文。 SegGCN 做了兩件事情：

 Channel-wise  之前在  【論文筆記】Squeeze-and-Excitation Networks  那篇  遇到過， 這次來很淺的解釋一下 Channel-wise 大概在做什麼？ 就我的解釋來看：

簡介： Squeeze-and-Excitation Networks（以下簡稱 SENet）是一種類似於 plugin 的概念， 獲得對於 C 個特徵（frature）間的關係，進而提升整體模型的準確率。 方法概要：