（下篇）第18章 機器人輔助手術中的力反饋和感覺替代
接上篇專欄文章。
18.3 局部力反饋
雖說力反饋在手術系統中的實用性得到了證明，但是與臨床結合很困難而且比較昂貴。這些挑戰在前面的控制系統的章節中有描述。同時，力反饋功能需要在主手上安裝電機（操作端）/在從手端安裝力感測器（病人端機器人）。為了降低這些額外的需求，局部力反饋是一個很好的解決方法，局部力反饋即感知力/反饋力的自由度數量比手術系統操作自由度數量少。舉個例子，在手術系統中運動方向有X、Y、Z三個方向，那麼只提供部分力反饋的性價比更高，因為部分力反饋也是與手術任務相關的。
雖說局部力反饋可以降低機器人手術系統的複雜度和花費，但是局部力反饋在手術中的應用可行性還是有些問題的。局部力反饋造成了感測和驅動的不對稱性，不真實的力反饋會讓會讓操作者感覺到不安，同時也會改變手術系統實際中的應用。另外，因為力反饋會直接影響機器人手術系統的控制策略，所以局部力反饋對控制系統穩定性的影響必須要考慮在內。
描述力反饋在某些手術操作中的重要性需要更多的工作。Saha使用da Vinci手術系統研究了手術操作中不同自由度的力/力矩的大小和變化，但是結果不太確定。同時，感測器/驅動器的不對稱性造成了力顯示方向的錯誤。Barbagli等人證明了人在解決力的方向上的能力相對較弱，因此局部力反饋可能對人在力的方向上的影響很小。
18.3.1 局部力反饋的使用者表現
我們研究組的研究展示了局部力反饋對操作者表現的影響。這些研究測試了3種重要的局部力反饋的假想情況：
1. 相同的系統，使用局部力反饋策略和全部力反饋策略效果相似；
2. 夾持力反饋不能單獨脫離笛卡爾力反饋應用（夾持力反饋是需要的）；
3. 3自由度力反饋在6自由度操作器中是足夠的（也就是說旋轉力反饋不需要）；
18.3.1.1 實驗1：部分笛卡爾空間力反饋
第一個研究使用一個3自由度的研究用遠程操作器模擬了動脈剝離。這個任務的目的是將模擬的動脈從人造組織上剝離。這個遠程操作系統包括兩個PHANTOM觸覺反饋設備，型號是Premium 1.0 和 1.5（SensAble Technologies, Inc.,Woburnm MA, USA），包括一個6軸力/力矩感測器（Nano-17,ATI Industrial Automation,Apex, NC, USA）。ATI力感測器能夠測量出器械末端和人造組織之間的力，這個遠程控制系統採用了一個「位置-力」控制器。
10個被測試者在4種力反饋條件下進行了剝離測試：1，手動剝離；2，全維力反饋（full FF）；3，沒有器械軸向力反饋（No Axial FF）；4，無力反饋（No FF）。第三種和第四種是依靠主從遙操作系統消除部分維度的力反饋實現的。手動操作中被測試者手持一個剝離用的鐵筆（類似鑷子），中間安裝力感測器，通過直視的方法進行操作。遠程操作中，被測試者操作主操作手去遙控從手末端固定的工具。在這些試驗中，被測試者觀看一個數字攝像機拍攝的實時畫面。測試到的操作力通過觸覺裝置反饋給操作者。每個被測試者給出15分鐘去練習，保證他們熟悉每種反饋方式。最後被測試者被給出2分鐘來完成每個剝離測試，同時被測試者選取的測試條件是隨機化的。
測試結果表明，沒有軸向力反饋的情況與全維力反饋的情況效果近似，上述兩種情況的軸向和徑向的平均操作力都比無力反饋的效果好。合力分析也是上述結論。剝離長度上3中遙操作實驗沒有明顯差異（P<0.05）。綜上，同一個系統的局部力反饋的表現是可能跟全維力反饋的效果相近的。
18.3.1.2 實驗2：夾持力反饋
第二個研究使用一個4自由度的研究用遙操作設備來完成一個柔性的軸孔放置任務。這個遙操作系統與上個章節用的設施類似，只是在主從端的末端都安裝了一個商用的機械夾持裝置。從端安裝的力感測器能夠測量出對栓的夾持力。沒個被測試者均在4種條件下完成這個任務：1，全維力反饋；2，只有位置力反饋；3，只有夾持力反饋；4，無力反饋；條件234是靠消除在主手觸覺反饋裝置不同自由度的力反饋實現的。5個被測試者重複了5次上述4種條件（隨機化分配）。被測試者都在實驗前對4種反饋條件進行了練習。
測試結果證實了在柔性軸孔放置任務中夾持力反饋的重要性。實際的夾持操作力在無力反饋和只有位置力反饋沒有明顯差別，說明位置力反饋並不能讓操作者知道和理解施加在柔性栓上的夾持力。同樣的實際操作位置力在無反饋和只有夾持力反饋兩種條件下也沒有明顯差別。因此夾持力反饋和位置力反饋之間沒有相關性（表現交叉）。因此如果手術中進行微小解剖操作時組織操作夾持力很重要，那麼夾持力反饋在操作中是需要的。
18.3.1.3 實驗3：3自由度 VS 6自由度力反饋
第三個操作者表現研究包括力和力矩反饋，使用了一個6自由度的手術機器人系統。這個研究的目的是確定是否3自由度力反饋可以達到6自由度力/力矩反饋近似效果。主手操作端使用了一個霍普金斯大學的達芬奇機器人系統，並且能夠與虛擬環境交互。理論上說這個實驗應該使用主端和從端進行遠程操作，但是由於沒有能夠測量出6自由度力和力矩的機器人，所以這個達芬奇機器人的主端與一個虛擬環境交互，保證能夠產生6個自由度的力反饋。
6個被測試者使用一個虛擬的筆和紙寫「HAPTICS」字樣。這個6自由度的筆由達芬奇機器人主手來操控。因為虛擬的筆能夠穿透虛擬的紙，因此力和力矩能夠反饋給使用者。這種交互對手的作用近似於用真是的筆寫字。力和力矩由施加於筆的槓桿臂上的紙面方向的力產生（模擬實際寫字的時候產生的力和力矩）。虛擬的環境使用一個達芬奇機器人的3D立體顯示器展現出來。這個寫字的任務也用了4中條件來實施：1，無力反饋；2，只有力反饋；3，只有力矩反饋；4，力/力矩反饋。每個測試者都給了不限制的練習時間。
結果證明只給力反饋的效果和給力/力矩反饋的效果相似。只有力矩反饋時也有合理的表現，但是必須指出的是所有的被測試者在只有力矩反饋時感覺到非常不舒服和不自然。消耗的時間是不確定的，儘管幾種條件具有顯著差異。Analysis of variance (ANOVA)方差測試表明在時間和超過深度方面有明顯卻別（P<0.001）。這些結果表明，對於需要6個自由度操作特定的任務，使用3個自由度力反饋能夠取得和6個自由度反饋類似的效果。
18.3.2 局部力反饋可能的不穩定性
前面章節的研究表明了從使用者表現的角度考慮局部力反饋也是一種很可行的方法。然而保證機器人手術的安全性是最重要的，因此局部力反饋系統的穩定性需要被證明。如2.5章節描述，遙操作系統的穩定性判斷經常靠二埠網路模型中的無源性條件。
與全維力反饋遙操作器不同，感測/驅動不對稱性遙操作器（局部力反饋）不能保證它的無源性。對於感測/驅動不對稱性遙操作器，遙操作器通訊模塊的散射矩陣（不含延時）如下：
A是是一個奇異矩陣，叫做不對稱矩陣，它的零空間對應了無力反饋的自由度。可以看出，對於所有的奇異矩陣A，其散射運算符大於1，因此這個系統不保證是無源的，即使是控制律是無源的。因此，基礎的無源操作控制律不能保證這種感測/驅動不對稱性遙操作器的穩定性。
我們之前與散射矩陣相關的工作和結果說明無源性準則在應用在感測/驅動不對稱性遙操作器是保守的。然而系統會感覺到不正常的或者不真實的，但是可能並不表現出不穩定的表現，例如遙操作文獻中經常提到的接觸不穩定問題。舉個例子，所有的3.1章節中的任務都是在無不穩定表現的情況下完成的。更進一步的局部力反饋控制策略研究可能能夠通過其他方法保證系統的穩定性，而不是通過無源性條件。
18.4 力信息圖形化顯示
第二和第三節描述了力反饋在手術操作中的控制挑戰。這些挑戰其實可以通過圖形顯示操作力或者環境特徵的方法繞過去，如這裡和下文描述。
在腹腔鏡手術或者機器人輔助手術中，內窺鏡經常用來提供手術端的視覺信息，醫生通過顯示器或者觀察窗來觀看信息。那麼這些圖像可以用來實時增強，人工的產生一些信息來加強醫生的感知經驗，比如增加一些感測器或者估計的力信息。這種感知變換是一種感覺替代，被稱為圖形力反饋（GFF），允許醫生能夠看到操作力，而不是直接感覺到。圖形力反饋可以有多種形式，取決於手術操作的特性（例如是操作還是探查）。進一步的，增強手術圖像應該被進一步實施實施外科醫生獲得最好的益處。
由於手術器械末端附近是醫生視覺關注的位置，因此將GFF放置在末端器械處可以促進信息的有效應用而且需要更少的認知處理。Akinbiyi等人通過在機器人器械末端布置一些點來增強醫生的虛擬工作空間，在縫合操作中這些點會通過改變顏色展示力的大小（綠，黃，紅）；對於沒有很強RMIS經驗的醫生來說，GFF可以減少縫合破損和更小的操作峰值力。但是對於有RMIS經驗的醫生來說效果不太明顯，這很可能說明GFF可能在培訓沒有手術經驗的新醫生方面更有用。作為對照，我們使用外部的LED燈顯示操作力進行了實驗。我們建議增大在正常視覺空間的頂部的力圖形信息能夠很大的改善操作表現，因為這允許醫生能夠更容易的看到力然後將注意力放在操作點上。
Mahvash和Gwilliam等人研究了條形圖顯示技術，根據操作力同時改變條形圖的顏色和大小。在第一個系統中，條形圖沒有跟隨器械末端的運動，導致有時候會阻擋醫生的操作視線。第二個系統的目的是更直觀的提供李信息，避免出現模糊重要虛擬信息、混亂醫生視野、或者造成不必要的精力分散。對於探查類的任務，末端器械會在很大的工作空間內移動，此時圖形信息需要恰當的跟隨器械運動。然而2維度的GFF圖像需要以合適的大小、並隨著器械末端移動在相機坐標系改變的方式呈現給醫生的每個眼睛。Gwilliam等人實現了這樣的條形圖方式在移動的器械末端來呈現力信息。更進一步的，條形圖和器械桿是對齊的，當器械在3D空間操作時這個條形圖會隨之改變大小和姿態。這樣也可以使得GFF能夠以適當的深度和視覺差異呈現出來（Figure 10 （d））。由於這個圖形重現是一個條形圖，因此醫生可以通過顏色和尺寸表達操作力。因為校準了器械桿，因此GFF條形圖不會遮擋視覺空間中的其他物體（除非是被器械桿擋住了）。這套系統由一名有經驗的機器人手術醫生實施。這個任務是識別一個人造組織中的人造鈣化動脈的方向，屬於觸診。在這個任務中，圖形力反饋的效果相對於無力反饋並不是很明顯。我們的結論是空間分散式直接力反饋比GFF技術更容易整合（譯者：這句話我也有點暈）。
總的來說，圖形力反饋展示了複雜的效果。對於探查任務來說，例如對人造前列腺腫瘤和人造組織鈣化血管的觸診，GFF並沒有單獨提高操作效果，雖然GFF和直接力反饋結合的時候有所提高。對於縫合這種操作，GFF對於無RMIS經驗的人來說有益處，但是對於有豐富RMIS經驗的醫生來說基本沒有提高。因此，RMIS經驗的豐富程度和手術任務的性質會影響GFF的實際效果。
18.5 組織特性的圖形化顯示
雖然真實力反饋和圖形力反饋可以將操作力的信息實時的提供給手術醫生，然而一些探查類的任務，例如前面章節提到的觸診操作更加關注人體組織特性。在這個章節，我們描述了一種RMIS術中通過預估組織特性進行實時圖形覆蓋剛度信息的情況。這種顯示的目的是幫助醫生識別和描述組織的異常。比如說，醫生通過觸診的方式去識別腫瘤的位置，因為惡性腫瘤一般比正常健康組織更硬一些。雖說非正常組織可以通過MRI或者CT識別出來，但是這些圖像並不能幫助醫生在實際手術中定位腫瘤的位置，因為術中腫瘤是移動的而且會發生變形。
已有一些人在圖形化顯示組織特徵方面做了一些研究。Miller等人利用一個商用的電容觸覺陣列感測器測量接觸力的方式研發了一種觸覺圖像系統（TIS）。根據從陣列中的每個感測器獲得的壓力信息，TIS系統產生了一個實時顯示的彩色的觸覺地圖。Liu等人使用一個安裝力/力矩感測器的滾壓頭在機器人手術中來定位藏在柔軟組織中的硬塊腫瘤。通過限定侵入的深度，一個彩色的力地圖用來識別小腫瘤的位置。Trejos等人也通過使用一個觸覺陣列感測器研發了一個觸覺感知器械（TSI）在機器人手術中定位腫瘤。他們使用機器人進行了自動觸診並生成了一個壓力地圖。Xu and Simaan測試了一個具有力感知功能的連續體機器人。類似於之前Liu等人的工作。他們也是約束了進入組織的深度並生成了一個力地圖來檢查嵌入的硬塊組織。這個章節中描述的剛度地圖與之前醫生觸診時實時顯示的組織特徵顯示是不一樣的。
18.5.1 圖形化顯示組織特性的方法
得到一個組織精確的數學模型是非常困難的，因為眾所周知組織是非線性非均勻的。我們的目標是使用一個相似的模型並且給出足夠精確區分的信息，主要是剛度信息。基礎的在線辨識技術可以用於自適應的估計組織模型的參數，然而一個合適的模型形式必須是有預先假設的。我們考慮如下約束來選擇最好的組織模型：
1. 考慮多種可能的組織數學模型。
2. 使用真實的組織樣本來觸診和記錄工具-組織的交互數據。器械末端的位置、速度、加速度信息可以從機器人運動學獲得，力信息可以力/力矩感測器獲得或者利用李估計技術估計出來。
3. 對數據進行後處理，並估計模型的未知參數，然後與通過力估計的偏差來對比模型的精度（自我驗證）。
4. 基於力估計偏差來對比模型精度，使用從自我驗證（第3點）和記錄數據得到的方法（交叉驗證）。
5. 選擇一個能夠將硬腫瘤從健康組織中識別出來的方法。、
要對所選的模型進行在線參數辨識，目前有幾種可用的估計技術，例如最小二乘法（RLS）和自適應辨識。對於實時病變診斷，預估演算法需要足夠快，快到單一的觸診點就能讓未知參數收斂。之前的研究表明RLS是一個快速、精確而且易於實現實時估計生物組織模型的方法。文獻中提到的人造組織數學模型是一個非線性的Hunt-Crossley模型。Diolaiti等人使用兩個並行運算的最小二乘估計器來估計Hunt-Crossley模型。
在估計組織特性的同時，一個在觸診附近覆蓋表面圖形的方法被用來指示剛度。單點觸診表面覆蓋的圖形是半透明的，來保證醫生可以看到組織表面和手術器械末端。透明度為50
%時內窺鏡獲得的組織圖像還是非常清晰可見的，同時也能看到半透明的顏色圖形（即剛度值）。一個色調飽和亮度（HSL）顏色空間被用來製作這個顏色地圖（即組織剛度圖，用於指示可能的腫瘤位置），顏色從綠色到黃色再到紅色顯示硬度遞增。剛度顏色的範圍可以根據初步觸診的結果確定，也可以根據後續新增的數據更新。預估的剛度可信度由飽和度決定。高斯分布的加權概率分布函數被用來計算可信度。當多個概率密度函數互相重疊時，就把每個可信度疊加起來（圖18.14b）。這個簡單的插值技術創建了一個漂亮的混合顏色地圖。
18.5.2 圖形化顯示組織特性的結果和討論
我們在約翰霍普金斯大學使用達芬奇機器人研究平台進行了測試。實驗使用了一個植入了人工鈣化動脈（橡膠材質）的人造心臟（硅膠材質），與前面章節講到的觸診用的實驗物品相似。這個實驗的目的是區分開人造鈣化動脈和人造組織。實驗圖片見圖18.15.在觸診工具和人造組織接觸的同時，預估演算法開始估計組織數學模型的未知參數。如果發現其中一個組織模型的參數足夠準確，估計的參數就會在一秒鐘內收斂。當估計的參數達到了穩定狀態，或者參數更新變得很緩慢，這時半透明的圓圈就會覆蓋在組織上（圖18.15d）.
在圖18.15a中有一個綠色的點，這說明觸診的點非常柔軟。圖18.15b中的幾個觸診點依靠插值演算法順滑的融合在一起。圖18.15c顯示了隱藏鈣化組織的大概位置。紅色部分顯示了人造心臟組織的中心，同時被一些綠的的正常組織包圍。當整個表面都被觸診操作過後，鈣化動脈的位置就清晰可見。
為了讓這種圖形覆蓋更加自然，可以通過將手術工具和背景區分開的辦法提升工具可視化效果。更進一步的，也可以將簡單的2D剛度地圖擴展為3D地圖，可以展示真實生物組織更複雜的表面。這樣的一個表面模型可以使用預先獲得的圖像處理得到，也可以用立體內窺鏡圖像獲得。
總結
總的來說，在研究平台中使用不同的力反饋得到的結果說明機器人輔助手術中的反饋可以提升醫生的表現（在一些情況中，取決於醫生的經驗）和病人的收益。然而，將力反饋安全有效的應用在臨床中還有大量的工作要做。為了將力反饋整合到RMIS中，很反饋相關的設計在設計中就需要考慮。另外，目前還不能清晰的確定醫生的經驗和訓練與觸覺反饋之間的關係。
未來一個重要的直接力反饋研究方向是將可選的最少力反饋自由度融合在力反饋系統中。同時需要更多的研究來了解用戶是如何填補在使用局部力反饋時由於缺失的觸覺而丟失的信息。感測/驅動不對稱方向也需要更進一步的研究。一些研究可以幫助理解人如何使用缺失力信息時進行操作，可以指導設計手術機器人系統的工程師考慮哪些自由度的力反饋是必須的。
力信息的間接反饋（或者感官替代）是一個有前途的研究方向，更進一步的研究能夠清楚的確定反饋在操作（縫合、觸診等）中的適當性。其他未來的工作可能包括使用更直觀的圖形化方法來顯示力信息。到目前為止，只實現了有限數量的圖形顯示，並且可能有針對特定的外科手術的顯示方法。
如在第5節展示的那樣，獲得的組織模型可以在探索性操作中產生引人注目的圖形化顯示。未來的工作可能包括遠程操作控制器的模型，以提高直接力反饋的透明度。而大多數遠程操作控制器都不考慮實際環境，預估的組織模型可以在直接力反饋系統中增強系統的敏感度。
後記：
這應該是我自己寫書之前翻譯的最後一篇了，主要是後面沒時間翻譯了，我總是高估自己的能力，覺得看得快肯定翻譯的快，覺得翻譯會多花點時間但沒想到多用這麼多時間。這篇到最後結尾是在出差時慕尼黑機場候機的時候咬牙翻譯完的。
通過這篇文章比較深入的理解了國外醫療機器人書籍的水平，確實比國內的好一些，更全面更系統，實驗和理論結合的更緊密，而不僅僅是羅列了一堆知識點和觀點。
最後，下一個階段要自己寫書了，給自己加個油。
推薦閱讀：
※堪比大腦！小小電路板竟讓機器人處理視覺信息效率翻數倍？
※無孔不入的毫米級機器人問世，黑科技受摺紙令人敬畏
※獵豹321要發布的機器人，就這樣被曝光了
※OpenAI 重磅文章出爐，8 種虛擬機器人模擬環境成為亮點
※揭秘日本現代機器人教父石黑浩：20年專做美女機器人