04.微刺激模式優(yōu)化

我們的目標是優(yōu)化多通道ITMS控制輸入，以盡可能接近地重現(xiàn)每種獨特觸摸類型的自然觸摸反應(yīng)。具體而言，我們對系統(tǒng)輸出與某個期望模板神經(jīng)反應(yīng)軌跡在有限時間內(nèi)的偏差進行懲罰。我們首先將此優(yōu)化問題表述為具有線性等式和不等式約束的二次成本函數(shù)。這種類型的問題稱為二次規(guī)劃，已得到充分研究，并且存在專門的算法用于高效多項式時間求解。解決此類控制問題的一種策略是不僅求解時間范圍內(nèi)的最優(yōu)控制輸入，還求解狀態(tài)變量。然而，狀態(tài)是輸入(1)的隱式函數(shù)，優(yōu)化程序必須通過線性約束強制這種動態(tài)關(guān)系。盡管這種公式包含更多變量和約束，但在利用問題結(jié)構(gòu)時，實際上在計算上是有益的。

由于我們對電幅度的表示，優(yōu)化問題還包含不等式約束。由于探索性微刺激序列僅由單一極性的脈沖組成，我們選擇將輸入約束為單一極性，以使所有優(yōu)化刺激保持在近似線性范圍內(nèi)。改變極性會切換每個相鄰電極上電流的流入或流出順序，并且對負極性的反應(yīng)與對正極性的反應(yīng)并非線性相關(guān)。因此，我們對所有輸入施加非負約束，以及最大輸入邊界，以使解保持在探索性序列期間探索的電流幅度范圍內(nèi)。與建模步驟一樣，脈沖序列由每個刺激通道的610 Hz脈沖串組成。

設(shè)yd(t)表示時間t的期望神經(jīng)軌跡。我們假設(shè)在時間t，可獲得時間t到t+T?1的期望神經(jīng)軌跡yd。時間范圍T決定了控制器在優(yōu)化控制輸入時考慮的未來時間量。在實際（因果）應(yīng)用中，該期望信號可以是預(yù)測響應(yīng)模型的輸出，該模型使用截至t的傳感器信息，輸出T?1個未來時間點的預(yù)測神經(jīng)反應(yīng)?；蛘?，yd也可以是預(yù)先計算/記錄的神經(jīng)軌跡。在本研究中，我們將yd視為完全已知，即設(shè)置為每種觸摸條件的刺激周圍試驗平均自然反應(yīng)。控制器的主要目標是最小化施加輸入序列下的系統(tǒng)輸出y(t)與期望信號yd(t)之間的距離。我們將階段τ的二次成本定義為優(yōu)化目標是在上述約束下，最小化T個時間步的成本，可表述為其中優(yōu)化針對u()(t,t+1,…,t+T?1)和x()(t+1,…,t+T)的值進行，Imax是最大電流限制，我們將其設(shè)置為探索性序列期間使用的最大電流值。模型的動態(tài)通過將當前輸入和狀態(tài)(x(t),u(t))與下一狀態(tài)x(t+1)相關(guān)聯(lián)的等式約束來強制實施。在這種情況下，系統(tǒng)演化是確定性的，優(yōu)化不依賴于方程(1)中∫x或∫y的密度。

我們包含一個懲罰大電流的次要目標。這通過在公式(4)的成本函數(shù)中添加項μ||u(t)||2來實現(xiàn)，該術(shù)語懲罰輸入的平方范數(shù)，其中μ是控制該懲罰相對重要性的加權(quán)參數(shù)。類似地，可以通過向階段成本添加λv(t)2來節(jié)省輸入的低通濾波版本的幅度，其中v(t)=v(t?1)+αu(t)（α是極點在(1?α)的基本單極低通濾波器）。這具有懲罰高幅度、緩慢變化的輸入模式的效果。我們注意到，如果沒有這種懲罰，一些效果較差的輸入會被驅(qū)動以顯著幅度持續(xù)刺激。盡管這些輸入在控制范圍內(nèi)名義上實現(xiàn)了更好的輸出跟蹤，但它們以顯著的超閾值幅度刺激，對測量的場電位沒有太大相關(guān)影響。我們懷疑這些是影響S1部分區(qū)域的通道，而我們的記錄陣列僅部分捕捉到這些區(qū)域。在我們的實驗中，相對加權(quán)因子μ和λ根據(jù)每只動物的電流注入和跟蹤誤差之間的權(quán)衡手動選擇。相比之下，低通濾波器參數(shù)α固定為，其中Fs是采樣頻率，τlp（濾波器時間常數(shù)）設(shè)置為100毫秒。

這種對輸入的濾波版本進行懲罰使用的方法非常相似。然而，在該研究中，優(yōu)化是針對原始電流波形進行的，對緩慢電流注入的懲罰主要目的是限制電荷積累，這是已知的會導致電極腐蝕或觸點附近組織損傷的因素。在我們的研究中，由于我們的優(yōu)化是針對定型脈沖序列的幅度包絡(luò)，因此每個雙相脈沖后電荷平衡會立即恢復。相反，濾波后的懲罰對緩慢、持續(xù)的脈沖序列設(shè)置了選擇性成本。

公式（5）中的最優(yōu)控制問題在控制輸入和狀態(tài)上是二次的。在我們的公式中，被優(yōu)化的變量是z=[x(t),u(t+1),u(t+2),…,u(t+T-1),x(t+T)]的串聯(lián)。這導致一組強制相鄰時間點輸入和狀態(tài)的系統(tǒng)動態(tài)的等式約束，以及一組強制控制輸入邊界的不等式約束。由于公式（5）是凸的（即其關(guān)于z的二階導數(shù)對所有z都是正定的），且其等式和不等式約束是線性的，因此該問題可以通過凸優(yōu)化方法[39]易于處理地解決。通過利用僅對相鄰時間點強制實施等式約束所帶來的結(jié)構(gòu)，運行時間為?(T(n3+m))——與不利用該結(jié)構(gòu)時的運行時間?((T(n+m))3)相比有了巨大改進。關(guān)于通過內(nèi)點法求解（5）所使用的特定算法的詳細信息。

我們模型中引入的輸入門控特征使系統(tǒng)成為非線性的。帶有輸入門控的狀態(tài)轉(zhuǎn)移為x(t+1)=A x(t)+B(gate(u(t)))，其中g(shù)ate(u(t))i=gate(ui(t))。為了解決這個問題，在每次迭代時，每個時間t的系統(tǒng)都圍繞輸入的當前值?(t)進行線性化，因此非線性輸入相關(guān)性可以用線性時變項代替。準確地說，狀態(tài)轉(zhuǎn)移方程中的門控輸入可以用其一階泰勒近似代替。因此，狀態(tài)轉(zhuǎn)移方程可以被視為時變但線性的函數(shù)x(t+1)=A(t)x(t)+B?(t)u(t)，其中B?(t)=diag(g(u?(t)))。作為一種阻尼措施，每次迭代后取新解和當前解的組合，即z?βz_new+(1-β)z。在我們的實驗中，我們發(fā)現(xiàn)最初將β設(shè)置為1.0，然后在每次迭代時將β按0.97縮放，直到β=0.3，這對于找到良好的解是合適的。

我們探索的另一種方法是迭代線性二次調(diào)節(jié)器（iLQR）。這也使用系統(tǒng)動態(tài)的連續(xù)時變線性化來應(yīng)對門控非線性。iLQR還使用了一種基于LQR的不同方法來更新輸入和狀態(tài)，該方法產(chǎn)生形式為u(t)=f(x(t))的線性狀態(tài)反饋策略，而不僅僅是輸入軌跡。我們發(fā)現(xiàn)在我們的實現(xiàn)中，iLQR的輸入解與內(nèi)點法的輸入解沒有顯著差異。

最初，針對每種觸摸條件（部位、幅度、持續(xù)時間）離線找到最優(yōu)控制輸入。在每種情況下，期望軌跡是試驗平均的自然觸摸響應(yīng)，其中t=0對應(yīng)觸摸開始，T=保持持續(xù)時間+50毫秒。微刺激模式從觸摸開始時開始，一直持續(xù)到T。一旦找到，優(yōu)化的經(jīng)顱磁刺激（ITMS）模式就通過腹后外側(cè)核（VPL）陣列施加。每種觸摸類型的模式都以與每個前爪位置的原始自然觸摸刺激相同的順序和時間施加。我們定義“虛擬觸摸”一詞來指代用對應(yīng)于特定類型自然觸摸的優(yōu)化微刺激模式進行刺激。