機(jī)器學(xué)習(xí)已經(jīng)習(xí)慣了處理序列：一句話中的詞、視頻中的幀、推薦系統(tǒng)中的點(diǎn)擊、金融市場中的訂單。但在很多真實場景里，數(shù)據(jù)并不是按固定步長排好隊出現(xiàn)的。

神經(jīng)元在某個瞬間放電，社交平臺上一條帖子突然被轉(zhuǎn)發(fā)，地震之后余震接連發(fā)生，交易系統(tǒng)里買賣訂單以毫秒級速度涌入。這些事件既有發(fā)生時間，也可能帶有類型、文本、空間位置、圖像或其他上下文信息；它們彼此影響，卻又不服從傳統(tǒng)時間序列的整齊采樣假設(shè)。

這類數(shù)據(jù)，正是時間點(diǎn)過程（Temporal Point Processes, TPPs）試圖建模的對象。

近日，來自中國人民大學(xué)、廣東工業(yè)大學(xué)、東南大學(xué)等機(jī)構(gòu)的研究者在 TMLR 發(fā)表綜述論文 《Advances in Temporal Point Processes: Bayesian, Neural, and LLM Approaches》，系統(tǒng)回顧了時間點(diǎn)過程近年來的進(jìn)展。

與以往側(cè)重統(tǒng)計模型或神經(jīng) TPP 的綜述不同，這篇論文把 Bayesian TPP、Neural TPP、LLM-based TPP、訓(xùn)練方法、應(yīng)用場景和開放挑戰(zhàn)放在同一個框架下討論，覆蓋文獻(xiàn)一直更新到 2025 年。

• 論文標(biāo)題：Advances in Temporal Point Processes: Bayesian, Neural, and LLM Approaches
• 作者：Feng Zhou、Quyu Kong、Jie Qiao、Cheng Wan、Yixuan Zhang、Ruichu Cai
• 論文鏈接：https://openreview.net/forum?id=SXgGKkShhT

為什么還需要重新梳理 TPP？

TPP 并不是一個新概念。Poisson 過程、Hawkes 過程、自校正過程等經(jīng)典模型在統(tǒng)計學(xué)中已經(jīng)有很長歷史，并被用于電話呼叫到達(dá)、地震余震、金融交易、神經(jīng) spike train、社交網(wǎng)絡(luò)傳播等任務(wù)。

但過去幾年，TPP 的研究對象和方法都發(fā)生了變化。

首先，傳統(tǒng)參數(shù)模型可解釋，但表達(dá)能力有限。Hawkes 過程可以直觀描述「過去事件提高未來事件發(fā)生概率」的自激效應(yīng)，但真實世界中的事件影響往往非線性、非平穩(wěn)、多類型且伴隨復(fù)雜上下文。

其次，深度學(xué)習(xí)讓 TPP 變得更靈活。RNN、LSTM、Transformer、ODE/SDE、diffusion 等模型被引入事件序列建模后，研究者可以用更強(qiáng)的表示學(xué)習(xí)能力擬合復(fù)雜動態(tài)。

第三，大語言模型開始改變 TPP 的邊界。過去的 TPP 多半只關(guān)心時間和事件類型，而現(xiàn)實事件往往還包含文本、圖像、外部知識與語義關(guān)系。LLM 的出現(xiàn)讓「預(yù)測下一個事件」擴(kuò)展為「理解一段帶時間戳的多模態(tài)事件歷史」。

因此，這篇綜述把近年來的 TPP 進(jìn)展概括為三條主線：

1. Bayesian TPP：強(qiáng)調(diào)不確定性量化和原則化推斷；
2. Neural TPP：強(qiáng)調(diào)表達(dá)能力、可擴(kuò)展性和端到端預(yù)測；
3. LLM-based TPP：強(qiáng)調(diào)語義理解、多模態(tài)建模和更開放的時間推理任務(wù)。

TPP 的核心：用強(qiáng)度函數(shù)描述「下一件事何時發(fā)生」

如果把一個事件序列寫成t1, t2, ..., tN，TPP 建模的就是這些時間點(diǎn)在連續(xù)時間窗口內(nèi)如何產(chǎn)生。更一般地，每個事件還可以帶有 mark，也就是事件類型，例如 ((t1, k1), ..., (tN, kN))。

論文首先回顧了 TPP 的兩個基本表述：條件密度函數(shù)和條件強(qiáng)度函數(shù)。后者是 TPP 中最核心的概念。直觀來說，條件強(qiáng)度函數(shù)回答這樣一個問題：

在已經(jīng)觀察到過去所有事件的前提下，未來某個很短時間窗口里發(fā)生某類事件的瞬時可能性有多大？

Poisson 過程假設(shè)事件之間彼此獨(dú)立，可以用固定或隨時間變化的強(qiáng)度描述。Hawkes 過程則進(jìn)一步引入歷史依賴：過去的事件會通過觸發(fā)函數(shù)影響未來事件的發(fā)生概率。多變量 Hawkes 過程還能描述不同事件類型之間的相互激發(fā)關(guān)系，例如買單是否會影響賣單，某個用戶的發(fā)帖是否會引發(fā)其他用戶轉(zhuǎn)發(fā)。

也正因為這種「歷史影響未來」的機(jī)制，TPP 不只適合做預(yù)測，也天然適合做因果發(fā)現(xiàn)，尤其是 Granger causality 意義下的事件類型依賴關(guān)系識別。

第一條路線：Bayesian TPP，讓模型知道自己有多不確定

經(jīng)典參數(shù)化 TPP 的問題在于，研究者需要提前假設(shè)強(qiáng)度函數(shù)的形式。但現(xiàn)實數(shù)據(jù)常常太復(fù)雜，很難用固定函數(shù)描述。貝葉斯非參數(shù) TPP 的核心思想是：不要把強(qiáng)度函數(shù)限制在某個有限維參數(shù)形式里，而是直接把強(qiáng)度函數(shù)本身當(dāng)作無限維對象，并為其設(shè)置先驗。

論文重點(diǎn)討論了兩類 Bayesian nonparametric TPP：

• Bayesian nonparametric Poisson process
• Bayesian nonparametric Hawkes process

在 Poisson 場景中，常見做法是用 Gaussian Process 作為函數(shù)先驗，再通過 link function 保證強(qiáng)度非負(fù)。這樣一來，模型不僅能擬合復(fù)雜的時間變化強(qiáng)度，還能給出后驗不確定性。但代價也很明顯：推斷非常困難。

論文指出，相關(guān)后驗往往存在「雙重不可解」的問題，一方面似然里包含對時間的積分，另一方面還需要對函數(shù)空間積分。因此，研究者發(fā)展了 MCMC、Laplace approximation、variational inference、Pólya-Gamma 數(shù)據(jù)增強(qiáng)等方法來近似推斷。

在 Hawkes 過程中，難點(diǎn)進(jìn)一步增加。因為強(qiáng)度函數(shù)通常由背景強(qiáng)度和觸發(fā)函數(shù)兩部分組成，二者在似然中耦合。一個常見技巧是引入 branching latent variable，用隱藏變量表示某個事件是由背景過程產(chǎn)生，還是由之前某個事件觸發(fā)。引入這個變量后，Hawkes 似然可以拆解成與背景強(qiáng)度和觸發(fā)函數(shù)相關(guān)的兩個部分，從而更容易套用非參數(shù) Poisson 過程中的推斷技術(shù)。

這條路線的優(yōu)點(diǎn)很清楚：可解釋、能量化不確定性、與統(tǒng)計理論聯(lián)系緊密。缺點(diǎn)也同樣明確：推斷復(fù)雜，擴(kuò)展到大規(guī)模數(shù)據(jù)時成本較高。

第二條路線：Neural TPP，用深度模型提升表達(dá)能力

深度學(xué)習(xí)給 TPP 帶來的直接變化，是用神經(jīng)網(wǎng)絡(luò)替代手工設(shè)計的強(qiáng)度函數(shù)或條件分布。論文把 Neural TPP 的主流架構(gòu)分為幾類。

第一類是 recurrent neural TPP。早期代表工作使用 RNN 或 LSTM 逐個讀取事件，把歷史壓縮成 hidden state，再用 hidden state 參數(shù)化下一個事件的時間和類型分布。

它的優(yōu)勢是在線預(yù)測效率高：歷史狀態(tài)更新完之后，預(yù)測下一步可以做到常數(shù)時間。但缺點(diǎn)是訓(xùn)練難以并行，長程依賴建模能力有限。論文也特別提到一個新的方向：將 RWKV、S4、Mamba 等高效序列模型與 TPP 結(jié)合。這些模型仍具備遞歸式結(jié)構(gòu)的高效性，同時支持并行訓(xùn)練和長程依賴建模，有望改善傳統(tǒng) RNN-TPP 的可擴(kuò)展性。

第二類是 autoregressive neural TPP，典型代表是 Transformer TPP。Transformer 可以通過 self-attention 捕捉長距離事件依賴，并支持并行訓(xùn)練。2020 年之后，大量工作圍繞 Transformer TPP 改進(jìn)時間編碼、mark 編碼、注意力機(jī)制和條件強(qiáng)度函數(shù)設(shè)計。

但 Transformer 的代價也熟悉：訓(xùn)練復(fù)雜度通常隨序列長度呈二次增長，長事件流上的時間和顯存成本都很高。對于高頻交易、日志監(jiān)控這類超長序列場景，如何降低復(fù)雜度仍是關(guān)鍵問題。

第三類是 differential equation-based neural TPP。RNN 和 Transformer 通常只在事件發(fā)生時更新隱藏狀態(tài)，對事件間隔中的連續(xù)時間動態(tài)表達(dá)不足。ODE/SDE-based TPP 則讓隱藏狀態(tài)在無事件發(fā)生時連續(xù)演化，在事件發(fā)生時發(fā)生跳變，從而更自然地刻畫連續(xù)時間中的條件強(qiáng)度變化。這類方法表達(dá)力強(qiáng)，但訓(xùn)練和采樣都更慢，因為它們往往需要數(shù)值求解微分方程，并反復(fù)計算強(qiáng)度函數(shù)積分。

此外，論文還討論了 diffusion-based TPP。與傳統(tǒng)自回歸模型逐個預(yù)測未來事件不同，擴(kuò)散模型嘗試通過迭代去噪生成整段事件序列。這為長時域預(yù)測和序列模擬提供了新視角，但也帶來計算開銷大、時間一致性難保證、似然評估不直接等問題。

不只模型結(jié)構(gòu)，參數(shù)化方式也很關(guān)鍵

TPP 中一個容易被忽略的問題是：神經(jīng)網(wǎng)絡(luò)到底應(yīng)該預(yù)測什么？最常見的做法是預(yù)測條件強(qiáng)度函數(shù)。但最大似然訓(xùn)練時，強(qiáng)度函數(shù)需要在時間窗口上積分，這在神經(jīng)模型中通常沒有閉式解，只能依賴數(shù)值積分，影響效率和精度。

因此，近年來不少工作轉(zhuǎn)向「intensity-free」建模，直接參數(shù)化條件密度函數(shù)、條件分布函數(shù)或累計強(qiáng)度函數(shù)。

例如，用 log-normal mixture 直接建模下一個事件的時間分布，或者用單調(diào)神經(jīng)網(wǎng)絡(luò) / 樣條函數(shù)建模累計強(qiáng)度。這樣可以避免數(shù)值積分，提高訓(xùn)練和采樣效率。論文將這些參數(shù)化方式放在一起比較，提醒讀者：Neural TPP 的進(jìn)展不只是換一個更大的 backbone，也包括對概率建模目標(biāo)本身的重新設(shè)計。

第三條路線：LLM-based TPP，事件流開始擁有語義

這篇綜述最有新意的部分，是把 LLM-based TPP 納入時間點(diǎn)過程研究版圖。論文認(rèn)為，LLM-based TPP 可以分為兩類。

第一類是 LLM-inspired TPP。它們并不直接用 LLM 取代 TPP 主干，而是借鑒 prompt learning、reasoning 等思想增強(qiáng)現(xiàn)有神經(jīng) TPP。例如 PromptTPP 使用可學(xué)習(xí) temporal prompts 適應(yīng)持續(xù)變化的數(shù)據(jù)分布；LAMP 則引入 LLM 的溯因推理能力，讓模型為候選未來事件生成可能原因，再從歷史事件中檢索證據(jù)。

這類方法的優(yōu)點(diǎn)是相對高效，能增強(qiáng)適應(yīng)性或可解釋性；局限是時間動態(tài)本身仍主要由傳統(tǒng)神經(jīng) TPP 建模。

第二類是 direct LLM-TPP integration，即直接把 LLM 作為事件序列的核心表示模型。TPP-LLM 將事件用文本描述表示，并通過時間嵌入注入時間信息，再用 LoRA 等參數(shù)高效微調(diào)方法適配事件預(yù)測任務(wù)。Language-TPP 則進(jìn)一步把連續(xù)時間間隔編碼為 byte-level tokens，讓時間和語言進(jìn)入同一 token 序列，由 LLM 統(tǒng)一建模。

這種方向的意義在于，TPP 不再只處理「時間 + 類型」的二維事件，而開始處理帶有自然語言描述、外部知識、多模態(tài)上下文的復(fù)雜事件流。

論文同時提醒，LLM-based TPP 正在擴(kuò)展傳統(tǒng) TPP 的邊界。經(jīng)典 TPP 的核心是連續(xù)時間事件發(fā)生過程的概率律，任務(wù)通常包括似然建模、預(yù)測、模擬和因果結(jié)構(gòu)發(fā)現(xiàn)。而 LLM 引入后，事件序列檢索、問答、多模態(tài)推理等任務(wù)也被納入討論。這些任務(wù)很有價值，但不一定都是嚴(yán)格意義上的點(diǎn)過程問題。未來社區(qū)需要更清楚地區(qū)分：哪些任務(wù)本質(zhì)上是 TPP，哪些任務(wù)只是把 TPP 作為更大時間推理系統(tǒng)中的一個組件。

數(shù)據(jù)集和評測：TPP 社區(qū)還缺一個真正統(tǒng)一的基準(zhǔn)

模型越來越復(fù)雜之后，評測問題變得更加重要。論文指出，TPP 研究長期面臨數(shù)據(jù)集碎片化、預(yù)處理不一致、訓(xùn)練 / 驗證 / 測試劃分不同、指標(biāo)定義不統(tǒng)一等問題。這使得不同論文之間的性能比較并不總是可靠。

近年來，EasyTPP 等統(tǒng)一 benchmark 工具開始緩解這一問題，提供標(biāo)準(zhǔn)化預(yù)處理、模型實現(xiàn)、訓(xùn)練流程和評估腳本。論文認(rèn)為，benchmark 標(biāo)準(zhǔn)化的重要性不亞于新模型本身，因為只有可比較、可復(fù)現(xiàn)的實驗結(jié)果才能真正積累為社區(qū)知識。

TPP 的評測任務(wù)也在擴(kuò)展：

• next-event prediction：預(yù)測下一個事件的時間和類型；
• long-horizon prediction：預(yù)測未來一段窗口內(nèi)的多個事件；
• semantic or multimodal tasks：面向 LLM-based TPP 的檢索、問答、多模態(tài)推理等任務(wù)；
• causal discovery：識別不同事件類型之間的 Granger 因果關(guān)系。

論文總結(jié)了一個相對謹(jǐn)慎的經(jīng)驗判斷：Transformer-based neural TPP 在復(fù)雜數(shù)據(jù)上的 next-event prediction 往往優(yōu)于經(jīng)典參數(shù)模型；直接建模條件密度或累計強(qiáng)度的模型通常訓(xùn)練更高效；長時域預(yù)測仍然困難；LLM-based 和 multimodal TPP 在語義理解任務(wù)上有優(yōu)勢，但在純時間預(yù)測基準(zhǔn)上的優(yōu)勢還沒有那么明確。

應(yīng)用：從預(yù)測下一次點(diǎn)擊，到發(fā)現(xiàn)事件之間的因果鏈

TPP 的應(yīng)用可以粗略分成兩類：事件預(yù)測和因果發(fā)現(xiàn)。

事件預(yù)測關(guān)注未來會發(fā)生什么、什么時候發(fā)生、屬于哪一類。典型場景包括社交網(wǎng)絡(luò)中的轉(zhuǎn)發(fā)預(yù)測、疫情傳播預(yù)測、地震余震預(yù)測、金融市場訂單預(yù)測、推薦系統(tǒng)中的用戶行為預(yù)測等。

因果發(fā)現(xiàn)則更關(guān)心事件之間的影響結(jié)構(gòu)。例如在神經(jīng)科學(xué)中，多個神經(jīng)元的 spike train 可以被視為多變量點(diǎn)過程，研究者希望推斷神經(jīng)元之間是否存在功能連接；在高頻金融中，買單和賣單之間的相互影響可以用 Hawkes 過程刻畫；在 AIOps 中，系統(tǒng)故障事件的觸發(fā)關(guān)系有助于定位根因；在醫(yī)療和網(wǎng)絡(luò)安全中，事件依賴結(jié)構(gòu)也能幫助理解復(fù)雜系統(tǒng)中的傳播機(jī)制。

這也是 TPP 區(qū)別于一般序列預(yù)測模型的重要價值：它不僅試圖預(yù)測未來，還試圖回答「過去的哪些事件以何種方式影響了未來」。

未來挑戰(zhàn)：可解釋性、可擴(kuò)展性、采樣效率和多模態(tài)

論文最后總結(jié)了 TPP 領(lǐng)域仍待解決的幾個核心挑戰(zhàn)。

第一是數(shù)據(jù)和模型標(biāo)準(zhǔn)化。事件序列通常具有不規(guī)則時間間隔、變長序列、多樣 mark 空間和不同時間粒度。不同數(shù)據(jù)處理方式會顯著影響模型表現(xiàn)，也會讓論文間比較變得困難。

第二是模型可解釋性。傳統(tǒng) Hawkes 模型中的背景強(qiáng)度和觸發(fā)函數(shù)有明確含義，而神經(jīng) TPP 往往把動態(tài)編碼進(jìn)高維隱狀態(tài)中，難以解釋過去事件如何影響未來強(qiáng)度。在因果發(fā)現(xiàn)、科學(xué)建模和決策支持中，這一問題尤其關(guān)鍵。

第三是可擴(kuò)展性。真實事件流可能包含數(shù)萬甚至更多時間戳，而模型還要處理連續(xù)時間積分、長程依賴和多類型事件交互。簡單把 Transformer 換成 Mamba 或其他高效模塊還不夠，未來需要理解這些架構(gòu)如何表示 hazard function、歷史依賴和長期時間因果。

第四是采樣效率。經(jīng)典 thinning 或 inverse transform sampling 需要反復(fù)評估強(qiáng)度函數(shù)，對復(fù)雜神經(jīng)模型來說代價很高。擴(kuò)散模型、flow-based 方法、speculative decoding 等方向正在嘗試并行或塊狀生成事件序列，但仍需平衡時間一致性、條件結(jié)構(gòu)和計算成本。

第五是多模態(tài)建模。真實事件往往伴隨文本、圖像、視頻幀、傳感器讀數(shù)等上下文信息。LLM 和多模態(tài)大模型為這類問題提供了新工具，但也帶來時間對齊、不確定性校準(zhǔn)、可控生成等新問題。

結(jié)語：TPP 正在從「預(yù)測事件時間」走向「理解事件世界」

這篇 TMLR 綜述傳遞出的一個重要信號是：TPP 正處在一個重新匯合的階段。統(tǒng)計學(xué)傳統(tǒng)提供了強(qiáng)度函數(shù)、似然、貝葉斯推斷和因果解釋；深度學(xué)習(xí)提供了強(qiáng)大的表示能力和端到端預(yù)測能力；大語言模型則把文本、知識、多模態(tài)和推理能力帶入事件序列建模。

未來的 TPP 可能不再只是一個預(yù)測「下一個事件何時發(fā)生」的模型，而是一個能夠理解連續(xù)時間中復(fù)雜事件流的通用框架。它既要知道時間，也要理解語義；既要能預(yù)測，也要能解釋；既要足夠靈活，也要保留統(tǒng)計建模中的可校準(zhǔn)性和可靠性。

對機(jī)器學(xué)習(xí)研究者來說，這意味著TPP 不是一個偏門的統(tǒng)計工具，而是連接連續(xù)時間建模、序列學(xué)習(xí)、因果發(fā)現(xiàn)和大模型推理的重要交叉點(diǎn)。而這篇綜述的價值，正在于它把這些正在分散發(fā)展的線索重新放回了一張圖里。