中文字幕无码av不卡一区,亚洲综合AV永久无码精品一区二区,黑人巨大白妞出浆,黄色高清无码免费看,久久久久免费精品国产,久久无码人妻丰满熟妇区毛片,欧美日韩国产综合草草,久久福利网站,亚洲一区二区三区中文字幕在线,av国内精品久久久久影院

清華大學(xué)電子工程系城市科學(xué)與計算研究中心最近提出了一種新的時空少樣本學(xué)習(xí)方法，旨在解決城市計算中廣泛存在的數(shù)據(jù)稀缺性問題。該方法利用了利用擴散模型來生成神經(jīng)網(wǎng)絡(luò)參數(shù)，將時空少樣本學(xué)習(xí)轉(zhuǎn)換為擴散模型的預(yù)訓(xùn)練問題，可根據(jù)prompt（提示）生成定制的神經(jīng)網(wǎng)絡(luò)，從而適應(yīng)不同數(shù)據(jù)分布和城市特征。

傳統(tǒng)的時空預(yù)測模型通常需要大量數(shù)據(jù)支持才能取得良好效果。

然而，由于城市發(fā)展水平不均衡和數(shù)據(jù)收集政策的差異，許多城市和地區(qū)的時空數(shù)據(jù)（如交通和人群流動數(shù)據(jù)）受到了限制。在這種情況下，模型在數(shù)據(jù)稀缺情況下的可遷移性變得尤為重要。

現(xiàn)有研究主要利用數(shù)據(jù)豐富的源城市數(shù)據(jù)訓(xùn)練模型，并將其應(yīng)用于數(shù)據(jù)稀缺的目標(biāo)城市。然而，現(xiàn)有方法往往依賴于復(fù)雜的匹配設(shè)計，如何實現(xiàn)對源城市和目標(biāo)城市之間更一般化的知識遷移仍然是一個挑戰(zhàn)。

最近，預(yù)訓(xùn)練模型在自然語言處理和計算機視覺領(lǐng)域取得了顯著進展，它們通過引入prompt（提示）技術(shù)來縮小微調(diào)和預(yù)訓(xùn)練之間的差距。這些先進的預(yù)訓(xùn)練模型不再需要繁瑣的微調(diào)，而是利用有效的prompt技術(shù)實現(xiàn)快速適應(yīng)。

論文鏈接：https://openreview.net/forum?id=QyFm3D3Tzi

開源代碼及數(shù)據(jù)：https://github.com/tsinghua-fib-lab/GPD

清華大學(xué)電子工程系城市科學(xué)與計算研究中心最新成果《Spatio-Temporal Few-Shot Learning via Diffusive Neural Network Generation》被 ICLR2024 接收，該研究提出GPD（Generative Pre-Trained Diffusion）模型，實現(xiàn)數(shù)據(jù)稀疏場景下的時空學(xué)習(xí)。

通過直接生成神經(jīng)網(wǎng)絡(luò)的參數(shù)，該方法將時空少樣本學(xué)習(xí)轉(zhuǎn)變?yōu)閿U散模型的生成式預(yù)訓(xùn)練問題。與傳統(tǒng)方法不同，GPD不再依賴于提取可遷移特征或設(shè)計復(fù)雜的模式匹配策略，且不需要為少樣本場景學(xué)習(xí)一個良好的模型初始化。

相反，它通過預(yù)訓(xùn)練一個擴散模型，從源城市的數(shù)據(jù)中學(xué)習(xí)到有關(guān)優(yōu)化神經(jīng)網(wǎng)絡(luò)參數(shù)的知識，然后根據(jù)prompt（提示）生成適應(yīng)目標(biāo)城市的神經(jīng)網(wǎng)絡(luò)。

這一方法的創(chuàng)新之處在于能夠根據(jù)「prompt（提示）」生成定制的神經(jīng)網(wǎng)絡(luò)，有效地適應(yīng)不同城市之間的數(shù)據(jù)分布和特征差異，實現(xiàn)巧妙的時空知識遷移。

該研究為解決城市計算中數(shù)據(jù)稀缺性問題提供了新的思路。該論文的數(shù)據(jù)和代碼均已開源。

一、從數(shù)據(jù)分布到神經(jīng)網(wǎng)絡(luò)參數(shù)分布

圖 1：數(shù)據(jù)模式層面知識遷移 vs. 神經(jīng)網(wǎng)絡(luò)層面知識遷移

如圖1（a）所示，傳統(tǒng)的知識遷移方法通常是在源城市的數(shù)據(jù)上訓(xùn)練模型，然后將其應(yīng)用于目標(biāo)城市。然而，不同城市之間的數(shù)據(jù)分布可能存在顯著差異，這導(dǎo)致直接遷移源城市模型可能無法很好地適應(yīng)目標(biāo)城市的數(shù)據(jù)分布。

因此，我們需要擺脫對雜亂數(shù)據(jù)分布的依賴，尋求一種更本質(zhì)、更可遷移的知識共享方式。與數(shù)據(jù)分布相比，神經(jīng)網(wǎng)絡(luò)參數(shù)的分布更具有“高階”的特性。

圖 1 展示了從數(shù)據(jù)模式層面到神經(jīng)網(wǎng)絡(luò)層面知識遷移的轉(zhuǎn)變過程。通過在源城市的數(shù)據(jù)上訓(xùn)練神經(jīng)網(wǎng)絡(luò)，并將其轉(zhuǎn)化為生成適應(yīng)目標(biāo)城市的神經(jīng)網(wǎng)絡(luò)參數(shù)的過程，可以更好地適應(yīng)目標(biāo)城市的數(shù)據(jù)分布和特征。

二、預(yù)訓(xùn)練+提示微調(diào)：實現(xiàn)時空少樣本學(xué)習(xí)

圖2 GPD模型概覽

如圖2所示，該研究提出的GPD是一種條件生成框架，旨在直接從源城市的模型參數(shù)中學(xué)習(xí)，并為目標(biāo)城市生成新的模型參數(shù)，該方法包括三個關(guān)鍵階段：

1. 神經(jīng)網(wǎng)絡(luò)準(zhǔn)備階段：首先，針對每個源城市區(qū)域，該研究訓(xùn)練單獨的時空預(yù)測模型，并保存其優(yōu)化后的網(wǎng)絡(luò)參數(shù)。每個區(qū)域的模型參數(shù)都經(jīng)過獨立優(yōu)化，沒有參數(shù)共享，以確保模型能夠最大程度地適應(yīng)各自區(qū)域的特征。

2. 擴散模型預(yù)訓(xùn)練：該框架使用收集到的預(yù)訓(xùn)練模型參數(shù)作為訓(xùn)練數(shù)據(jù)，訓(xùn)練擴散模型來學(xué)習(xí)生成模型參數(shù)的過程。擴散模型通過逐步去噪來生成參數(shù)，這個過程類似于從隨機初始化開始的參數(shù)優(yōu)化過程，因此能夠更好地適應(yīng)目標(biāo)城市的數(shù)據(jù)分布。

3. 神經(jīng)網(wǎng)絡(luò)參數(shù)生成：在預(yù)訓(xùn)練后，可以通過使用目標(biāo)城市的區(qū)域提示來生成參數(shù)。這種方法利用提示促進了知識轉(zhuǎn)移和精確參數(shù)匹配，充分利用了城市間區(qū)域之間的相似性。

值得注意的是，在預(yù)訓(xùn)練-提示微調(diào)的框架中，提示的選擇具有很高的靈活性，只要能夠捕捉特定區(qū)域的特征即可。例如可以利用各種靜態(tài)特征，如人口、區(qū)域面積、功能和興趣點（POI）的分布等來實現(xiàn)這一目的。

這項工作從空間和時間兩個方面利用區(qū)域提示：空間提示來自于城市知識圖譜[1,2]中節(jié)點表征，它僅利用區(qū)域鄰接性和功能相似性等關(guān)系，這些關(guān)系在所有城市中都很容易獲??；時間提示來自于自監(jiān)督學(xué)習(xí)模型的編碼器。更多關(guān)于提示設(shè)計的細節(jié)請參見原文。

此外，該研究還探索了不同的提示引入方法，實驗驗證了基于先驗知識的提示引入具有最優(yōu)性能：用空間提示引導(dǎo)建?？臻g關(guān)聯(lián)的神經(jīng)網(wǎng)絡(luò)參數(shù)生成，用時間提示引導(dǎo)時序神經(jīng)網(wǎng)絡(luò)參數(shù)生成。

三、實驗結(jié)果

團隊在論文中詳細描述了實驗設(shè)置，以幫助其他研究者復(fù)現(xiàn)其結(jié)果。他們還提供了原論文和開源數(shù)據(jù)代碼，我們在這里關(guān)注其實驗結(jié)果。

為了評估所提框架的有效性，該研究在兩類經(jīng)典的時空預(yù)測任務(wù)上進行了實驗：人群流動預(yù)測和交通速度預(yù)測，覆蓋了多個城市的數(shù)據(jù)集。

表1展示了在四個數(shù)據(jù)集上相對于最先進基線方法的比較結(jié)果。根據(jù)這些結(jié)果，可以得出以下觀察：

1）GPD相對于基線模型表現(xiàn)出顯著的性能優(yōu)勢，在不同數(shù)據(jù)場景下一致表現(xiàn)優(yōu)越，這表明GPD實現(xiàn)了有效的神經(jīng)網(wǎng)絡(luò)參數(shù)層面的知識遷移。

2）GPD在長期預(yù)測場景中表現(xiàn)出色，這一顯著趨勢可以歸因于該框架對于更本質(zhì)知識的挖掘，有助于將長期時空模式知識遷移到目標(biāo)城市。

圖3 不同時空預(yù)測模型的性能對比

此外，該研究還驗證了GPD框架對于不同時空預(yù)測模型適配的靈活性。除了經(jīng)典的時空圖方法STGCN外，該研究還引入了GWN和STID作為時空預(yù)測模型，并使用擴散模型生成其網(wǎng)絡(luò)參數(shù)。

實驗結(jié)果表明，框架的優(yōu)越性不會受到模型選擇的影響，因此可以適配各種先進的模型。

進一步地，該研究通過在兩個合成數(shù)據(jù)集上操縱模式相似性進行案例分析。

圖4展示了區(qū)域A和B具有高度相似的時間序列模式，而區(qū)域C展示了明顯不同的模式。同時，圖5顯示節(jié)點A和B具有對稱的空間位置。

因此，我們可以推斷區(qū)域A和B具有非常相似的時空模式，而與C有著明顯的差異。模型生成的神經(jīng)網(wǎng)絡(luò)參數(shù)分布結(jié)果顯示，A和B的參數(shù)分布相似，而與C的參數(shù)分布有顯著差異。這進一步驗證了GPD框架在有效生成具有多樣化時空模式的神經(jīng)網(wǎng)絡(luò)參數(shù)的能力。

圖 4 不同區(qū)域的時間序列及神經(jīng)網(wǎng)絡(luò)參數(shù)分布可視化

圖 5 仿真數(shù)據(jù)集區(qū)域空間連接關(guān)系

參考資料：

https://github.com/tsinghua-fib-lab/GPD

[1] Liu, Yu, et al. “Urbankg: An urban knowledge graph system.” ACM Transactions on Intelligent Systems and Technology 14.4 (2023): 1-25.

[2] Zhou, Zhilun, et al. “Hierarchical knowledge graph learning enabled socioeconomic indicator prediction in location-based social network.” Proceedings of the ACM Web Conference 2023. 2023.