摘要針對地震前兆資料到雲端傳輸的可靠、穩定和高效問題，研究了前兆資料通訊策略中雲端的資源動態分配方式以及基於UDP通訊協議的傳輸技術和高效資料壓縮技術，實現將資料以儘快速度可靠的傳輸到雲端的資料匯聚平臺，為前兆海量資料資訊的儲存、分析、清理、分割提供通訊傳輸保障。
關鍵詞雲平臺；前兆臺網；傳輸技術；通訊策略
引言
雲平臺的出現，至今已趨於成熟，資料採集與管理的扁平化是大勢所趨，地震前兆資料的產出、處理、分析、儲存以及管理也必然走上扁平化道路，即將改變目前逐級彙集的管理模式，實現資料的可靠高效傳輸，達到儀器到雲端直接對接的要求。地震前兆觀測資料可以利用這種新的基於網際網路的計算方式和資源應用平臺，通過網路將龐大複雜的資料交由多部伺服器組成的巨大系統平臺進行統一計算、分析和儲存。把分佈在全國各地的地震前兆觀測儀器接入目前相對成熟的雲端計算和雲端儲存平臺，實現分別採用“模擬”、“九五”和“十五”等標準的異構裝置統一接入到雲架構管理平臺，從而將當前多節點資料儲存[1]，多級彙集、分發的組網模式，改為中心儲存、單級採集管理模式。這一資料生產管理模式的實現必須建立在資料通訊系統的可靠、穩定和高效的基礎之上。臺網資料來源，即儀器資料傳輸到雲端的分散式網路環境，尤其是對跨區域傳輸中如何保證網路的穩定性、傳輸效率和資料的一致性提出了非常高的要求。本文針對如上問題設計了高效能雲傳輸技術方案，克服網路頻寬有限、狀態不夠穩定等問題，實現對大容量資料高效傳輸，並最大限度地提升網路頻寬利用率。
1資料傳輸方案設計
把前兆資料採集扁平化，集中於雲端管理，確保資料傳輸的一致性、可靠性和高效性是系統實現的關鍵所在，針對該問題本文對資料傳輸部分進行了設計。在該設計中將高效能雲傳輸分為資料傳輸引擎、資源索引服務、檔案處理元件和使用者應用終端4個組成部分。資料傳輸引擎基於UDP使用者資料報協議，利用資料壓縮技術降低資料傳輸佔用頻寬，同時改進UDP傳輸協議，提高資料傳輸效率和可靠性；檔案處理元件和資源索引服務基於檔案系統，提供資料的校驗、儲存及檢索功能，保持資料的一致性；使用者應用終端針對資料傳輸、索引服務、檔案處理等底層功能元件的執行狀態進行監控，完成系統資源的動態分配。從資料通訊傳輸系統設計可看出，確保資料傳輸的高效可靠，包含了雲端資源動態分配、基於UDP協議的可靠通訊和資料壓縮技術等關鍵技術部分。
2資源動態分配模組設計
從前兆臺網資料傳輸的工作流程來看，首先前兆資料需要通過終端接入網路，向雲端提出資料傳輸需求，然後雲端接受請求後分配基礎設施資源，如記憶體、CPU、網路頻寬等，最後完成資料通訊任務。在資料通訊過程中，通過資源動態分配，實現可用資源的最大化利用。。整個雲端實際上在一個虛擬系統的管理下，再細分為多個虛擬系統（虛擬機器），每個虛擬機器作為一個工作節點，虛擬機器的系統資源多少是可動態分配的。每個虛擬機器佔用的核心資源是動態分配的，系統通過監控管理功能模組對應用層和介面層的資源消耗進行動態監控，當各個前兆節點向中心雲端傳送資料請求時，虛擬機器所要求的物理資源隨之變化。虛擬機器根據請求物件的優先順序以及當前虛擬機器的資源分配情況，重新評估物理資源的可用性，並進行再次分配，達到動態分配的效果，實現分配滿足效能要求的最小資源量，從而提高資源利用率和滿足功能執行需要。中心雲端接到資料通訊請求後按照任務型別，預先定義任務執行完成所需要的記憶體（估算），如：採集分鐘值資料需要2MB記憶體，採集秒資料需要20MB記憶體等；對當前CPU使用情況進行分析，並對完成通訊任務所需資源進行評估，以及對當前頻寬容量進行檢測，根據資源情況，對當前通訊請求進行有效資源分配，在分配任務的時候首先將正在執行的任務所需的記憶體數減掉，然後再分配任務。每分配一個任務都要在可用記憶體數的基礎上將任務所需記憶體減掉，如果減掉後的結果大於設計預留記憶體數，則分配任務執行，否則，等待下一輪分配。
3可靠UDP協議資料通訊設計
一般情況下，實現可靠資料傳遞的方法主要採用傳輸控制TCP協議。但是，TCP協議有一個根本的速度瓶頸，這個瓶頸隨著傳輸延遲和網路丟包率的增加而變得愈發明顯。速度瓶頸的形成和TCP控制資料流量速率的機制密切相關。TCP協議的資料分片和基於分片的確認方式，要佔用一些通訊頻寬，降低了乙太網上的有效荷載；同時TCP是基於點對點連線方式的，不能充分利用乙太網絡對突發傳輸的支援[2-3]。使用者資料報協議（UDP）是ISO參考模型中的一種無連線的傳輸層協議，提供面向操作的簡單非可靠資訊傳送服務。傳統UDP協議通訊效率高、可靠性較差，不適合對可靠性要求較高的應用環境。隨著網路傳輸的快速發展，一種基於UDP協議的簡單可靠傳輸協議可以在保證高效性的基礎上提高通訊雙方傳輸的可靠性。擁塞控制機制將速率控制和流量控制兩者結合起來：前者通過調整包的傳送間隔來控制包的傳送速率；後者則通過限制可以傳送的包的最大序號來調整發送方一次可以傳送的資料。我國地震前兆觀測資料通過專有線路網路傳輸，而專有線路網路的頻寬和誤位元速率等網路引數都位於可控範圍，且佔用網路頻寬的應用也比較確定，因此，網路狀況較為簡單，當出現網路擁塞時，按照特定的演算法平緩地降低傳送速率，直至擁塞消除，同時能兼顧頻寬利用率。。採用UDP協議完成資料傳輸，但在傳輸端和傳送端需要進行傳輸控制資訊互動，確認資料的一致性，從而保障資料傳輸的可靠性。同時該設計相對TCP協議從多個方面提高了資料的傳輸效率：①UDP協議無需資料分片，將資料接收和確認分開，無需等待確認，資料接收方定期傳送方報告資料包的.接收情況，包括接收到的和未接收到的包的序號；②由於確認資料的傳送速率保持恆定，從而確保“確認”的開銷為常量，因此，頻寬越大，報文確認的開銷佔比越小；③UDP協議的無連線方式，省去了連線維護負擔，可充分利用乙太網絡支援突發傳輸。
4通訊傳輸壓縮技術設計
資料壓縮是一門通訊原理和電腦科學都會涉及到的學科。通過資料壓縮技術縮小傳輸資料的體量，降低頻寬的佔用，同時減小硬體輸入輸出的壓力。目前我國地震前兆觀測臺網全網3000多套觀測儀器，分佈在全國各地，平均每天每套儀器產出原始資料按1MB計算，每天全臺網產出原始資料量約3GB，而資料採集的時間比較集中，資料傳輸的瞬時流量是當前網路很難滿足的；同時對資料庫和硬碟讀寫能力也將造成較大的壓力。採用資料壓縮技術可同時降低網路和輸入輸出壓力。本文針對當前前兆資料的特點，對所需傳輸的資料資訊進行二級壓縮，即專業資料壓縮與工具壓縮相結合，。熵編碼是利用資料的統計資訊進行壓縮的無語義資料流無損編碼，能實現資料的無失真壓縮，因此，能保障資料壓縮的安全與效率[4]。由於地震前兆觀測地電、地磁、重力、形變和地下流體各學科資料具有非常強的日變規律，故採用基於統計的熵編碼是較為理想的選擇，因此，分別採用熵編碼夏農-範諾（Shannon-Fano）編碼、哈夫曼（Huffman）編碼、算術編碼（arithmeticcoding）、行程編碼（RLE）和LZW編碼來實現。然後再對壓縮後的資料採用通用壓縮工具ZIP進行二次壓縮。應用測試實驗結果顯示，前兆觀測資料平均實現12:1的壓縮比，扣除壓縮、解壓縮的效能遞減，總體提升傳輸效能3倍左右。
5結束語
本文針對前兆臺網資料上雲端的需求，結合當前網路技術基礎進行了前兆臺網資料傳輸方案設計，並對其實現的關鍵技術，如設計雲平臺資源的動態分配實現系統資源的負載均衡管理；針對TCP協議傳輸速率瓶頸設計可靠的UDP傳輸方案，在提高資料傳輸效率的同時保證了可靠性；在分析前兆資料規律的基礎上選擇合適的壓縮演算法組合，對資料實現了壓縮比高於12:1的無失真壓縮，將有助於降低頻寬要求。這3個關鍵技術問題的解決，為儀器資料與雲端的直接對接和地震前兆資料管理的扁平化提供了很好的技術支援，為減少硬體重複投資和精簡技術管理人員提供了條件。
參考文獻
［1］陳俊，劉高川，李罡風，等.基於Web的地震前兆應用資料庫管理系統設計[J].四川地震，2016(4)：41-45趙飛，葉震協議與TCP協議的對比分析與可靠性改進[J].計算機技術與發展，2006，16(9)：219-221
［2］王繼剛，顧國昌，徐立峰，等.可靠UDP資料傳輸協議的研究與設計[J].計算機工程與應用，2006(15)：113-116
［3］楊敬鋒，張南峰，李勇，等.基於改進Huffman編碼的農機作業資料傳輸壓縮方法[J].農業工程學報，2014，30(13)：153-159［4］