探析Hadoop 技術在鐵路信息化建設中的作用論文
前言
我國鐵路信息化建設經過幾十年的發(fā)展，已經形成多個較為未穩(wěn)定的系統(tǒng)，如辦公自動化系統(tǒng)(OA)、運輸生產計劃系統(tǒng)(FOMS)、鐵路運輸管理信息系統(tǒng)(TIMS)、鐵路列車調度指揮系統(tǒng)(TDCS)、鐵路車輛管理系統(tǒng)(CMIS)、鐵路客票發(fā)售和預定系統(tǒng)(PMIS)、機務、工務、電務等管理信息系統(tǒng)以及中國鐵路總公司站和12306鐵路客戶服務中心等，提高了鐵路管理和決策的智能化程度，但在鐵路信息化建設之初，由于缺乏統(tǒng)籌規(guī)劃，各信息系統(tǒng)的建設通常以業(yè)務部門為界限，各個系統(tǒng)之間的業(yè)務協(xié)同及數(shù)據交互處于割裂狀態(tài)，隨著業(yè)務領域的不斷拓展，由于各時期所采用的開發(fā)技術互不相同，硬件及平臺的異構性等原因暴露出鐵路在信息化建設方面存在的一些問題：
(1)由于各個業(yè)務信息系統(tǒng)是獨立建設的，每個都自成體系，導致各個系統(tǒng)間包括系統(tǒng)內的信息資源不能實現(xiàn)有效整合。系統(tǒng)軟件專用，數(shù)據庫獨立，信息難以共享，綜合利用難度巨大。
(2)由于缺乏前期規(guī)劃，各業(yè)務信息系統(tǒng)的協(xié)議、編碼和接口規(guī)范不統(tǒng)一，難以實現(xiàn)信息共享和交換，對突發(fā)事件難以快速響應。
(3)各業(yè)務系統(tǒng)的操作系統(tǒng)存在非常大的異構性，操作系統(tǒng)有UNIX、Windows 等，也有大型機操作系統(tǒng)。
(4)數(shù)據庫管理系統(tǒng)也存在多種不同，如SQLServer、DB2、Oracle等，各部門之間數(shù)據資源共享很難實現(xiàn)。
1 Hadoop 分布式系統(tǒng)
隨著數(shù)據容量、數(shù)據維度的爆炸式增長，傳統(tǒng)模式的數(shù)據處理方式已經難以滿足數(shù)據分析、業(yè)務處理等在處理效率、響應速度等方面的要求，在這種情況下，大數(shù)據與云計算的概念便應運而生。在鐵路領域，全國鐵路數(shù)據同樣滿足了容量巨大、維度復雜的特點，同時鐵路行業(yè)對業(yè)務響應的要求也滿足了價值豐富、響應快速的特性，這些均說明大數(shù)據與云計算的方式在該領域同樣適用。但是當前我國鐵路還停留在傳統(tǒng)的數(shù)據存儲形式，系統(tǒng)設計與實現(xiàn)也停留在傳統(tǒng)模式中，因此將大數(shù)據、云計算等先進的技術應用于鐵路運輸領域是十分必要的。
Hadoop 是一個能夠對大量數(shù)據進行分布式處理的軟件框架，能夠使用戶在不了解分布式底層的情況下，開發(fā)分布式程序，充分利用集群的威力高速運算與存儲數(shù)據。與常規(guī)系統(tǒng)相比，Hadoop 采用并行執(zhí)行機制，大大提高了運算效率。并且Hadoop 在檢驗應用層，處理異常錯誤等方面充分考慮了“硬件故障是常態(tài)而非異態(tài)”的理念，利用集群實現(xiàn)了高容錯率的特性。
通過Hadoop 集群視圖不難發(fā)現(xiàn)，在Hadoop 架構中，存在大量的數(shù)據節(jié)點，每個數(shù)據節(jié)點都被管理節(jié)點按照某種規(guī)則分配一定的任務。在這種情況下，所有節(jié)點(或者所有活躍節(jié)點)進行并行運算，用以解決復雜的大數(shù)據問題。我國鐵路有6000 多個鐵路車站，且在鐵路運輸中的作用各不相同，這就造成了鐵路數(shù)據存儲、業(yè)務處理方面存在操作困難、反應遲緩等問題。以車站為單位作為數(shù)據節(jié)點，或按照某種方式將車站進行分類形成節(jié)點區(qū)域恰恰能夠滿足Hadoop 架構中的數(shù)據節(jié)點(DateNode)要求。同時，我國鐵路行業(yè)現(xiàn)行管理機制較為集中，在中國鐵路總公司層面建立相應的名字節(jié)點(NameNode)能夠保證核心部門對全國鐵路運輸狀況進行統(tǒng)籌規(guī)劃與管理。
從軟件資源、硬件資源的角度來看，Hadoop 大數(shù)據框架有兩個主要特征：
(1)異構性
a.Hadoop 所依賴的網絡環(huán)境可以是異構的。目前對Hadoop 集群的應用主要集中在局域網內部。各種類型的局域網，運行不同的協(xié)議，這些不同協(xié)議的子網互聯(lián)成廣域網。
b. 組成Hadoop 集群的服務器硬件資源是異構的。分布式系統(tǒng)由不同硬件類型的服務器組成，導致存儲和運算資源分配的不同。
c.服務節(jié)點所處的.軟件環(huán)境是異構的。服務器的操作系統(tǒng)可以運行Windows、Unix、Linux 等不同OS。同時，服務所使用的編程語言也可以不同，服務間通過協(xié)議接口進行通
(2)服務節(jié)點共享資源
資源共享是形成分布式系統(tǒng)的主要動力。在Hadoop 大數(shù)據集群中，數(shù)據資源分散存儲于不同物理服務器的磁盤上。在物理視圖上，數(shù)據是分散存儲的，而在邏輯視圖上，數(shù)據則是全局的統(tǒng)一的。這就是說，數(shù)據“分布式存儲”這一特性對用戶來說是透明的。
2 Hadoop 分布式系統(tǒng)的安全性
鐵路應用Hadoop 技術的存在著一定的安全風險。首先，系統(tǒng)本身存在如網絡攻擊、系統(tǒng)漏洞等安全風險;其次，客戶的隱私數(shù)據面臨泄露風險。鐵路企業(yè)既能夠獲取旅客和貨主的身份證號碼、聯(lián)系方式等基礎信息，又可以通過數(shù)據挖掘出旅客和貨主深層次的運輸習慣等信息。
針對上述問題，首先應建立嚴格的數(shù)據存儲機制，并對數(shù)據存儲選擇加密性能比較高的加密算法進行加密，同時采用數(shù)據安全隔離技術，如物理隔離、虛擬化和Multi-tenancy 等方式;其次建立嚴格的數(shù)據訪問控制機制，使用技術手段依據不同權限做好敏感數(shù)據如客戶的名字、身份證號、聯(lián)系方式等的消隱工作;最后做好數(shù)據備份與恢復工作，實現(xiàn)快速的虛擬機恢復，支持文件級完整與增量備份。
3 結束語
綜上所述，Hadoop 技術實現(xiàn)了全路信息的資源共享，降低了投資成本和維護成本;各部門可根據自身發(fā)展需要，實現(xiàn)資源動態(tài)配置，有效降低投資成本，簡化內部管理;各業(yè)務部門實現(xiàn)信息高度共享，既提高了生產效率，又增加了部門參與生產與決策的積極性。
【探析Hadoop 技術在鐵路信息化建設中的作用論文】相關文章：
地面數(shù)字電視技術的作用探析論文08-24
探析鐵路準寬軌道岔的組裝技術論文05-21
新農村建設中農機技術推廣的作用論文09-18
林業(yè)技術發(fā)展在林業(yè)建設中的重要作用論文05-09
林業(yè)建設中林業(yè)技術發(fā)展的重要作用論文05-09
齊國服飾對后世的作用探析論文10-17
信息化技術論文04-05