大數(shù)據(jù),但速度:速度API應(yīng)用程序和存儲(chǔ)之間的聯(lián)系 灰鴿子遠(yuǎn)程控制軟件

admin

大數(shù)據(jù),但速度:速度API應(yīng)用程序和存儲(chǔ)之間的聯(lián)系 灰鴿子遠(yuǎn)程控制軟件
Alluxio支持Amazon S3存儲(chǔ)API的功能,谷歌云存儲(chǔ),OpenStack迅速、EMC,NetApp

Alluxio,最初被稱為超光速粒子,給大數(shù)據(jù)應(yīng)用快速、統(tǒng)一訪問(wèn)存儲(chǔ)數(shù)據(jù)駐留的地方。
現(xiàn)在在1.0版本,Alluxio提供框架像火花一樣,MapReduce,Flink,或者很快提供多種類型的存儲(chǔ)系統(tǒng)。
谷歌云存儲(chǔ),云存儲(chǔ)提供商Amazon S3和支持OpenStack迅速,NetApp存儲(chǔ)廠商EMC和。
從外面,Alluxio可能看起來(lái)像一個(gè)內(nèi)存中的緩存系統(tǒng)例如Memcached或復(fù)述。
相反,它是一個(gè)層,介于應(yīng)用程序和存儲(chǔ)、分布式計(jì)算給前者后者通過(guò)一個(gè)統(tǒng)一的API。
應(yīng)用程序可以使用Alluxio的API,它提供了最高的速度,或者他們可以使用遺留API(比如一個(gè)HDFS實(shí)現(xiàn)),慢但更兼容。
本月早些時(shí)候發(fā)表的一篇博客文章中,英特爾的工程師描述Alluxio如何幫助解決一些常見(jiàn)的問(wèn)題與大數(shù)據(jù)框架,如應(yīng)用程序之間共享數(shù)據(jù)。
而不是寫數(shù)據(jù)HDFS中并重新閱讀它,用戶可以寫入數(shù)據(jù)Alluxio的內(nèi)存存儲(chǔ)和閱讀它在更大的速度。
同樣,JVM的垃圾收集和堆緩存問(wèn)題,加劇了引發(fā)這樣的框架,可以通過(guò)使用Alluxio得到緩解。
IBM已經(jīng)聲稱在速子天,Alluxio超過(guò)內(nèi)存110 x HDFS的寫道,“提高實(shí)際工作流程的端到端延時(shí)4 x”。
Alluxio補(bǔ)充其他解決方案;Apache箭頭,例如,加快數(shù)據(jù)處理,使其可用于應(yīng)用程序的格式,適合現(xiàn)代的cpu。箭頭將請(qǐng)求的數(shù)據(jù)從存儲(chǔ)和獲取由Alluxio提供。
超光速粒子化身,Alluxio畫了幾個(gè)大數(shù)據(jù)項(xiàng)目的支持,其中最主要的火花。
該公司計(jì)劃繼續(xù)構(gòu)建其他大數(shù)據(jù)項(xiàng)目的支持和存儲(chǔ)系統(tǒng)供應(yīng)商。