大數(shù)據(jù),但速度:速度API應(yīng)用程序和存儲之間的聯(lián)系 灰鴿子遠程控制軟件

admin

大數(shù)據(jù),但速度:速度API應(yīng)用程序和存儲之間的聯(lián)系 灰鴿子遠程控制軟件
Alluxio支持Amazon S3存儲API的功能,谷歌云存儲,OpenStack迅速、EMC,NetApp

Alluxio,最初被稱為超光速粒子,給大數(shù)據(jù)應(yīng)用快速、統(tǒng)一訪問存儲數(shù)據(jù)駐留的地方。
現(xiàn)在在1.0版本,Alluxio提供框架像火花一樣,MapReduce,Flink,或者很快提供多種類型的存儲系統(tǒng)。
谷歌云存儲,云存儲提供商Amazon S3和支持OpenStack迅速,NetApp存儲廠商EMC和。
從外面,Alluxio可能看起來像一個內(nèi)存中的緩存系統(tǒng)例如Memcached或復(fù)述。
相反,它是一個層,介于應(yīng)用程序和存儲、分布式計算給前者后者通過一個統(tǒng)一的API。
應(yīng)用程序可以使用Alluxio的API,它提供了最高的速度,或者他們可以使用遺留API(比如一個HDFS實現(xiàn)),慢但更兼容。
本月早些時候發(fā)表的一篇博客文章中,英特爾的工程師描述Alluxio如何幫助解決一些常見的問題與大數(shù)據(jù)框架,如應(yīng)用程序之間共享數(shù)據(jù)。
而不是寫數(shù)據(jù)HDFS中并重新閱讀它,用戶可以寫入數(shù)據(jù)Alluxio的內(nèi)存存儲和閱讀它在更大的速度。
同樣,JVM的垃圾收集和堆緩存問題,加劇了引發(fā)這樣的框架,可以通過使用Alluxio得到緩解。
IBM已經(jīng)聲稱在速子天,Alluxio超過內(nèi)存110 x HDFS的寫道,“提高實際工作流程的端到端延時4 x”。
Alluxio補充其他解決方案;Apache箭頭,例如,加快數(shù)據(jù)處理,使其可用于應(yīng)用程序的格式,適合現(xiàn)代的cpu。箭頭將請求的數(shù)據(jù)從存儲和獲取由Alluxio提供。
超光速粒子化身,Alluxio畫了幾個大數(shù)據(jù)項目的支持,其中最主要的火花。
該公司計劃繼續(xù)構(gòu)建其他大數(shù)據(jù)項目的支持和存儲系統(tǒng)供應(yīng)商。