|
Apache卡夫卡是潤滑的輪子大數據如何 灰鴿子使用教程,灰鴿子下載
IBM只是用它來推出兩個新Bluemix服務,灰鴿子。
1.jpg (18.45 KB, 下載次數: 562)
下載附件
2015-10-31 10:25 上傳
分析通常被描述為與大數據相關的最大挑戰(zhàn)之一,但即使是在這一步之前,數據必須攝取和向企業(yè)用戶提供。這就是Apache卡夫卡。
最初開發(fā)的LinkedIn,卡夫卡是一個開源系統(tǒng)管理實時數據流,從網站、應用程序和傳感器。
從本質上講,它作為一種企業(yè)“中樞神經系統(tǒng)”,收集大量數據對用戶活動、日志、應用指標,股票行情和設備儀器,例如,使它可以實時對企業(yè)用戶的消費。
卡夫卡等常被比作技術ActiveMQ或RabbitMQ本地實現,或與Amazon Web服務的運動對于云客戶,Stephen O’grady說,此次的聯(lián)合創(chuàng)始人和首席分析師。
“這是越來越明顯,因為它是一個高質量的開源項目,還因為它能夠處理高速流的信息越來越在物聯(lián)網等維修工作負載的使用需求,其中,”O(jiān) ' grady補充道。
在LinkedIn構想以來,卡夫卡獲得引人注目的Netflix等公司的支持,超級,思科和高盛。
周五,它有一個新鮮的刺激來自IBM,宣布兩個新的Kafka-based的可用性服務通過其Bluemix平臺。
IBM的新流分析服務旨在分析為毫秒級的響應時間和每秒數百萬事件即時決策。IBM信息中心,現在在測試,提供可伸縮的、分布式的、高通量、云應用程序異步消息傳遞,選擇使用休息或Apache卡夫卡API(應用程序編程接口)與其他應用程序進行通信。
卡夫卡是2011年開源。去年,三個卡夫卡的創(chuàng)造者匯合的推出,公司致力于幫助企業(yè)在大規(guī)模生產中使用它。
“我們在LinkedIn的爆炸性增長階段期間,我們不能跟上不斷增長的用戶群和數據。
可以用來幫助我們改善用戶體驗,“Neha Narkhede說卡夫卡的創(chuàng)造者和支流的創(chuàng)始人之一。
“卡夫卡允許您做的是移動數據整個公司,讓它可以在幾秒內連續(xù)自由流的人需要使用它,”Narkhede解釋道。”和它在規(guī)模!
在LinkedIn的影響是“轉型”,她說。今天,LinkedIn仍然是最大的卡夫卡部署生產;每天超過1.1萬億條消息。
融合性的,與此同時,大公司提供了先進的管理軟件通過訂閱來幫助卡夫卡對生產系統(tǒng)運行。
在其客戶主要大型零售商和“最大的信用卡發(fā)行商之一在美國,“Narkhede說。
后者是使用技術實時欺詐保護,她說?ǚ蚩ㄊ恰耙粋令人難以置信的快消息總線”,擅長幫助集成快速大量的不同類型的數據,分析師Jason壓模,說451年的研究!斑@就是為什么成為一個最受歡迎的選擇。”
除了ActiveMQ和RabbitMQ之外,另一個提供類似功能的產品是Apache水槽,他指出,風暴和火花流在許多方面是相似的。
在商業(yè)空間,支流的競爭對手包括IBM InfoSphere Streams,Informatica超消息流版和SAS的事件流處理引擎(ESP)連同Software AG Apama,Tibco StreamBase和SAP Aleri,印章補充道。較小的競爭對手包括DataTorrent,Splunk、Loggly Logentries,連接軟件,相撲邏輯和Glassbeam。
在云中,AWS的運動流處理服務”的好處與喜歡的紅移的集成數據倉庫和S3存儲平臺,”他說。
Teradata新宣布的偵聽器是另一個競爭者,它Kafka-based,指出布萊恩·霍普金斯,弗雷斯特研究公司的副總裁和首席分析師。
一般來說,有一個顯著的趨勢實時數據,霍普金斯說,灰鴿子遠程控制軟件,遠程控制軟件。
直到2013年左右,“大數據是大量的數據塞進Hadoop,”他說!艾F在,如果你不這樣做,你已經在功率曲線后面!
今天,來自智能手機和其他數據源的數據給企業(yè)與客戶進行實時交流的機會,并提供上下文的經歷,他說。反過來,取決于更快地理解數據的能力。
“物聯(lián)網就像移動的第二波,“霍普金斯解釋道。每個供應商都是雪崩的定位數據!币虼,相應的技術改造。
“2014全是Hadoop,然后是火花,”他說。“現在,這是Hadoop,火花和卡夫卡。這三個平等的同伴攝入管道在這個現代的分析架構。” |
|