[hadoop-taiwan] Re: hadoop的應用

  • From: Yi-Kai Tsai <yikai@xxxxxxxxxxxxx>
  • To: "hadoop-taiwan@xxxxxxxxxxxxx" <hadoop-taiwan@xxxxxxxxxxxxx>
  • Date: Wed, 24 Dec 2008 14:12:29 +0800

hi all

Google 有自家的 MapReduce/GFS 系統 for production
但是在某些跟學校或是外部單位的合作上有使用 hadoop (因為基本上是同樣的邏輯).

趨勢已經有使用 hadoop 在線上 content security 產品, 應該是為了能夠快速比 對收到的 data (log)
做出對應的處理.

Hadoop 主要適用於 Batch process , 尤其是大量的資料. 如果需要 online service 一些東西 通常的做法會是把 hadoop 跑出來的結果 export 到其他地方, ex: HBase, 或是 傳統的RDBMS.

上次應 Open foundry 講課, 有學員來自 104 , 他們有在使用 Hadoop/Lucent 當 search engine.

(1) Yahoo! 跟 Google 都有使用 Hadoop 在網頁搜尋引擎
  及其他服務上(例如 E-Mail 或 Docs 這些跟儲存有關的服務)
  Facebook 也有運用 Hadoop,
  大陸阿里巴巴也有在用 Hadoop 甚至發表中文的線上文件。

Google 有自家的系統,需要用 Hadoop 嗎 ?

(2) 趨勢科技運用在掃毒上面(因為檔案很多,病毒碼比對又可以輕易分散運算)
新聞稿好像只有提趨勢用雲端技術,但沒明確說他是用 Hadoop
而且,個人感覺 "雲端技術" 這個字眼,有點被濫用了...

(3) 國網中心目前用在網路入侵偵測的 Log 分析上。(資安)

我也看到一些應用在生物資訊方面的研究,
只是還沒有真正看到展示。

我們 Lab 會用在語音、弦律比對 (查詢) 上面,現在卡在怎麼跟 web 整合
Hadoop 的運作方式,似乎不合適要即時反應的應用,如 web,隨便送個 job 都 要幾十秒...
比較合適批次處理,如 Log 分析
當然,也可能是我對  Hadoop 還不夠了解,研究中~

Jimmy


--
Yi-Kai Tsai (cuma) <yikai@xxxxxxxxxxxxx>, Asia Regional Search Engineering.


Other related posts: