大æ°æ®æ¶ä»£å¯è½å½±åä½ ç7个åä¸è¶å¿
æ们已ç»çå°äºè®¸å¤è¿æ ·çæ¡ä¾åºç°ä¼ä¸æ¿æå享ä»ä»¬å¨å¤§æ°æ®ä½¿ç¨ä¸åå¾çæå°±ãå¨ITè¡ä¸ä»»ä½çèå¼è½¬åï¼paradigmshiftï¼ï¼ä¸ä¸ªç¹å®ç主é¢å¸å¼æ°é»åªä½ãæèµè
ååæ°äººæç大éå
³æ³¨ï¼è¿ä¸ªè½¬åéæ±å¾å¼ºçåä¸ä»·æ ¼çæ¯æãè¿ä¸ªå
¸åçæ¡ä¾æ¯ï¼å®¢æ·æå¡ãåå¸å¼è®¡ç®å以æå¡ä¸ºå¯¼åçæ¶æä¸è¯è¨ï¼ä¾å¦ï¼JAVA.
æ们ä¹çå°äºä¸ä¸ªæçççæç³»ç»çåºç°,è¿
éçèµç¾ææ©å±è½åçæ ¸å¿æ¯æææ¯ï¼å¨å¤§æ°æ®æ¡ä¾ä¸ï¼å¤§æ°æ®çæç³»ç»å·²ç»è¿
ééä¸ä¸æ¹ææ¯æä¾è
,ä¾å¦ï¼Hadoop,Cassandra,Accumulo,Oracle,IBM.
é£ä¹å¨å¤§æ°æ®ççæç³»ç»ä¸æå¯ä»¥çå°åªäºè¶å¿ä¼åºç°ï¼
å¨hadoopä¸å¯¹äºsqlæ©å±æ§åä¸è´æ§æä¸å¤§æ¹çææ¯å
¬å¸åªåæ建ä¸ç§no-sqlææ¯ï¼ä»è为大æ°æ®æä¾è§£å³æ¹æ¡ä¾å¦ï¼hadoopãä½æ¯å¯¹äºsqlè¯è¨æ¯æç深度ä¸å¹¿åº¦åä¸ç¸åï¼ç¶è使ç¨sqlä¸ä¸åæ人åå¯ä»¥ä½¿ç¨è¿äºä¼ç¹ä»èå¾å¥½çéè¿sqlè¯è¨æ¥æä½å¤§æ°æ®ãç®åæ¡ä¾å
æ¬ï¼Hadapt,Impala,TeradataAsterandEMCGreenplumsPivotalHD.
(è¯è
注ï¼ç±äºç®åç大æ°æ®åå¨é½ä¸æ¯åºäºå
³ç³»åæ°æ®åºçï¼æä»¥ä¼ ç»éè¿sqlè¯è¨æ¥æä½æ°æ®çæ¹å¼æ æ³ç´æ¥ä½¿ç¨ï¼ä¾å¦ï¼å¯¹äºhadoopåå¨çæ°æ®æ¯æ æ³ç´æ¥éè¿sqlæ¥æ¥è¯¢çãå èéè¦æä¼ ç»çsqlè¯è¨è¿è¡ä¸é´è½¬æ¢ä»èè¿è¡æä½ï¼ä¾å¦ï¼hadoopä¸hive,å°±æ¯ç¸å½äºå°sql转æ¢æMapReduceï¼ä»èå»è¯»åãæä½hadoopä¸çæ°æ®ãï¼
对äºç»æåãéç»æåä¸åç»æåæ°æ®çç»ä¸æ¯æéæ¶éç»æåæ°æ®çå¢é¿,IDCå
¬å¸é¢æµäºæ°æ®çæ°é,大å¤æ°æ®çå°ä»¥éç»æåçå½¢å¼åå¨,æ¯å¤©å°å¢é¿40%-50%.å°2020å¹´,æ»ä½çæ°æ®éå°è¾¾å°40ZB.éç»æåçæ°æ®ä¸»è¦æ¥æºäº:é®ä»¶ã论åãå客ã社交ç½ç»ãPOSç³»ç»åæºå¨çæçæ°æ®ã为äºè·åååæè¿äºå¤§æ°æ®éçæ°æ®ï¼åæ°äººåå¿
é¡»æ©å±ä»ä»¬ç大æ°æ®è§£å³æ¹æ¡ï¼èä¸è½ä»
ä»
éç¨äºå
¶ä¸ä¸ä¸ªã
ä¼åæ£ç´¢ä»æµ·éçæ°æ®ä¸åç°ä¹åç¨æ·ççæ£æç´¢éè¦ï¼å¨ä¹åå°±å大海æéåºæ¬ä¸ä¸å¯è½çãä½æ¯éæ¶æ¶é´åå±ï¼è¶æ¥è¶å¤æ大æ°æ®ç解å³æ¹æ¡èå
¥å°æ£ç´¢æ¯æä¸ãå¨è¿æ¹é¢ä¸é¢å
è
æï¼LucidWorks,IBM,Oracleï¼å
¶éè¿æ¶è´Endecaï¼AutonomyandMarkLogicãå
¶ä¸LucidWorksç»åäºä¸ä¸ªå¼æºçå LuceneåSolr,Hadoop,MahoutåNLPã
ETLçæ©å±ä¸æ¯æ许å¤äººé½è®¤ä¸ºhadoopæå¼å§ç使ç¨å®å
¨æ¯ç¨äºETLå 为å
¶æ¹å¤ççåè½ãç¶èï¼å¦æä½ çå°åºäºetl解å³æ¹æ¡è¿è¡ä¸ç»´æ¤çå¤æhadoopå¹³å°çææçåºç¡è®¾æ½ï¼ä½ å¯ä»¥ä¼ä½¿ç¨å
¶å®ç纯æ
etlå·¥å
·ï¼Informatica,Talend,Syncsort,CloverETLï¼æ¥è§£å³ãå¤å¹´æ¥è¿äºå
¬å¸è¿äºå
¬å¸åªåå¨å»ºç«æå¼ç»åçETL解å³æ¹æ¡ï¼ç°å¨æ´å¤æ们æå
¶ç§°ä½ä¸ºï¼æ°æ®æ´å解å³æ¹æ¡ã
纯粹çETLæä¾åæ£åªå为大æ°æ®æä¾è§£å³æ¹æ¡ãè¿äºæ¯æä¸é¾å
æ¬ï¼ETLï¼èä¸å
æ¬ELTé£äºä»hadoopå
é¨è½¬å为hadoopãè¿ä¼ä½¿å
¬å¸ä½¿ç¨æ建è¿æ ·çç¯å¢ï¼ä½¿ç¨çº¯ETLç解å³æ¹æ¡åhadoopæ¬èº«å¼ºå¤§çåè½ãéçæ¶é´çåå±ï¼è¿äºçº¯ELTçå
¬å¸èµ·çæ¯æç大æ°æ®ç解å³æ¹æ¡èå´å
æ¬ä»ï¼NewSQLä¸NoSQLã
å¦å¤ï¼æææ许å¤ç大æ°æ®è§£å³æ¹æ¡å
¬å¸å¯ä»¥åµå
¥å¯¹äºETLä¸ELTçæ¯æï¼å°±å许å¤ä¼ ç»çæ°æ®åºä¾åºåå·²ç»éè¿åµå
¥ææ¶è´ETL解å³æ¹æ¡ã
大æ°æ®è¿å¨è¶ç¨³å¨æä¹åçæç« åå°ï¼ä»¥Apache为å¼æºæ¡æ¶çhadoop已被使ç¨ä½¿ç¨å¨ä»¥æ¹å¤ç为导åæµ·éçåå¸å¼ç¯å¢ä¸ï¼ç¹å«æ¯ä»¥åæ为èæ¯çæ
åµä¸ãéæ¶ä¼ä¸å¼å§å
³æ³¨å¦ä½æ¯é
åå©ç¨æµ·éçæ°æ®èµæºç¨äºå®æ¶å³çï¼æ们é¢è®¡ä¼å¯¹äºâ大æ°æ®è¿å¨âå½±ååå¢é¿æéè¦å¸®å¿ãè¿ä¸ªâè½å°â代表çå®æ¶çä¿¡æ¯æµç¨äºå¤ç大æ°æ®æµï¼å¨å个è¡ä¸ï¼å
æ¬èµæ¬å¸åºãå»ç7ãè½æºå社ä¼ååªä½ã
å¢å æ°æ®ææååæææ¯å¨å¤§æ°æ®é¢åçè¡ä¸é¢åè
ç¥ééè¦å¨ä»ä»¬å¹³å°ä¸æ©å±å¨æ°æ®åæä¸ç»è®¡åè½çéæ±ãé¤äºä¸è¬çåæåè½è¿å¢å é常çæ°æ®ææåè½ãTeradataAsteå
æ¬å¾å¤çåæåè½ï¼å
·ä½å
æ¬æ¯æç»è®¡ãææ¬ææãå¾åãæ
æåæçãå
¶å®çå
¬å¸ä¾å¦IBMNetezzaå·²ç»å å
¥äºå¯¹äºRè¯è¨çæ¯æï¼å¯ä»¥æ¯æRçåç±»å
ï¼ä¾å¦ï¼å¹¶è¡è¿ç®ç®æ³å
ãç©éµç¸å
³å
ãæªæ¥æ们å¯ä»¥çå°å¤§æ°æ®è§£å³æ¹æ¡å°ä¼ä¸æç大éå¢å è¿ç§åè½ã
ä»Rè¯è¨ä¸è·å©æ¯«æ çé®Rè¯è¨å°ä¼æ¯è¶æ¥æµè¡çå¼æºç»è®¡è¯è¨ãRevolutionAnalyticså
¬å¸å¨å¼åç¨äºâå·¥ä¸â使ç¨çRçæ¬ä¸ï¼æ§è½ä¸ææ¾èçå¢å¼ºå满足å
¶å®ä¼ä¸çç¹å¾ãæ´è¿ä¸ä¸ï¼ä»ä»¬å·²ç»å¼ååºäºå¯ä»¥éç¨äºhadoopãPureDataçRæ©å±å
ã大å¦éä¹å¤§éå¼è®¾çRè¯è¨æ¹é¢ç课ç¨ï¼è®©æ´å¤çå¦çæ¥æ使ç¨Rè¯è¨çè½åï¼ä¹è®©ä»ä»¬å
·å¤å¨å¤çå¤æçç»è®¡åææ¹é¢çè½åãå¯ä»¥é¢è§Rä¼è¢«å
æ¬å¨è®¸å¤å¤§æ°æ®ç解å³æ¹æ¡ä¸ï¼èä¸ä¼æ¾èæ¹è¿è¯¥è¯è¨ä»è让å
¶ææ´å¥½çæ§è½ã
éç大æ°æ®çæç³»ç»çåå±ï¼ç¸å
³ç产ä¸å¿
ç¶ä¼´éå
¶åå±ãå¨ä»å¤©çå¸åºç«äºç¯å¢ä¸ï¼é£äºå®æ½ä»¥æ°æ®é©±å¨æç¥çå
¬å¸å°å¨ç«äºä¸åå¾ä¼å¿ã
以ä¸æ¯å°ç¼ä¸ºå¤§å®¶å享çå ³äºå¤§æ°æ®æ¶ä»£å¯è½å½±åä½ ç7个åä¸è¶å¿çç¸å ³å 容ï¼æ´å¤ä¿¡æ¯å¯ä»¥å ³æ³¨ç¯çéè¤å享æ´å¤å¹²è´§