Esgyn公司是高科技行業的新星,我們的使命是創建并培育Apache? Hadoop生態系統中的企業級事務型和運營型SQL。但是有很多公司都在解決SQL-on-Hadoop的問題,我們的優勢是什么?本文中,我就這個話題展開了討論。

Esgyn和普通的初創公司有所不同,我們已經創建了一個產品并將其開源(正在孵化的Apache Trafodion數據庫管理系統)。另外,我們已經擁有一支具有凝聚力的30人團隊,有些員工在關系型數據庫領域已共事27年。

我們在數據庫領域的淵源可以追溯到天騰電腦公司(Tandem Computer)的天騰數據庫團隊(Tandem Database Group)。這個團隊的成員包括Jim Gray、Don Slutz、Franco Putzolu等杰出的數據庫先驅,他們共同開發了行業內第一個高性能、線性擴展、可容錯的SQL引擎——NonStop? SQL。Esgyn經驗最豐富的成員正是來自那支團隊,他們于上世紀80年代末加入了天騰數據庫團隊,負責NonStop? SQL的第二和第三版。

NonStop SQL(以及天騰)在聯機事務處理(OLTP)市場取得了很大的成功。90年代中期,得益于其線性擴展和并行查詢的能力,人們開始將NonStop SQL應用于當時新興的決策支持領域。但是,其自下而上的優化架構和迭代程序式的運行時流尚未為較大的查詢進行優化。因此后來對此進行重寫,出現了NonStop SQL/MX。(第一代的Nonstop SQL引擎被重新標簽為SQL/MP。)這個第二代引擎的優化器是基于Goetz Graefe創建的Cascades框架。該運行時引擎使用隊列通信的運營商的數據流架構。原則上,這便于將并行性引入查詢計劃的任意一點,因為并行分布運算符(我們稱之為“交換運算符”)總是能夠取代隊列。NonStop SQL/MX 的主要架構師Pedro Celis 后來成為了開發Microsoft SQL Server?的重要領導者。

Microsoft對NonStop SQL/MX非常感興趣,出資贊助了在Windows NT?上使用SQL/MX端口的集群解決方案的開發??上?,這次嘗試并未滿足商業需求,于1999年退出了市場。但是,NonStop SQL/MX在NonStop Kernel平臺上繼續進行開發。

2006年,天騰被康柏公司收購,與惠普合并?;萜展究吹搅嗽谄髽I數據倉庫(EDW)中應用NonStop SQL/MX技術的機會?;萜盏腘eoview產品構建在該引擎的基礎上,可擴展至512個節點。要對優化、混合工作負載和查詢管理技術進行大量投資才能實現這種規模的擴展。在OLTP系統,通常都是較小的查詢,偶爾會有較大的報表查詢。而在EDW,最小查詢和最大查詢的行數可以相差十億或更多。要使所有類型的查詢都具有良好的性能,就要擁有先進的工具和技術。

2011年,惠普公司決定退出EDW市場,撤回了Neoview。但是,HP-IT依然在三臺Neoview機器上運行業務。后來,SeaQuest將Neoview的軟件棧移植到Linux集群上。SeaQuest解決方案于2012年投入使用,取代了HP-IT所有的Neoview系統。

同樣是2011年,Rob Schauble(現任HP-IT副總裁)加入了Neoview/Seaquest開發團隊,他看到了這項技術的潛力,立志要再次找到商業化的辦法。經過一番實驗,發現這項技術最適合應用于Hadoop領域。目前,SQL-on-Hadoop解決方案主要專注于分析。但是,今后會將事務型和運營型應用程序也移植到Hadoop。盡管尚缺乏查詢語言而且事務支持僅限于單行,但是HBase似乎頗具潛力。對于經驗豐富的數據庫引擎開發團隊及其具備的成熟技術來說,這是一次很好的機會。

在惠普實驗室的資助下,團隊將大部分的Seaquest引擎移植到HBase上,從而推出了Trafodion。Trafodion是企業級的事務型和運營型SQL-on-Hadoop解決方案,2013年12月首次發布測試版,2014年6月發布開源版本。之后,我們繼續對Trafodion進行開發和改進。2015年5月,Trafodion成為Apache的孵化項目。

2015年7月,Esgyn公司成立,公司的30名成員都來自Neoview/SeaQuest團隊,致力于Trafodion技術的發展。

從Tandem NonStop SQL、NonStop SQL/MX到HP Neoview、SeaQuest再到現在的Trafodion,我們具有漫長而深厚的淵源,數據庫管理系統的工程師團隊擁有豐富的市場經驗。數據庫是一個迷人的領域,我們始終孜孜不倦,期待著更多有趣的工作。