• chinesexxxx乱chinahd 淺析大數據即席查詢用具 Presto

    发布日期:2022-05-18 23:53    点击次数:187

    本文轉載自微信公眾號「匠心獨運維妙維效」chinesexxxx乱chinahd,作家侯強。轉載本文請聯系匠心獨運維妙維效公眾號。

    數據業務現狀

    隨著業務數據量越來越大、數據任務越來越多以及數據計算類型越來越豐富,G行的原有以Hadoop、MPP為中枢的數據平臺現有組件表現出了一定的局限性。举例:大數據平臺和數據倉庫上任務總量已經達到了3萬以上,况兼還在急劇增長。由于數據存放在了不同數據源中,對于需要對多種數據源的查詢任務,最初要進行數據遷移操作,匯總到MPP或Hadoop后進行查詢操作,這一過程耗時費力,已經很難滿足用戶快捷數據查詢的需求。

    令牌中继通俗的讲则是让令牌在微服务链路调用中传递下去,保证各个微服务能够获取令牌中的用户信息。

    死循环问题发生在 JDK 1.7 版本中,造成这个问题主要是由于 HashMap 自身的运行机制,加上并发操作,从而导致了死循环。在 JDK 1.7 中 HashMap 的底层数据实现是数组 + 链表的方式,如下图所示:

    在这篇文章中你将会学习到一些你可能没听过但有用的 Java 特性,这些是我个人常用的一些特性或者是从其他文章中学习到的,重点是关注 API 而不是语言本身。

    解决全链路压测的数据准备问题,通过流量录制和回放系统与压测系统打通,形成从流量录制到压测闭环。

    本文尝试对 JavaScript 的前5个IDE进行详细比较,并首先解释 5 个最流行的工具。

    从朋友的描述中看样子程序是被什么东西卡住了,这种卡死的问题解决起来相对简单,接下来我就用 windbg 给大家分析一下。

    而數據平臺建設的一個挫折目標即是滿足用戶便捷快捷的使用數據,用戶不需要關心數據的存放面目,能夠使用標準的數據調用接口,隨時使用我方關心的數據。為滿足對上述的多數據源無差別的查詢,使用遠端數據完成交互式查詢, 黑人巨茎大战俄罗斯白人美女G行選擇的面目是Presto。

    Presto提供豐富的Connector,通過Connector機制不错將所連接的數據SQL化。Presto的Connector不错連接傳統的RDBMS數據庫,也不错連接HBase、Hive等大數據的開源軟件,還不错使用FileConnector連接腹地文献。有了Connector,不错径直在Presto的客戶端發起查詢請求,通過Presto见解查詢語句對不同的數據源發起數據查詢。通過Connector的面目,幸免了數據搬移,節省了广宽的數據存儲空間,也幸免了時間残害。這個場景出奇適合數據科學家對多種數據分析的需求。

    Presto架構特點

    執行效果方面,Presto是一個開源的基于內存的散播式SQL查詢的執行引擎,不错因循TB到PB級數據量的秒級到分鐘級的快速響應。在查詢效果方面,比MapReduce的查詢引擎有很大的进步。

    Presto查詢引擎是一個Master-Slave的架構,十八禁男男腐啪gv肉真人视频由一個Coordinator節點,多個Worker節點組成。Coordinator負責见解SQL語句,生成執行計劃,Coordinator將一個竣工的Query,拆分红了多個Stage,每個Stage拆分出多個不错并行的Task,分發執行任務給Worker節點執行。

    Worker節點負責實際執行查詢Task。通過成立外部數據源的Connector,部分Task負責到外部存儲系統拉取數據,這部分Task會先執行,之后再執行那些負責計算的Task。Worker節點的數量影響到Presto執行效果,不错通過增多worker節點的數量,进步數據查詢的的效果。而Coordinator在Presto唯有一個,需要使用高可用的部署治安,進行災備保護。

    Presto是一個原生的計算和存儲分離的散播式的SQL框架。Presto負責SQL的见解和執行,數據自身都由外部數據源進行存儲和維護。這種存儲和計算分離的架構,在進行資源擴容時不错分別對存儲資源和計算資源進行單獨擴容,出奇允洽當今云計算的架構和發展标的。在設備選型時,不错針對IO密集型和CPU密集型采購不同的設備來滿足需求。

    Presto提供了豐富的Connector,不错連接多種流行的數據源,比如MySql、Hive、Elasticsearch等。同時Presto還提供了API接口,開發人員不错根據我方的實際情況開發我方的應用接口。举例openlookeng,這個軟件提供了高斯數據庫的訪問接口,不错完成Hive和高斯數據庫之間的跨數據源的聯合查詢。

    Presto存在的問題

    Presto是一個透彻基于內存的SQL計算框架,在運行過程中罗致高并發的查詢面目。當處理數據過于龐大、SQL需要的內存超出了物理服務器承受能力時,會出現內存溢出。若是需要穩定運行長時間的任務,不错使用Hive的SQL引擎。此外,由于Presto在設計运转,即是為了OLAP業務而進行開發,Presto雖然因循delete和insert,但內部結構不適合頻繁的數據修改操作。

    Presto未來發展

    許多企業在大數據建設路途上都產生了相類似的多數據源匯總查詢的問題,數據散播在多種數據產品中,各種數據產品之間沒有径直交互的治安,需要通過數據遷移完成數據分析使命。而Presto的出現,解決了多數企業面臨的問題。G行的即席查詢系統恰所以Presto技術為中枢構建的。隨著Presto應用范圍的擴大,穩定性將隨之不斷的改善,服气會給各個企業在數據業務方面帶來更多的便利性。

     chinesexxxx乱chinahd




Powered by 国产av一区二区三区香蕉 @2013-2022 RSS地图 HTML地图