好程序員-千鋒教育旗下高端IT職業(yè)教育品牌
官方微信
2022-07-29
序列化 類型 數(shù)據(jù) flink
怎么提高Flink的執(zhí)行性能(代碼方面)
通用的優(yōu)化方式4. 一些基數(shù)較少的并且本身較長(zhǎng)維度可以采用數(shù)據(jù)字典的方式減少網(wǎng)絡(luò)傳輸及內(nèi)存占用、gc開銷。
數(shù)據(jù)類型和序列化Flink支持java、scala基本數(shù)據(jù)類型，以及java Tuples、scala Case Class、Flink Value，對(duì)于這些數(shù)據(jù)類型，flink會(huì)采用自身的序列化反序列化器去做序列化操作，對(duì)于其他數(shù)據(jù)類型，flink會(huì)采用kyro方式序列化，kyro序列化方式效率會(huì)比flink自帶的方式低很多。因此在數(shù)據(jù)序列化方面我們可以做如下工作
3. 如果使用了lambda或者泛型的話，顯式的指定類型信息讓flink類型提取系統(tǒng)識(shí)別到以提升性能。
多組相同keyby可使用DataStreamUtils在多組keyby的場(chǎng)景可以采用DataStreamUtils.reinterpretAsKeyedStream的方式避免多次shuffle操作
盡量減少狀態(tài)的大小3. checkpoint頻率不宜過高，超時(shí)時(shí)間不要太長(zhǎng)，可以異步化的地方盡量異步化
掃碼開啟架構(gòu)師蛻變之旅 >>
開班時(shí)間：2021-04-12（深圳）
開班盛況開班時(shí)間：2021-05-17（北京）
開班盛況開班時(shí)間：2021-03-22（杭州）
開班盛況開班時(shí)間：2021-04-26（北京）
開班盛況開班時(shí)間：2021-05-10（北京）
開班盛況開班時(shí)間：2021-02-22（北京）
開班盛況開班時(shí)間：2021-07-12（北京）
預(yù)約報(bào)名開班時(shí)間：2020-09-21（上海）
開班盛況開班時(shí)間：2021-07-12（北京）
預(yù)約報(bào)名開班時(shí)間：2019-07-22（北京）
開班盛況
Copyright 2011-2023 北京千鋒互聯(lián)科技有限公司 .All Right
京ICP備12003911號(hào)-5
京公網(wǎng)安備 11010802035720號(hào)
