Data Source 介紹
Data Sources 是什么呢？就字面意思其實(shí)就可以知道：數據來(lái)源。 Flink 做為一款流式計算框架，它可用來(lái)做批處理，即處理靜態(tài)的數據集、歷史的數據集；也可以用來(lái)做流處理，即實(shí)時(shí)的處理些實(shí)時(shí)數據流，實(shí)時(shí)的產(chǎn)生數據流結果，只要數據源源不斷的過(guò)來(lái)，Flink 就能夠一直計算下去，這個(gè) Data Sources 就是數據的來(lái)源地。
flink
轉載
|
2020-05-03
0 評論
1,917 瀏覽
Data Sink 介紹
Source 就是數據的來(lái)源，中間的 Compute 其實(shí)就是 Flink 干的事情，可以做一系列的操作，操作完后就把計算后的數據結果 Sink 到某個(gè)地方。（可以是 MySQL、ElasticSearch、Kafka、Cassandra 等）。這里我說(shuō)下自己目前做告警這塊就是把 Compute 計算后的結果 Sink 直接告警出來(lái)了（發(fā)送告警消息到釘釘群、郵件、短信等），這個(gè) sink 的意思也不一定非得說(shuō)成要把數據存儲到某個(gè)地方去。其實(shí)官網(wǎng)用的 Conn ......
轉載
flink
|
2020-05-04
0 評論
1,605 瀏覽
如何自定義 Data Source
在 Data Source 介紹 文章中，我給大家介紹了 Flink Data Source 以及簡(jiǎn)短的介紹了一下自定義 Data Source，這篇文章更詳細的介紹下，并寫(xiě)一個(gè) demo 出來(lái)讓大家理解。
轉載
flink
|
2020-05-04
0 評論
1,447 瀏覽
自定義Data Sink
上一篇文章介紹了 Flink Data Sink，也介紹了 Flink 自帶的 Sink，那么如何自定義自己的 Sink 呢？這篇文章將寫(xiě)一個(gè) demo 教大家將從 Kafka Source 的數據 Sink 到 MySQL 中去。
flink
轉載
|
2020-05-05
0 評論
1,523 瀏覽
Flink 寫(xiě)入數據到 Kafka
通過(guò)Flink官網(wǎng)可以看到Flink里面就默認支持了不少sink，比如也支持Kafka sink connector（FlinkKafkaProducer），那么這篇文章我們就來(lái)看看如何將數據寫(xiě)入到Kafka。
轉載
flink
|
2020-05-15
0 評論
1,717 瀏覽
Kafka API操作實(shí)踐
? Kafka的Producer發(fā)送消息采用的是異步發(fā)送的方式。在消息發(fā)送的過(guò)程中，涉及到了兩個(gè)線(xiàn)程——main線(xiàn)程和Sender線(xiàn)程，以及一個(gè)線(xiàn)程共享變量——RecordAccumulator。main線(xiàn)程將消息發(fā)送給RecordAccumulator，Sender線(xiàn)程不斷從RecordAccumulator中拉取消息發(fā)送到Kafka broker。 Consumer消費數據時(shí)的可靠性是很容易保證的，因為數據在Kafka中是持久化的，故不用擔心數據丟失問(wèn)題 ......
kafka
轉載
|
2020-05-17
0 評論
1,730 瀏覽
Kafka深入解析
Kafka中消息是以topic進(jìn)行分類(lèi)的，生產(chǎn)者生產(chǎn)消息，消費者消費消息，都是面向topic的。 topic是邏輯上的概念，而partition是物理上的概念，每個(gè)partition對應于一個(gè)log文件，該log文件中存儲的就是producer生產(chǎn)的數據。Producer生產(chǎn)的數據會(huì )被不斷追加到該log文件末端，且每條數據都有自己的offset。消費者組中的每個(gè)消費者，都會(huì )實(shí)時(shí)記錄自己消費到了哪個(gè)offset，以便出錯恢復時(shí)，從上次的位置繼續消費。
kafka
轉載
|
2020-05-24
0 評論
1,807 瀏覽
Kafka概述
Kafka是一個(gè)分布式的基于發(fā)布/訂閱模式的消息隊列，主要應用于大數據實(shí)時(shí)處理領(lǐng)域。
轉載
kafka
|
2020-05-24
0 評論
1,358 瀏覽
博客接入又拍云cdn
由于本人騰訊云服務(wù)器的是按照流量收費的，最近網(wǎng)站流量跑的比較快，所以打算接入cdn，把圖片緩存下來(lái)，減少流量直接打到服務(wù)器上面。
原創(chuàng )
博客
|
2020-06-07
2 評論
2,323 瀏覽
bolo 博客接入又拍云圖床
我之前博客里面的圖片都是用了自己搭建的相冊里面的，但是畢竟不太方便。并且最近正在搞又拍云的cdn。就順手把圖床這個(gè)是也搞定了吧。
原創(chuàng )
bolo
博客
|
2020-06-09
4 評論
2,426 瀏覽
理解Redis的內存
Redis 是一種內存數據庫，將數據保存在內存中，讀寫(xiě)效率要比傳統的將數據保存在磁盤(pán)上的數據庫要快很多。所以，監控 Redis 的內存消耗并了解 Redis 內存模型對高效并長(cháng)期穩定使用 Redis 至關(guān)重要。
redis
原創(chuàng )
|
2020-07-04
0 評論
1,986 瀏覽
Redis Sentinel哨兵機制
Redis的哨兵(sentinel) 系統用于管理多個(gè) Redis 服務(wù)器,該系統執行以下三個(gè)任務(wù): 監控(Monitoring): 哨兵(sentinel) 會(huì )不斷地檢查你的Master和Slave是否運作正常。 提醒(Notification): 當被監控的某個(gè) Redis出現問(wèn)題時(shí), 哨兵(sentinel) 可以通過(guò) API 向管理員或者其他應用程序發(fā)送通知。 自動(dòng)故障遷移(Automatic failover): 當一個(gè)Master不能正常工作時(shí)， ......
redis
轉載
|
2020-07-21
0 評論
1,626 瀏覽
Redis 集群詳解
Redis Cluster 即 Redis 集群，是 Redis 官方在 3.0 版本推出的一套分布式存儲方案。完全去中心化，由多個(gè)節點(diǎn)組成，所有節點(diǎn)彼此互聯(lián)。Redis 客戶(hù)端可以直接連接任何一節點(diǎn)獲取集群中的鍵值對，不需要中間代理，如果該節點(diǎn)不存在用戶(hù)所指定的鍵值，其內部會(huì )自動(dòng)把客戶(hù)端重定向到鍵值所在的節點(diǎn)。 Redis 集群是一個(gè)網(wǎng)狀結構，每個(gè)節點(diǎn)都通過(guò) TCP 連接跟其他每個(gè)節點(diǎn)連接。在一個(gè)有 N 個(gè)節點(diǎn)的集群中，每個(gè)節點(diǎn)都有 N-1 個(gè)流出的 TC ......
redis
轉載
|
2020-07-21
0 評論
1,664 瀏覽
Redis 慢查詢(xún)分析
在慢查詢(xún)的定義中，統計比較慢的時(shí)間段指的是命令執行這個(gè)步驟。沒(méi)有慢查詢(xún)，并不表示客戶(hù)端沒(méi)有超時(shí)問(wèn)題，有可能網(wǎng)絡(luò )傳輸有延遲，也有可能排隊的命令比較多。 因為Redis中命令執行的排隊機制，慢查詢(xún)會(huì )導致其他命令的級聯(lián)阻塞，所以當客戶(hù)端出現請求超時(shí)的時(shí)候，需要檢查該時(shí)間點(diǎn)是否有慢查詢(xún)，從而分析出由于慢查詢(xún)導致的命令級聯(lián)阻塞。
redis
轉載
|
2020-07-23
0 評論
1,851 瀏覽
自動(dòng)跟新最新博客到github主頁(yè)
最近github可以顯示類(lèi)似于主頁(yè)的東西了，所以打算將自己最新的博客推送到github主頁(yè)。 我的github主頁(yè):zeekling
Java
博客
原創(chuàng )
|
2020-07-26
2 評論
2,452 瀏覽