半監督學(xué)習
在實(shí)際生活中,常常會(huì )出現一部分樣本有標記和較多樣本無(wú)標記的情形,例如:做網(wǎng)頁(yè)推薦時(shí)需要讓用戶(hù)標記出感興趣的網(wǎng)頁(yè),但是少有用戶(hù)愿意花時(shí)間來(lái)提供標記。若直接丟棄掉無(wú)標記樣本集,使用傳統的監督學(xué)習方法,常常會(huì )由于訓練樣本的不充足,使得其刻畫(huà)總體分布的能力減弱,從而影響了學(xué)習器泛化性能。那如何利用未標記的樣本數據呢?
機器學(xué)習
|
2019-08-31
0 評論
2,248 瀏覽
Conditional Adversarial Nets 詳解
本文提出在利用 GAN(對抗網(wǎng)絡(luò ))的方法時(shí),在生成模型G和判別模型D中都加入條件信息來(lái)引導模型的訓練,并將這種方法應用于跨模態(tài)問(wèn)題,例如圖像自動(dòng)標注等。
機器學(xué)習
論文
|
2019-10-19
0 評論
2,912 瀏覽
評估方法詳解
模型評估的相關(guān)方法詳解。模型評價(jià)是指對于已經(jīng)建立的一個(gè)或多個(gè)模型,根據其模型的類(lèi)別,使用不同的指標評價(jià)其性能優(yōu)劣的過(guò)程。常用的聚類(lèi)模型評價(jià)指標有ARI評價(jià)法(蘭德系數)、AMI評價(jià)法(互信息)、V-measure評分、FMI評價(jià)法和輪廓系數等。常用的分類(lèi)模型評價(jià)指標有準確率(Accuracy)、精確率(Precision)、召回率(Recall)、F1值(F1 Value)、ROC和AUC等。常用的回歸模型評價(jià)指標有平均絕對誤差、均方根誤差、中值絕對誤差和可 ......
機器學(xué)習
轉載
|
2020-04-25
0 評論
2,125 瀏覽
Redis 6 新特性
Redis6.0.0穩定版出來(lái)了。這一次是從發(fā)布第一個(gè)候選版本到最終發(fā)布穩定版本之間的一個(gè)相對較短的周期。它花了大約四個(gè)月的時(shí)間,這不是一個(gè)小數目的時(shí)間,但與我們過(guò)去的記錄相比,也不是很多。 主要的變化有: SSL、ACLs、RESP3、客戶(hù)端緩存、線(xiàn)程I/O、副本上的無(wú)盤(pán)復制、Redis benchmark中的集群支持和改進(jìn)的Redis cli集群支持、Redis作為Redis的一個(gè)模塊,以及Redis集群代理。
redis
源碼
轉載
|
2020-11-01
0 評論
2,287 瀏覽
【Redis源碼】setbit命令
setbit命令對key所存儲的字符串值,設置指定偏移量上的比特位。 格式: setbit key offset value 返回值: 返回指定偏移量原來(lái)存儲的位。
轉載
redis
命令
源碼
|
2020-11-14
0 評論
2,698 瀏覽
【Redis源碼】Redis 6 ACL源碼詳解
本文主要是講解Redis 6的ACL的實(shí)現原理?;臼褂迷斠?jiàn):Redis 6.0新特性——ACLs,以及Redis啟動(dòng)過(guò)程分析。
原創(chuàng )
redis
新特性
源碼
|
2020-11-22
0 評論
2,810 瀏覽
Linux sogou輸入法顯示簡(jiǎn)體輸入卻是繁體
最新linux電腦搜狗輸入法老是在輸入的時(shí)候顯示中文簡(jiǎn)體,但是輸入到文件,或者瀏覽器里面就變成了繁體。很是讓人頭疼,網(wǎng)上搜了下也沒(méi)人講這種事。
輸入法
linux
kali
|
2021-03-25
3 評論
4,055 瀏覽
C語(yǔ)言命令行參數和java的區別
主要區別在與args[0]的值,在C語(yǔ)言當中args[0]是C語(yǔ)言編譯出的當前二進(jìn)制的名稱(chēng),而在Java當中卻是第一個(gè)參數的值。比較容易混淆。
Java
c語(yǔ)言
|
2021-05-10
2 評論
4,559 瀏覽
Idea 運行Test報錯:scala: No scalac found to compile scala sources
背景 在Idea當中運行Test的時(shí)候發(fā)現報錯如下: scala: No scalac found to compile scala sources 但是在操作系統上面安裝了scala,在idea當中也安裝了 原因 雖然在操作系統上面安裝了scala,但是idea當中沒(méi)有添加scala,
原創(chuàng )
|
2023-08-08
0 評論
1,366 瀏覽
Flink資源調優(yōu)
1. 內存設置 1.1 TaskManager 內存模型 TaskManager的內存模型如下圖所示(1.10之后版本內存模型): Flink使用了堆上內存和堆外內存。 Flink 框架內存使用了堆外內存和堆外內存,不計入slot資源。 Task執行的內存使用了堆上內存和堆外內存。 網(wǎng)絡(luò )緩沖內存:網(wǎng)絡(luò )數據交換所使用的內存大小,如網(wǎng)絡(luò )數據交換緩沖區。 框架堆外內存、Task堆外內存、網(wǎng)絡(luò )緩沖內存都在堆外的直接內存里面。 管理內存:Flink堆外內存的管 ......
flink
|
2022-12-31
0 評論
1,123 瀏覽
Flink狀態(tài)后端和CheckPoint 調優(yōu)
RocksDB 介紹 RocksDB 是嵌入式的 Key-Value 數據庫,在 Flink 中被用作 RocksDBStateBackend 的底層存儲。如下圖所示,RocksDB 持久化的 SST文件在本地文件系統上通過(guò)多個(gè)層級進(jìn)行組織,不同層級之間會(huì )通過(guò)異步Compaction 合并重復、過(guò)期和已刪除的數據。在 RocksDB 的寫(xiě)入過(guò)程中,數據經(jīng)過(guò)序列化后寫(xiě)入到WriteBuffer,WriteBuffer 寫(xiě)滿(mǎn)后轉換為 Immutable Memt ......
flink
|
2023-01-02
0 評論
1,196 瀏覽
Flink作業(yè)反壓處理
簡(jiǎn)介 反壓(backpressure)是實(shí)時(shí)計算應用開(kāi)發(fā)中,特別是流式計算中,十分常見(jiàn)的問(wèn)題。反壓意味著(zhù)數據管道中某個(gè)節點(diǎn)成為 瓶頸,處理速率跟不上上游發(fā)送數據的速率,而需要對上游進(jìn)行限速。由于實(shí)時(shí)計算應用通常使用消息隊列來(lái)進(jìn)行生產(chǎn)端和 消費端的解耦,消費端數據源是 pull-based 的,所以反壓通常是從某個(gè)節點(diǎn)傳導至數據源并降低數據源(比如 Kafka consumer)的攝入速率。 簡(jiǎn)單來(lái)說(shuō),Flink 拓撲中每個(gè)節點(diǎn)(Task)間的數據都以阻塞隊列 ......
flink
|
2023-01-06
0 評論
1,335 瀏覽
Flink數據傾斜理解
數據傾斜原理 數據傾斜就是數據的分布嚴重不均,流入部分算子的數據明顯多余其他算子,造成這部分算子壓力過(guò)大。 影響 單點(diǎn)問(wèn)題 數據集中在某些分區上(Subtask),導致數據嚴重不平衡。 GC 頻繁 過(guò)多的數據集中在某些 JVM(TaskManager),使得JVM 的內存資源短缺,導致頻繁 GC。 吞吐下降、延遲增大 數據單點(diǎn)和頻繁 GC 導致吞吐下降、延遲增大。 系統崩潰 嚴重情況下,過(guò)長(cháng)的 GC 導致 TaskManager 失聯(lián),系統崩潰。 Flin ......
flink
|
2023-01-15
0 評論
1,221 瀏覽
Flink SQL 優(yōu)化
設置空閑狀態(tài)保留時(shí)間 不設置空閑狀態(tài)保留時(shí)間會(huì )導致?tīng)顟B(tài)爆炸。 FlinkSQL 的 regular join inner 、 left 、 right ),左右表的數據都會(huì )一直保存在狀態(tài)里,不會(huì )清理!要么設置 TTL ,要么使用 Flink SQL 的 interval join 。 使用 Top N 語(yǔ)法進(jìn)行去重,重復數據的出現一般都位于特定區間內(例如一小時(shí)或一天內),過(guò)了這段時(shí)間之后,對應的 狀態(tài)就不再需要了。 Flink SQL可以指定空閑狀態(tài)( ......
flink
|
2023-01-29
0 評論
1,331 瀏覽
Flink雙流Join底層原理
底層原理簡(jiǎn)介 LState:存儲左邊數據流中的數據。 RState:存儲右邊數據流中的數據。 當左邊數據流數據到達的時(shí)候會(huì )保存到LState,并且到RState中進(jìn)行Join。將Join生成的結果數據發(fā)送到下游。 右邊數據流中數據到達的時(shí)候,會(huì )保存到RState當中,并且到LState中進(jìn)行Join,然后將Join之嚄胡的結果數據發(fā)送到下游。 為了保障左右兩邊流中需要Join的數據出現在相同節點(diǎn),Flink SQL會(huì )利用Join中的on的關(guān)聯(lián)條件進(jìn)行分 ......
flink
|
2023-02-11
1 評論
1,408 瀏覽