1.肯巴沃克之前在哪個(gè)球隊(duì)

作者 | Java指南者Apache Kafka 3.0 是一個(gè)涉及多方面的大版本，該版本引入了各種新功能、突破性的 API 更改以及對(duì) KRaft 的改進(jìn)——Apache Kafka 的內(nèi)置共識(shí)機(jī)制將取代 Apache ZooKeeper?。

2.肯巴沃克為什么不出名

雖然 KRaft 尚未被推薦用于生產(chǎn)（已知差距列表），但我們對(duì) KRaft 元數(shù)據(jù)和易收付pos機(jī) API 進(jìn)行了許多改進(jìn)Exactly-once 和分區(qū)重新分配支持值得強(qiáng)調(diào)我們鼓勵(lì)您查看 KRaft 的新功能并在開(kāi)發(fā)環(huán)境中試用它。

3.肯巴沃克為什么沒(méi)上

從 Apache Kafka 3.0 開(kāi)始，生產(chǎn)者默認(rèn)啟用最強(qiáng)的交付保證 ( acks=all, enable.idempotence=true)這意味著用戶(hù)現(xiàn)在默認(rèn)獲得排序和持久性此外，不要錯(cuò)過(guò) Kafka Connect 任務(wù)重啟增強(qiáng)、KStreams 基于時(shí)間戳同步的改進(jìn)以及 MirrorMaker2 更靈活的配置選項(xiàng)。

4.肯巴沃克怎么了

常規(guī)變化KIP-750（第一部分）：棄用 Kafka 中對(duì) Java 8 的支持在 3.0 中，A易收付pos機(jī)pache Kafka 項(xiàng)目的所有組件都已棄用對(duì) Java 8 的支持這將使用戶(hù)有時(shí)間在下一個(gè)主要版本 (4.0) 之前進(jìn)行調(diào)整，屆時(shí) Java 8 支持將被取消。

5.肯巴沃克怎么這么坑

KIP-751（第一部分）：棄用 Kafka 中對(duì) Scala 2.12 的支持對(duì) Scala 2.12 的支持在 Apache Kafka 3.0 中也已棄用與 Java 8 一樣，我們給用戶(hù)時(shí)間來(lái)適應(yīng)，因?yàn)橛?jì)劃在下一個(gè)主要版本 (4.0) 中刪除對(duì) Scala 2.12 的支持。

6.肯巴沃克現(xiàn)在怎么樣

Kafka代理、生產(chǎn)者、消費(fèi)者和管理客戶(hù)端KIP-630：Kafka Raft 快照我們?cè)?3.0 中引入的易收付pos機(jī)一個(gè)主要功能是 KRaft 控制器和 KRaft 代理能夠?yàn)槊麨?__cluster_metadata 的元數(shù)據(jù)主題分區(qū)生成、復(fù)制和加載快照。

7.肯巴沃克去哪里了

Kafka 集群使用此主題來(lái)存儲(chǔ)和復(fù)制有關(guān)集群的元數(shù)據(jù)信息，如代理配置、主題分區(qū)分配、領(lǐng)導(dǎo)等隨著此狀態(tài)的增長(zhǎng)，Kafka Raft Snapshot 提供了一種有效的方式來(lái)存儲(chǔ)、加載和復(fù)制此信息.KIP-746：修改 KRaft 元數(shù)據(jù)記錄

8.肯巴沃克去哪兒了

自第一版 Kafka Raft 控制器以來(lái)的經(jīng)驗(yàn)和持續(xù)開(kāi)發(fā)表明，需要修改一些元數(shù)據(jù)記錄類(lèi)型，當(dāng) Kafka 被配置為在沒(méi)有 ZooKeeper (ZK) 的情況下運(yùn)行時(shí)使用這些記易收付pos機(jī)錄類(lèi)型KIP-730：KRaft 模式下的生產(chǎn)者 ID 生成。

9.肯巴沃克不行

在 3.0 和KIP-730 中，Kafka 控制器現(xiàn)在完全接管了生成 Kafka 生產(chǎn)者 ID 的責(zé)任控制器在 ZK 和 KRaft 模式下都這樣做這讓我們更接近橋接版本，這將允許用戶(hù)從使用 ZK 的 Kafka 部署過(guò)渡到使用 KRaft 的新部署。

10.肯巴沃克為什么沒(méi)上場(chǎng)

KIP-679：Producer 將默認(rèn)啟用最強(qiáng)的交付保證從 3.0 開(kāi)始，Kafka 生產(chǎn)者默認(rèn)開(kāi)啟冪等性和所有副本的交付確認(rèn)這使得默認(rèn)情況下記錄交付保證更強(qiáng)KIP-735：增加默認(rèn)消費(fèi)者會(huì)話(huà)超時(shí)Kafka Consumer 的配置屬性的默易收付pos機(jī)認(rèn)值session.timeout.ms從 10 秒增加到 45 秒。

這將允許消費(fèi)者在默認(rèn)情況下更好地適應(yīng)暫時(shí)的網(wǎng)絡(luò)故障，并在消費(fèi)者似乎只是暫時(shí)離開(kāi)組時(shí)避免連續(xù)重新平衡KIP-709：擴(kuò)展 OffsetFetch 請(qǐng)求以接受多個(gè)組 ID請(qǐng)求 Kafka 消費(fèi)者組的當(dāng)前偏移量已經(jīng)有一段時(shí)間了。

但是獲取多個(gè)消費(fèi)者組的偏移量需要對(duì)每個(gè)組進(jìn)行單獨(dú)的請(qǐng)求在 3.0 和KIP-709 中，fetch 和 AdminClient API 被擴(kuò)展為支持在單個(gè)請(qǐng)求/響應(yīng)中同時(shí)讀取多個(gè)消費(fèi)者組的偏移量KIP-699：更新 FindCoordinator 以一次解析多個(gè) Coordinator

支持可以以有效方式同時(shí)易收付pos機(jī)應(yīng)用于多個(gè)消費(fèi)者組的操作在很大程度上取決于客戶(hù)端有效發(fā)現(xiàn)這些組的協(xié)調(diào)者的能力這通過(guò)KIP-699成為可能，它增加了對(duì)通過(guò)一個(gè)請(qǐng)求發(fā)現(xiàn)多個(gè)組的協(xié)調(diào)器的支持Kafka 客戶(hù)端已更新為在與支持此請(qǐng)求的新 Kafka 代理交談時(shí)使用此優(yōu)化。

KIP-724：刪除對(duì)消息格式 v0 和 v1 的支持自 2017 年 6 月隨Kafka 0.11.0推出四年以來(lái)，消息格式 v2 一直是默認(rèn)消息格式因此，在橋下流過(guò)足夠多的水（或溪流）后，3.0 的主要版本為我們提供了棄用舊消息格式（即 v0 和 v1）的好機(jī)會(huì)。

這些格式今天很少使用在 3.0 中，如果用戶(hù)將代理配置為使用消息格式 v0 或 v1，他們將收到警告易收付pos機(jī)此選項(xiàng)將在 Kafka 4.0 中刪除（有關(guān)詳細(xì)信息和棄用 v0 和 v1 消息格式的影響，請(qǐng)參閱KIP-724）。

KIP-707：KafkaFuture 的未來(lái)當(dāng)KafkaFuture引入該類(lèi)型以促進(jìn) Kafka AdminClient 的實(shí)現(xiàn)時(shí)，Java 8 之前的版本仍在廣泛使用，并且 Kafka 正式支持 Java 7。

快進(jìn)幾年后，現(xiàn)在 Kafka 運(yùn)行在支持CompletionStage和CompletableFuture類(lèi)類(lèi)型的Java 版本上使用KIP-707，KafkaFuture添加了一種返回CompletionStage對(duì)象的方法，并以KafkaFuture向后兼容的方式增易收付pos機(jī)強(qiáng)了可用性。

KIP-466：添加對(duì) List 序列化和反序列化的支持KIP-466為泛型列表的序列化和反序列化添加了新的類(lèi)和方法——這一特性對(duì) Kafka 客戶(hù)端和 Kafka Streams 都非常有用KIP-734：改進(jìn) AdminClient.listOffsets 以返回時(shí)間戳和具有最大時(shí)間戳的記錄的偏移量

用戶(hù)列出 Kafka 主題/分區(qū)偏移量的功能已得到擴(kuò)展使用KIP-734，用戶(hù)現(xiàn)在可以要求 AdminClient 返回主題/分區(qū)中具有最高時(shí)間戳的記錄的偏移量和時(shí)間戳（這是不是與什么的AdminClient收益已經(jīng)為最新的偏移，這是下一個(gè)記錄的偏移，在主題/分區(qū)寫(xiě)入混淆。

）這個(gè)擴(kuò)展易收付pos機(jī)現(xiàn)有ListOffsets API允許用戶(hù)探測(cè)生動(dòng)活潑的通過(guò)詢(xún)問(wèn)哪個(gè)是最近寫(xiě)入的記錄的偏移量以及它的時(shí)間戳是什么來(lái)分區(qū)

Kafka ConnectKIP-745：連接 API 以重新啟動(dòng)連接器和任務(wù)在 Kafka Connect 中，連接器在運(yùn)行時(shí)表示為一組Connector類(lèi)實(shí)例和一個(gè)或多個(gè)Task類(lèi)實(shí)例，并且通過(guò) Connect REST API 可用的連接器上的大多數(shù)操作都可以應(yīng)用于整個(gè)組。

從一開(kāi)始，一個(gè)值得注意的例外restart是Connector和Task實(shí)例的端點(diǎn)要重新啟動(dòng)整個(gè)連接器，用戶(hù)必須單獨(dú)調(diào)用以重新啟動(dòng)連接器實(shí)例和任務(wù)實(shí)例在 3.0 中，KIP-745使用戶(hù)能夠通過(guò)一次調(diào)用易收付pos機(jī)重新啟動(dòng)所有或僅失敗的連接器Connector和Task實(shí)例。

此功能是附加功能，restartREST API的先前行為保持不變KIP-738：刪除 Connect 的內(nèi)部轉(zhuǎn)換器屬性在之前的主版本 ( Apache Kafka 2.0 ) 中棄用它們之后，internal.key.converter并internal.value.converter在 Connect 工作器的配置中作為配置屬性和前綴被刪除。

展望未來(lái)，內(nèi)部 Connect 主題將專(zhuān)門(mén)使用JsonConverter來(lái)存儲(chǔ)沒(méi)有嵌入模式的記錄任何使用不同轉(zhuǎn)換器的現(xiàn)有 Connect 集群都必須將其內(nèi)部主題移植到新格式（有關(guān)升級(jí)路徑的詳易收付pos機(jī)細(xì)信息，請(qǐng)參閱KIP-738）。

KIP-722：默認(rèn)啟用連接器客戶(hù)端覆蓋從Apache Kafka 2.3.0 開(kāi)始，可以配置連接器工作器以允許連接器配置覆蓋連接器使用的 Kafka 客戶(hù)端屬性這是一個(gè)廣泛使用的功能，現(xiàn)在有機(jī)會(huì)發(fā)布一個(gè)主要版本，默認(rèn)啟用覆蓋連接器客戶(hù)端屬性的功能（默認(rèn)。

connector.client.config.override.policy設(shè)置為All）KIP-721：在連接Log4j配置中啟用連接器日志上下文另一個(gè)在 2.3.0 中引入但到目前為止尚未默認(rèn)啟用的功能是連接器日志上下文。

這在 3.0 中發(fā)生了變化，連接器上下文默認(rèn)添加log4j到 Connect 工作器易收付pos機(jī)的日志模式中從以前的版本升級(jí)到 3.0 將log4j通過(guò)在適當(dāng)?shù)那闆r下添加連接器上下文來(lái)更改導(dǎo)出的日志行的格式

Kafka StreamsKIP-695：進(jìn)一步改進(jìn) Kafka Streams 時(shí)間戳同步KIP-695增強(qiáng)了 Streams 任務(wù)如何選擇獲取記錄的語(yǔ)義，并擴(kuò)展了配置屬性的含義和可用值max.task.idle.ms。

此更改需要 Kafka 消費(fèi)者 API 中的一種新方法，currentLag如果本地已知且無(wú)需聯(lián)系 Kafka Broker，則能夠返回特定分區(qū)的消費(fèi)者滯后KIP-715：在流中公開(kāi)提交的偏移量3.0開(kāi)始，三個(gè)新的方法添加到TaskMetadata接口：committ易收付pos機(jī)edOffsets，endOffsets，和timeCurrentIdlingStarted。

這些方法可以允許 Streams 應(yīng)用程序跟蹤其任務(wù)的進(jìn)度和運(yùn)行狀況KIP-740：清理公共 API TaskIdKIP-740代表了TaskId該類(lèi)的重大革新有幾種方法和所有內(nèi)部字段已被棄用，新的subtopology()和partition()干將替換舊topicGroupId和partition字段（參見(jiàn)KIP-744的相關(guān)變化和修正KIP-740）。

KIP-744：遷移TaskMetadata，并ThreadMetadata與內(nèi)部實(shí)現(xiàn)的接口KIP-744將KIP-740提出的更改更進(jìn)一步，并將易收付pos機(jī)實(shí)現(xiàn)與許多類(lèi)的公共 API 分開(kāi)為了實(shí)現(xiàn)這一點(diǎn)，引入了新的接口TaskMetadata、ThreadMetadata和StreamsMetadata，而棄用了具有相同名稱(chēng)的現(xiàn)有類(lèi)。

KIP-666：添加Instant基于方法到ReadOnlySessionStore交互式查詢(xún) API 擴(kuò)展了ReadOnlySessionStore和SessionStore接口中的一組新方法，這些方法接受Instant數(shù)據(jù)類(lèi)型的參數(shù)。

此更改將影響需要實(shí)現(xiàn)新方法的任何自定義只讀交互式查詢(xún)會(huì)話(huà)存儲(chǔ)實(shí)現(xiàn)KIP-622：添加currentSystemTimeMs和currentStreamTimeMs到Processor易收付pos機(jī)Context該P(yáng)rocessorContext增加在3.0兩個(gè)新的方法，currentSystemTimeMs和currentStreamTimeMs。

新方法使用戶(hù)能夠分別查詢(xún)緩存的系統(tǒng)時(shí)間和流時(shí)間，并且可以在生產(chǎn)和測(cè)試代碼中以統(tǒng)一的方式使用它們KIP-743：刪除0.10.0-2.4Streams 內(nèi)置指標(biāo)版本配置的配置值3.0 中取消了對(duì) Streams 中內(nèi)置指標(biāo)的舊指標(biāo)結(jié)構(gòu)的支持。

KIP-743正在0.10.0-2.4從配置屬性中刪除該值built.in.metrics.version這latest是目前此屬性的唯一有效值（自 2.5 以來(lái)一直是默認(rèn)值）KIP-741：將默認(rèn) Ser易收付pos機(jī)De 更改為

刪除了默認(rèn) SerDe 屬性的先前默認(rèn)值流過(guò)去默認(rèn)為ByteArraySerde. 用3.0開(kāi)始，沒(méi)有缺省，和用戶(hù)需要任一組其的SerDes根據(jù)需要在A(yíng)PI中或通過(guò)設(shè)置默認(rèn)DEFAULT_KEY_SERDE_CLASS_CONFIG和。

DEFAULT_VALUE_SERDE_CLASS_CONFIG在它們的流配置先前的默認(rèn)值幾乎總是不適用于實(shí)際應(yīng)用程序，并且造成的混亂多于方便KIP-733：更改 Kafka Streams 默認(rèn)復(fù)制因子配置。

有了主要版本的機(jī)會(huì)，Streams 配置屬性的默認(rèn)值replication.factor會(huì)從 1 更改為 -1這將允許新的 Streams 應(yīng)易收付pos機(jī)用程序使用在 Kafka 代理中定義的默認(rèn)復(fù)制因子，因此在它們轉(zhuǎn)移到生產(chǎn)時(shí)不需要設(shè)置此配置值。

請(qǐng)注意，新的默認(rèn)值需要 Kafka Brokers 2.5 或更高版本KIP-732：棄用 eos-alpha 并用 eos-v2 替換 eos-beta在 3.0 中不推薦使用的另一個(gè) Streams 配置值是exactly_once作為屬性的值processing.guarantee。

該值exactly_once對(duì)應(yīng)于 Exactly Once Semantics (EOS) 的原始實(shí)現(xiàn)，可用于連接到 Kafka 集群版本 0.11.0 或更高版本的任何 Streams 應(yīng)用程序此EOS的第一實(shí)現(xiàn)易收付pos機(jī)已經(jīng)通過(guò)流第二實(shí)施EOS的，這是由值表示取代exactly_once_beta在processing.guarantee性質(zhì)。

展望未來(lái)，該名稱(chēng)exactly_once_beta也已棄用并替換為新名稱(chēng)exactly_once_v2在下一個(gè)主要版本 (4.0) 中，exactly_once和exactly_once_beta都將被刪除，exactly_once_v2作為 EOS 交付保證的唯一選項(xiàng)。

KIP-725：優(yōu)化 WindowedSerializer 和 WindowedDeserializer 的配置配置屬性default.windowed.key.serde.inner和default.易收付pos機(jī)windowed.value.serde.inner已棄用，取而代之的是

windowed.inner.class.serde供消費(fèi)者客戶(hù)端使用的單個(gè)新屬性建議 Kafka Streams 用戶(hù)通過(guò)將其傳遞到 SerDe 構(gòu)造函數(shù)來(lái)配置他們的窗口化 SerDe，然后在拓?fù)渲惺褂盟娜魏蔚胤教峁?SerDe。

KIP-633：棄用 Streams 中寬限期的 24 小時(shí)默認(rèn)值在 Kafka Streams 中，允許窗口操作根據(jù)稱(chēng)為寬限期的配置屬性處理窗口外的記錄以前，這個(gè)配置是可選的，很容易錯(cuò)過(guò)，導(dǎo)致默認(rèn)為24小時(shí)。

這是Suppression運(yùn)營(yíng)商用戶(hù)經(jīng)常感到困惑的原因，因?yàn)樗鼤?huì)緩沖記錄直到寬限期結(jié)易收付pos機(jī)束，因此會(huì)增加 24 小時(shí)的延遲在 3.0 中，Windows類(lèi)通過(guò)工廠(chǎng)方法得到增強(qiáng)，這些工廠(chǎng)方法要求它們使用自定義寬限期或根本沒(méi)有寬限期來(lái)構(gòu)造。

已棄用默認(rèn)寬限期為 24 小時(shí)的舊工廠(chǎng)方法，以及與grace()已設(shè)置此配置的新工廠(chǎng)方法不兼容的相應(yīng)APIKIP-623：internal-topics為流應(yīng)用程序重置工具添加“ ”選項(xiàng)通過(guò)kafka-streams-application-reset添加新的命令行參數(shù)，應(yīng)用程序重置工具的 Streams 使用變得更加靈活：--internal-topics. 新參數(shù)接受逗號(hào)分隔的主題名稱(chēng)列表，這些名稱(chēng)對(duì)應(yīng)于可以使用此應(yīng)用程序工具安排刪除的內(nèi)部主題。易收付pos機(jī)

將此新參數(shù)與現(xiàn)有參數(shù)相結(jié)合，--dry-run允許用戶(hù)在實(shí)際執(zhí)行刪除操作之前確認(rèn)將刪除哪些主題并在必要時(shí)指定它們的子集

MirrorMakerKIP-720：棄用 MirrorMaker v1在 3.0 中，不推薦使用 MirrorMaker 的第一個(gè)版本展望未來(lái)，新功能的開(kāi)發(fā)和重大改進(jìn)將集中在 MirrorMaker 2 (MM2) 上。

KIP-716：允許使用 MirrorMaker2 配置偏移同步主題的位置在 3.0 中，用戶(hù)現(xiàn)在可以配置 MirrorMaker2 創(chuàng)建和存儲(chǔ)用于轉(zhuǎn)換消費(fèi)者組偏移量的內(nèi)部主題的位置這將允許 MirrorMaker2 的用戶(hù)將源 Kafka 集群維護(hù)為嚴(yán)格只讀易收付pos機(jī)的集群，并使用不同的 Kafka 集群來(lái)存儲(chǔ)偏移記錄（即目標(biāo) Kafka 集群，甚至是源和目標(biāo)集群之外的第三個(gè)集群）。

Apache Kafka 3.0 是 Apache Kafka 項(xiàng)目向前邁出的重要一步。