O Apache Kafka® é uma plataforma de streaming distribuída. O que exatamente isso significa?
Uma plataforma de streaming tem três recursos principais:
Publique e inscreva-se em fluxos de registros, semelhantes a uma fila de mensagens ou sistema de mensagens corporativo.
Armazene fluxos de registros de uma maneira durável e tolerante a falhas.
Processe fluxos de registros conforme eles ocorrem.
Uma plataforma de streaming tem três recursos principais:
Publique e inscreva-se em fluxos de registros, semelhantes a uma fila de mensagens ou sistema de mensagens corporativo.
Armazene fluxos de registros de uma maneira durável e tolerante a falhas.
Processe fluxos de registros conforme eles ocorrem.
O Kafka é geralmente usado para duas classes amplas de aplicações:
Construindo pipelines de dados de fluxo em tempo real que confiantemente obtêm dados entre sistemas ou aplicativos
Construindo aplicativos de streaming em tempo real que transformam ou reagem aos fluxos de dados
Para entender como Kafka faz essas coisas, vamos mergulhar e explorar os recursos de Kafka de baixo para cima.
Primeiro alguns conceitos:
O Kafka é executado como um cluster em um ou mais servidores que podem abranger vários datacenters.
O cluster Kafka armazena fluxos de registros em categorias denominadas tópicos.
Cada registro consiste em uma chave, um valor e um registro de data e hora.
Kafka tem quatro APIs principais:
A Producer API permite que um aplicativo publique um fluxo de registros em um ou mais tópicos do Kafka.
A API do Consumidor permite que um aplicativo assine um ou mais tópicos e processe o fluxo de registros produzidos para eles.
A API do Streams permite que um aplicativo atue como um processador de fluxo, consumindo um fluxo de entrada de um ou mais tópicos e produzindo um fluxo de saída para um ou mais tópicos de saída, transformando efetivamente os fluxos de entrada em fluxos de saída.
A Connector API permite criar e executar produtores ou consumidores reutilizáveis que conectam tópicos do Kafka a aplicativos ou sistemas de dados existentes. Por exemplo, um conector para um banco de dados relacional pode capturar todas as alterações em uma tabela.
Construindo pipelines de dados de fluxo em tempo real que confiantemente obtêm dados entre sistemas ou aplicativos
Construindo aplicativos de streaming em tempo real que transformam ou reagem aos fluxos de dados
Para entender como Kafka faz essas coisas, vamos mergulhar e explorar os recursos de Kafka de baixo para cima.
Primeiro alguns conceitos:
O Kafka é executado como um cluster em um ou mais servidores que podem abranger vários datacenters.
O cluster Kafka armazena fluxos de registros em categorias denominadas tópicos.
Cada registro consiste em uma chave, um valor e um registro de data e hora.
Kafka tem quatro APIs principais:
A Producer API permite que um aplicativo publique um fluxo de registros em um ou mais tópicos do Kafka.
A API do Consumidor permite que um aplicativo assine um ou mais tópicos e processe o fluxo de registros produzidos para eles.
A API do Streams permite que um aplicativo atue como um processador de fluxo, consumindo um fluxo de entrada de um ou mais tópicos e produzindo um fluxo de saída para um ou mais tópicos de saída, transformando efetivamente os fluxos de entrada em fluxos de saída.
A Connector API permite criar e executar produtores ou consumidores reutilizáveis que conectam tópicos do Kafka a aplicativos ou sistemas de dados existentes. Por exemplo, um conector para um banco de dados relacional pode capturar todas as alterações em uma tabela.
Nenhum comentário:
Postar um comentário