Configurare Kafka: 4 passaggi

2024 Autore: John Day | [email protected]. Ultima modifica: 2024-01-30 10:02

Introduzione:

Apache Kafka è un sistema di messaggistica open source scalabile e ad alto rendimento sviluppato dalla Apache Software Foundation scritto in Scala. Apache Kafka è appositamente progettato per consentire a un singolo cluster di fungere da dorsale dati centrale per un ambiente di grandi dimensioni. Ha un throughput molto più elevato rispetto ad altri sistemi di broker di messaggi come ActiveMQ e RabbitMQ. È in grado di gestire in modo efficiente grandi volumi di dati in tempo reale. Puoi distribuire Kafka su un singolo server Apache o in un ambiente cluster distribuito.

Caratteristiche:

Le caratteristiche generali di Kafka sono le seguenti:

Messaggio persistente su disco che fornisce prestazioni temporali costanti.

Elevata velocità di trasmissione con strutture del disco che supportano centinaia di migliaia di messaggi al secondo.

Il sistema distribuito si ridimensiona facilmente senza tempi di inattività.

Supporta più abbonati e bilancia automaticamente i consumatori in caso di guasto.

Questo tutorial mostra come installare e configurare Apache Kafka su un server Ubuntu 16.04.

Requisiti

Un server Ubuntu 16.04.

Account utente non root con privilegi di super utente impostato sul tuo server.

Passaggio 1: iniziare e installare Java

1) Iniziamo ad assicurarci che il tuo server Ubuntu 16.04 sia completamente aggiornato

Puoi aggiornare il tuo server eseguendo i seguenti comandi:-

sudo apt-get update -y

sudo apt-get upgrade -y

2) Installazione di Java

Controlla se la tua macchina ha Java già installato o ha una versione predefinita di Java con il seguente comando: -

java -versione

Anche se hai Java ma una versione precedente, dovrai aggiornarlo.

Puoi installare Java: -

sudo apt-get install default-jdk

O

Puoi installare Oracle JDK 8 utilizzando il repository PPA del team Webupd8.

Per aggiungere il repository, esegui il seguente comando:-

sudo add-apt-repository -y ppa:webupd8team/java

sudo apt-get install oracle-java8-installer -y

Passaggio 2: installa Zookeeper

Cos'è Zookeeper?

Zookeeper è un servizio centralizzato per la gestione delle informazioni di configurazione, la denominazione, la sincronizzazione distribuita e la fornitura di servizi di gruppo. Tutti questi tipi di servizi vengono utilizzati in una forma o nell'altra da applicazioni distribuite. Ogni volta che vengono implementati, c'è molto lavoro da fare per correggere i bug e le condizioni di gara che sono inevitabili. A causa della difficoltà di implementazione di questo tipo di servizi, le applicazioni inizialmente solitamente li lesinano, il che li rende fragili in presenza di cambiamenti e difficili da gestire. Anche se eseguite correttamente, diverse implementazioni di questi servizi portano a complessità di gestione quando le applicazioni vengono distribuite.

Prima di installare Apache Kafka, dovrai avere Zookeeper disponibile e funzionante. ZooKeeper è un servizio open source per la gestione delle informazioni di configurazione, la sincronizzazione distribuita, la denominazione e la fornitura di servizi di gruppo.

1) Per impostazione predefinita, il pacchetto Zookeeper è disponibile nel repository predefinito di Ubuntu

Puoi installarlo eseguendo il seguente comando:-

sudo apt-get install zookeeperd

Una volta terminata l'installazione, verrà avviato automaticamente come demone. Per impostazione predefinita, Zookeeper verrà eseguito sulla porta 2181.

Puoi testarlo eseguendo il seguente comando:

netstat -ant | grep:2181

L'output dovrebbe mostrare che la porta 2181 è in ascolto.

Passaggio 3: installa e avvia Kafka Server

Ora che Java e ZooKeeper sono installati, è il momento di scaricare ed estrarre Kafka dal sito Web di Apache.

1) Puoi usare curl o wget per scaricare Kafka: (Kafka versione 0.10.1.1)

Esegui il seguente comando per scaricare l'installazione di kafka: -

curl -O

O

wget

2) Creare una directory per Kafka

Quindi, crea una directory per l'installazione di Kafka:

sudo mkdir /opt/kafka

cd /opt/kafka

3) Decomprimi la cartella scaricata

sudo tar -zxvf /home/nome_utente/Downloads/kafka_2.11-0.10.1.1.tgz -C /opt/kafka/

*Cambia il nome utente in base al tuo nome utente

4) Avvia il server kafka

Il passaggio successivo è avviare il server Kafka, è possibile avviarlo eseguendo lo script kafka-server-start.sh situato nella directory /opt/kafka/kafka_2.11-0.10.1.1/bin/ utilizzando il seguente comando:-

sudo /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-server-start.sh /opt/kafka/kafka_2.11-0.10.1.1/config/server.properties

5)Controllare se il server Kafka funziona bene

Ora hai un server Kafka in esecuzione e in ascolto sulla porta 9092.

Ora possiamo controllare le porte di ascolto:

- Custode dello zoo: 2181

- Kafka: 9092

netstat -ant | grep -E ':2181|:9092'

Passaggio 4: prova il tuo server Kafka

Ora è il momento di verificare che il server Kafka funzioni correttamente.

1) Crea un nuovo argomento

Per testare Kafka, crea un argomento di esempio con il nome "testing" in Apache Kafka usando il seguente comando:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --create --topic testing --zookeeper localhost:2181 --partitions 1 --replication-factor 1

2) Controlla se il tuo argomento è stato creato con successo

Ora chiedi a Zookeeper di elencare gli argomenti disponibili su Apache Kafka eseguendo il seguente comando:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --list --zookeeper localhost:2181

3)Pubblica un messaggio usando l'argomento che hai creato

echo "ciao mondo" | /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic testing

4)Ricevi il messaggio sull'argomento creato

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic testing –from-beginning

5) Per inviare un file usando kafka su un argomento

kafka-console-producer.sh --broker-list localhost:9092 –topic testing