Как установить Apache Kafka в CentOS / RHEL 7

Apache Kafka это мощный механизм обмена сообщениями, который широко используется в проектах BigData. А так же в жизненном цикле анализа данных. Это платформа с открытым исходным кодом для построения конвейеров потоковой передачи данных в реальном времени. А так же это распределенная платформа для публикации и подписки с надежностью, масштабируемостью и долговечностью.

Kafka может быть как автономная так и как кластерная. Kafka хранит потоковые данные ,и они могут быть классифицированы как темы. Тема будет иметь несколько разделов, так что она может обрабатывать произвольный объем данных. Кроме того, мы можем иметь несколько копий для отказоустойчивости, как это происходит в HDFS. В кластере Kafka брокер – это компонент, который хранит опубликованные данные.

Zookeeper это обязательная служба для запуска кластера Kafka, поскольку она используется для управления координацией брокеров Kafka. Zookeeper играет ключевую роль между производителем и потребителем, где он отвечает за поддержание состояния всех брокеров.

В этой статье мы объясним, как установить Apache Kafka в одном узле CentOS 7 или RHEL 7.

Установка Apache Kafka в CentOS 7

1. Во-первых, вам нужно установить Java в вашу систему. Java требуется для запуска Apache Kafka без каких-либо ошибок. Итак, установите доступную по умолчанию версию Java с помощью следующей команды yum и проверьте версию Java.

Проверка Версии Java

# yum -y install java-1.8.0-openjdk
# java -version

Загрузка Apache Kafka

2. Теперь загрузите самую последнюю стабильную версию Apache Kafka. Это можно сделать с официального сайта. Или используйте команду wget, чтобы загрузить ее напрямую и извлечь.

# wget https://mirrors.estointernet.in/apache/kafka/2.7.0/kafka_2.13-2.7.0.tgz
# tar-xzf kafka_2. 13-2. 7. 0. tgz

3. Создайте ссылку для пакета kafka, затем добавьте путь к .bash_profile файлу среды Kafka. И инициализируйте его, как показано на рисунке.

# ln -s kafka_2.13-2.7.0 kafka

# echo “export PATH=$PATH:/root/kafka_2.13-2.7.0/bin” >> ~/.bash_profile

# source ~/.bash_profile

4. Теперь запустите Zookeeper,который поставляется встроенным в пакет Kafka. Поскольку это кластер с одним узлом, вы можете запустить zookeeper со свойствами по умолчанию.

# zookeeper-server-start.sh -daemon / root/kafka/config/zookeeper. properties

5. Проверьте, доступен ли zookeeper, просто подключив telnet к порту 2181 Zookeeper.

# telnet localhost 9092

6. Теперь создайте пример темы.

# kafka-topics.sh –create –ZooKeeper localhost:2181 –replication-factor 1 –partitions 1 –topic tecmint

7. Перечислите созданную тему.

# kafka-topics.sh –zookeeper localhost:2181 –list

Заключение

Ну вот и все. В этой статье мы рассмотрели, как установить кластер Kafka с одним узлом в CentOS 7.