Инструменты Kafka не запускаются Ubuntu 18.04 - proUbuntu
0 голосов
/ 03 мая

Я установил kafkatools от http://www.kafkatool.com/download.html в Ubuntu 18.04. Установка в порядке, но когда я нажал на нее, она ничего не делает. Я установил несколько раз на разных устройствах, но я действительно понятия не имею, что происходит.

Сначала я установил openjdk-8-jdk, kafkatools и afte r, которые я установил zookeepe r и kafka, и я удалил kafkatools и переустановил его, но проблема остается.

1 Ответ

0 голосов
/ 03 мая

Kafka - это распределенная потоковая платформа. Это полезно для r построения потоковых конвейеров данных в реальном времени для получения данных между системами r приложений. Еще одна полезная функция r - потоковые приложения в реальном времени, которые могут преобразовывать потоки данных или r реагировать на поток данных. Этот ответ r поможет вам установить Apache Kafka на Ubuntu 16.04 и позднее r.

1. Установите Java

Apache Кафке требуется Java для запуска. На вашей r системе должна быть установлена ​​Java. Выполните приведенную ниже команду, чтобы установить OpenJDK по умолчанию на вашу r систему из официальных репозиториев Ubuntu. Вы также можете установить версию c из здесь .

sudo apt update
sudo apt install openjdk-8-jdk

2. Загрузить Apache Kafka

Загрузить бинарные файлы Apache Kafka с официального сайта download . Вы также можете выбрать любую ближайшую загрузку mirro r.

wget http://www-us.apache.org/dist/kafka/2.4.0/kafka_2.13-2.4.0.tgz

Затем распаковать архивный файл.

tar xzf kafka_2.13-2.4.0.tgz
mv kafka_2.13-2.4.0 /usr/local/kafka

3. Настройка файлов модулей systemd Kafka

Затем создайте файлы модулей systemd для r службы Zookeepe r и Kafka. Это поможет управлять службами Kafka для запуска / остановки с помощью команды systemctl.

Сначала создайте файл системного модуля fo r Zookeepe r с помощью следующей команды:

vim /etc/systemd/system/zookeeper.service

Add содержимое ниже:

[Unit]
Description=Apache Zookeeper server
Documentation=http://zookeeper.apache.org
Requires=network.target remote-fs.target
After=network.target remote-fs.target
[Service]
Type=simple
ExecStart=/usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties
ExecStop=/usr/local/kafka/bin/zookeeper-server-stop.sh
Restart=on-abnormal
[Install]
WantedBy=multi-user.target

Сохраните файл и закройте его.

Затем создайте файл модуля systemd Kafka, используя следующую команду:

sudo nano /etc/systemd/system/kafka.service

Добавить ниже содержание. Обязательно установите правильный JAVA_HOME путь как pe r Java, установленный в вашей r системе.

[Unit]
Description=Apache Kafka Server
Documentation=http://kafka.apache.org/documentation.html
Requires=zookeeper.service
[Service]
Type=simple
Environment="JAVA_HOME=/usr/lib/jvm/java-1.11.0-openjdk-amd64"
ExecStart=/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties
ExecStop=/usr/local/kafka/bin/kafka-server-stop.sh
[Install]
WantedBy=multi-user.target

Сохраните файл и закройте.

Перезагрузите демон systemd для применения новых изменений.

systemctl daemon-reload

4. Запустите подачу Kafka r

Кафке требуется ZooKeepe r, поэтому сначала запустите ZooKeepe r serve r в вашей системе r. Вы можете использовать скрипт, доступный в Kafka, для запуска экземпляра ZooKeepe r с одним узлом.

sudo systemctl start zookeeper

Теперь запустите подачу Kafka r и просмотрите статус выполнения:

sudo systemctl start kafka
sudo systemctl status kafka

Kafka service on ubuntu

Все готово. Установка Kafka была успешно завершена. Следующая часть этого ответа r поможет вам работать с подачей кафки r.

5. Создание topi c в Kafka

Kafka предоставляет несколько готовых сценариев оболочки для работы с ним. Сначала создайте топи c с именем "testTopi c" с одним разделом с одной репликой:

cd /usr/local/kafka
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testTopic
Created topic testTopic.

Фактор репликации r описывает, сколько копий данных будет создано. Поскольку мы работаем с одним экземпляром, оставьте это значение равным 1.

Установите параметры разделения в качестве числа r брокеров, для которых вы хотите, чтобы данные r были разделены между. Поскольку мы работаем с одним прерыванием r, оставьте это значение равным 1.

Вы можете создать несколько тем, выполнив ту же команду, что и выше. После r вы можете увидеть созданные темы на Kafka, выполнив следующую команду:

bin/kafka-topics.sh --list --zookeeper localhost:2181
testTopic
TecAdminTutorial1
TecAdminTutorial2

В качестве альтернативы, вместо создания тем вручную, вы также можете настроить брокеров r на автоматическое создание тем. когда несуществующие топи c опубликованы в.

6. Отправлять сообщения в Kafka

"product r" является процессом, ответственным за r передачу данных в ou r Kafka. Kafka поставляется с клиентом командной строки, который будет принимать входные данные из файла o r со стандартного ввода и отправлять их в виде сообщений в кластер Kafka r. Kafka по умолчанию отправляет каждую строку отдельным сообщением.

Давайте запустим файл r, а затем наберем несколько сообщений в консоль для отправки на сервер r.

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic testTopic

> Welcome to kafka
> This is my first topic

Вы можете выйти из этой команды o r оставить этот терминал включенным для r тестирования r. Теперь откройте новый терминал для процесса Kafka потребления r на следующем шаге.

7. Использование Kafka потребляет r

Kafka также имеет командную строку потребляет r для чтения данных из кластера Kafka r и отображения сообщений на стандартный вывод.

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic testTopic --from-beginning
Welcome to kafka
This is my first topic

Теперь Если у вас все еще работает Kafka, производите r (Шаг 6) в другом терминале r, просто введите текст на этом терминале r. Он сразу будет виден на терминале потребления r. Смотрите на скриншот ниже: Kafka производит r и потребляет r в рабочем состоянии:

Источник: Как установить Apache Кафку на Ubuntu 18.04 и 16.04

...