Thiết lập Kafka: 4 bước

2024 Tác giả: John Day | [email protected]. Sửa đổi lần cuối: 2024-01-30 13:33

Giới thiệu:

Apache Kafka là một hệ thống nhắn tin mã nguồn mở có khả năng mở rộng và thông lượng cao được phát triển bởi Apache Software Foundation được viết bằng Scala. Apache Kafka được thiết kế đặc biệt để cho phép một cụm duy nhất đóng vai trò là xương sống dữ liệu trung tâm cho một môi trường lớn. Nó có thông lượng cao hơn nhiều so với các hệ thống môi giới tin nhắn khác như ActiveMQ và RabbitMQ. Nó có khả năng xử lý khối lượng lớn dữ liệu thời gian thực một cách hiệu quả. Bạn có thể triển khai Kafka trên một máy chủ Apache hoặc trong một môi trường phân cụm phân tán.

Đặc trưng:

Các tính năng chung của Kafka như sau:

Thông báo liên tục trên đĩa cung cấp hiệu suất thời gian không đổi.

Thông lượng cao với cấu trúc đĩa hỗ trợ hàng trăm nghìn tin nhắn mỗi giây.

Hệ thống phân tán mở rộng quy mô dễ dàng mà không cần thời gian chết.

Hỗ trợ nhiều người đăng ký và tự động cân bằng người tiêu dùng trong thời gian thất bại.

Hướng dẫn này cho biết cách cài đặt và cấu hình Apache Kafka trên máy chủ Ubuntu 16.04.

Yêu cầu

Máy chủ Ubuntu 16.04.

Tài khoản người dùng không phải root có đặc quyền người dùng cấp cao được thiết lập trên máy chủ của bạn.

Bước 1: Bắt đầu và cài đặt Java

1) Hãy bắt đầu đảm bảo rằng máy chủ Ubuntu 16.04 của bạn đã được cập nhật đầy đủ

Bạn có thể cập nhật máy chủ của mình bằng cách chạy các lệnh sau: -

sudo apt-get update -y

sudo apt-get nâng cấp -y

2) Cài đặt Java

Kiểm tra xem máy của bạn có java đã được cài đặt hay có phiên bản java mặc định hay không bằng lệnh sau: -

java -version

Ngay cả khi bạn có java nhưng phiên bản thấp hơn, Bạn sẽ phải nâng cấp nó.

Bạn có thể cài đặt Java bằng cách: -

sudo apt-get install default-jdk

HOẶC

Bạn có thể cài đặt Oracle JDK 8 bằng cách sử dụng kho lưu trữ PPA của nhóm Webupd8.

Để thêm kho lưu trữ, hãy chạy lệnh sau: -

sudo add-apt-repository -y ppa: webupd8team / java

sudo apt-get install oracle-java8-installer -y

Bước 2: Cài đặt Zookeeper

Zookeeper là gì?

Zookeeper là một dịch vụ tập trung để duy trì thông tin cấu hình, đặt tên, cung cấp đồng bộ hóa phân tán và cung cấp các dịch vụ nhóm. Tất cả các loại dịch vụ này được sử dụng dưới hình thức này hay hình thức khác bởi các ứng dụng phân tán. Mỗi khi chúng được triển khai, có rất nhiều công việc phải tiến hành sửa lỗi và điều kiện chạy đua là điều không thể tránh khỏi. Do sự khó khăn trong việc triển khai các loại dịch vụ này, các ứng dụng ban đầu thường tiết kiệm chi phí, điều này khiến chúng trở nên dễ hỏng khi có sự thay đổi và khó quản lý. Ngay cả khi được thực hiện đúng cách, các triển khai khác nhau của các dịch vụ này dẫn đến sự phức tạp trong quản lý khi các ứng dụng được triển khai.

Trước khi cài đặt Apache Kafka, bạn cần có sẵn và chạy chương trình Zookeeper. ZooKeeper là một dịch vụ mã nguồn mở để duy trì thông tin cấu hình, cung cấp đồng bộ hóa phân tán, đặt tên và cung cấp các dịch vụ nhóm.

1) Theo mặc định, gói Zookeeper có sẵn trong kho lưu trữ mặc định của Ubuntu

Bạn có thể cài đặt nó bằng cách chạy lệnh sau: -

sudo apt-get install zookeeperd

Sau khi cài đặt xong, nó sẽ tự động bắt đầu dưới dạng daemon. Theo mặc định, Zookeeper sẽ chạy trên cổng 2181.

Bạn có thể kiểm tra nó bằng cách chạy lệnh sau:

netstat -ant | grep: 2181

Việc đưa ra sẽ cho bạn thấy rằng cổng 2181 đang được lắng nghe.

Bước 3: Cài đặt và khởi động máy chủ Kafka

Bây giờ Java và ZooKeeper đã được cài đặt, đã đến lúc tải xuống và giải nén Kafka từ trang web Apache.

1) Bạn có thể sử dụng curl hoặc wget để tải xuống Kafka: (Kafka phiên bản 0.10.1.1)

Chạy lệnh sau để tải xuống thiết lập kafka: -

curl -O

HOẶC

wget

2) Tạo một thư mục cho Kafka

Tiếp theo, tạo một thư mục để cài đặt Kafka:

sudo mkdir / opt / kafka

cd / opt / kafka

3) Giải nén thư mục đã tải xuống

sudo tar -zxvf /home/user_name/Downloads/kafka_2.11-0.10.1.1.tgz -C / opt / kafka /

* Thay đổi tên người dùng theo tên người dùng của bạn

4) Khởi động máy chủ kafka

Bước tiếp theo là khởi động máy chủ Kafka, bạn có thể khởi động nó bằng cách chạy tập lệnh kafka-server-start.sh nằm tại thư mục /opt/kafka/kafka_2.11-0.10.1.1/bin/ bằng lệnh sau: -

sudo /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-server-start.sh /opt/kafka/kafka_2.11-0.10.1.1/config/server.properties

5) Kiểm tra xem Máy chủ Kafka có hoạt động tốt không

Bây giờ bạn có một máy chủ Kafka đang chạy và nghe trên cổng 9092.

Bây giờ, chúng ta có thể kiểm tra các cổng lắng nghe:

- ZooKeeper: 2181

- Kafka: 9092

netstat -ant | grep -E ': 2181 |: 9092'

Bước 4: Kiểm tra máy chủ Kafka của bạn

Bây giờ, đã đến lúc xác minh máy chủ Kafka đang hoạt động chính xác.

1) Tạo một chủ đề mới

Để kiểm tra Kafka, hãy tạo một chủ đề mẫu với tên "testing" trong Apache Kafka bằng lệnh sau:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --create --topic testing --zookeeper localhost: 2181 --partitions 1 --replication-factor 1

2) Kiểm tra xem chủ đề của bạn đã được tạo thành công chưa

Bây giờ, hãy yêu cầu Zookeeper liệt kê các chủ đề có sẵn trên Apache Kafka bằng cách chạy lệnh sau:

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-topics.sh --list --zookeeper localhost: 2181

3) Xuất bản một tin nhắn bằng cách sử dụng chủ đề bạn đã tạo

echo "xin chào thế giới" | /opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-producer.sh --broker-list localhost: 9092 - thử nghiệm chuyên đề

4) Nhận tin nhắn về chủ đề đã tạo

/opt/kafka/kafka_2.11-0.10.1.1/bin/kafka-console-consumer.sh --bootstrap-server localhost: 9092 - thử nghiệm chuyên đề – ngay từ đầu

5) Để gửi tệp bằng kafka về một chủ đề

kafka-console-producer.sh --broker-list localhost: 9092 –topic testing