Hình ảnh hóa dữ liệu từ Magicbit trong AWS: 5 bước

2024 Tác giả: John Day | [email protected]. Sửa đổi lần cuối: 2024-01-30 13:30

Dữ liệu thu thập từ các cảm biến kết nối với Magicbit sẽ được xuất bản lên lõi AWS IOT thông qua MQTT để được hiển thị trực quan bằng đồ họa trong thời gian thực. Chúng tôi đang sử dụng magicbit làm bảng phát triển trong dự án này dựa trên ESP32. Do đó, bất kỳ bảng phát triển ESP32 nào cũng có thể được sử dụng trong dự án này.

Quân nhu:

Magicbit

Bước 1: Câu chuyện

Dự án này là về việc kết nối thiết bị Magicbit của bạn với Đám mây AWS thông qua MQTT. Dữ liệu được gửi qua MQTT được phân tích và trực quan hóa trên đám mây bằng các dịch vụ AWS. Vậy hãy bắt đầu

Trước tiên, bạn nên truy cập Bảng điều khiển AWS và đăng nhập. Vì mục đích học tập, bạn có thể sử dụng tùy chọn cấp miễn phí do AWS cung cấp. Nó sẽ là đủ cho dự án này.

Để đơn giản hơn, tôi sẽ chia dự án thành hai phần.

Đây sẽ là giai đoạn đầu tiên của dự án của chúng tôi. Vào cuối giai đoạn đầu, dữ liệu sẽ được lưu trữ trong nhóm S3.

Các dịch vụ AWS sẽ được sử dụng trong phần đầu tiên,

• Kinesis Firehose
• Keo AWS
• AWS S3

Đầu tiên điều hướng đến dịch vụ AWS Kinesis.

Chọn Kinesis Data Firehose như hình dưới đây và nhấp vào Tạo

Sau đó, bạn sẽ được chuyển đến Bước 1 của quá trình tạo dịch vụ Firehose. Nhập tên luồng phân phối và chọn Đặt trực tiếp hoặc Nguồn khác. Bấm tiếp.

Trong cửa sổ Bước 2, hãy để mọi thứ như mặc định và nhấp vào tiếp theo. Sau khi tạo Dịch vụ Keo AWS, chúng tôi sẽ quay lại để chỉnh sửa bước này.

Ở Bước 3, chọn một thùng S3 nếu bạn đã tạo nó trước đó. Nếu không, hãy nhấp vào tạo và tạo một nhóm. Trong phần tiền tố S3, hãy sử dụng tiền tố đích / và trong tiền tố lỗi, hãy nhập lỗi /. Bạn có thể nhập bất kỳ tên nào cho hai tên trên. Nhưng để dễ dàng hơn, chúng tôi sẽ tiếp tục với một cái tên chung. Đảm bảo tạo một thư mục có tên là đích bên trong nhóm bạn đã chọn. Bấm tiếp.

Trong Bước 4, chọn kích thước bộ đệm tối thiểu và khoảng thời gian đệm để truyền dữ liệu thời gian thực. Trong phần Quyền chọn Tạo hoặc cập nhật IAM roleKinesisFirehoseServiceRole. Giữ mọi thứ mặc định. Bấm tiếp.

Trong phần tiếp theo, phần đánh giá về những thay đổi bạn đã thực hiện sẽ được hiển thị. Bấm OK. Sau đó, bạn sẽ có một Kinesis Firehose đang hoạt động.

Nếu bạn tạo thành công dịch vụ Firehose, bạn sẽ nhận được một cái gì đó như thế này.

Bước 2: Kiểm tra Firehose và S3 Bucket

Để kiểm tra xem bộ chứa firehose và S3 có hoạt động bình thường hay không, hãy chọn lõi IOT trong bảng điều khiển. Bạn sẽ được dẫn đến một trang như thế này. Chọn Quy tắc và tạo quy tắc.

Quy tắc AWS IOT là gì?

Nó được sử dụng để chuyển tiếp bất kỳ dữ liệu nào nhận được từ MQTT tới một dịch vụ cụ thể. Trong ví dụ này, chúng tôi sẽ chuyển tiếp đến Kinesis Firehose.

Chọn tên cho Quy tắc. Giữ nguyên Quy tắc và Câu lệnh Truy vấn. Điều này cho chúng tôi biết rằng bất kỳ thứ gì được xuất bản cho chủ đề iot / topic sẽ được chuyển tiếp đến kinesis Firehose thông qua quy tắc này.

Trong phần Đặt một hoặc nhiều hành động, hãy nhấp vào thêm hành động. Chọn Gửi tin nhắn tới Amazon Kinesis Firehose Stream. Chọn cấu hình. Sau đó chọn tên của dòng firehose đã tạo trước đó. Sau đó nhấp vào Tạo vai trò và tạo một vai trò. Bây giờ bạn đã tạo thành công một vai trò trong AWS.

Bất kỳ thông báo nào bạn xuất bản sẽ được chuyển tiếp qua các nhóm Kinesis Firehose tới S3.

Hãy nhớ Firehose sẽ gửi dữ liệu khi bộ đệm của nó được lấp đầy hoặc khi đạt đến khoảng thời gian đệm. Khoảng đệm tối thiểu là 60 giây.

Bây giờ chúng ta có thể chuyển sang phần thứ hai của dự án. Đây sẽ là sơ đồ luồng dữ liệu của chúng tôi.

Bước 3: Định cấu hình AWS Glue

Tại sao chúng ta cần AWS Glue và AWS Athena?

Dữ liệu được lưu trữ trong nhóm S3 không thể được sử dụng trực tiếp làm đầu vào cho AWS Quicksight. Đầu tiên chúng ta cần sắp xếp dữ liệu dưới dạng bảng. Đối với điều này, chúng tôi sử dụng hai dịch vụ trên.

Đi tới Keo AWS. Chọn Trình thu thập thông tin trên thanh công cụ bên. Sau đó chọn Thêm trình thu thập thông tin.

Trong bước đầu tiên, hãy nhập tên cho trình thu thập thông tin của bạn. Bấm tiếp. Trong bước tiếp theo, hãy để nó như mặc định. Trong bước thứ ba, hãy nhập đường dẫn đến nhóm S3 mà bạn đã chọn. Để cửa sổ tiếp theo làm mặc định. Trong cửa sổ thứ năm, hãy nhập bất kỳ vai trò IAM nào. Trong bước tiếp theo, chọn tần suất chạy dịch vụ.

Nên chọn tùy chỉnh trong hộp thả xuống và chọn thời gian tối thiểu.

Trong bước tiếp theo, nhấp vào Thêm cơ sở dữ liệu và sau đó tiếp theo. Nhấp vào Kết thúc.

Bây giờ chúng ta nên tích hợp Kinesis Firehose của mình với AWS Glue mà chúng ta đã tạo.

Truy cập AWS Kinesis firehose mà chúng tôi đã tạo và nhấp vào chỉnh sửa.

Cuộn xuống phần Chuyển đổi Định dạng Bản ghi và chọn Đã bật.

Chọn định dạng đầu ra là Apache Parquet. Đối với phần còn lại của các chi tiết, hãy điền vào các chi tiết của cơ sở dữ liệu Keo bạn đã tạo. Một bảng phải được tạo trong cơ sở dữ liệu và tên phải được thêm vào phần này. Nhấp vào để lưu.

Bước 4: Định cấu hình AWS Athena

Chọn cơ sở dữ liệu và bảng dữ liệu bạn đã tạo. Trong phần truy vấn mã này nên được thêm vào.

tên bảng phải được thay thế bằng tên thực của bảng Keo bạn đã tạo.

Nhấp vào Chạy truy vấn. Nếu nó hoạt động, dữ liệu được lưu trữ trong nhóm AWS S3 sẽ được hiển thị dưới dạng bảng dữ liệu.

Bây giờ chúng tôi đã sẵn sàng để trực quan hóa dữ liệu chúng tôi nhận được.

Bước 5: Định cấu hình QuickSight

Điều hướng đến AWS Quicksight

Nhấp vào Phân tích mới ở góc trên cùng bên phải và sau đó nhấp vào Tập dữ liệu mới.

Chọn Athena từ danh sách. Nhập bất kỳ tên nguồn Dữ liệu nào trên thẻ bật lên.

Chọn cơ sở dữ liệu Keo từ hộp thả xuống và bảng có liên quan. Điều này sẽ dẫn bạn đến trang này.

Kéo và thả bất kỳ trường nào từ danh sách trường và chọn bất kỳ kiểu trực quan nào.

Bây giờ bạn có thể hình dung bất kỳ dữ liệu nào được gửi từ MagicBit của bạn bằng các dịch vụ AWS !!!

Hãy nhớ cho phép truy cập quicksight cho các nhóm S3 tương ứng để trực quan hóa dữ liệu trong đó.