Site icon TAPIT

Xây dựng ứng dụng Internet of Things với trợ lý ảo Google Assistant và ESP8266 sử dụng Smart home Actions (P3)

Sau khi tạo xong Google project và cài đặt Firebase CLI tools để tương tác với firebase ở phần 2, phần này mình sẽ giới thiệu đến các bạn những thành phần cơ bản nhất của mô hình Smart home Actions đó là Home Graph và Device Types/Traits. Sau đó chúng ta sẽ tìm hiểu cách viết một chương trình fulfillment bằng ngôn ngữ Node.js để xử lý các intent từ Google Assistant và tương tác với Firebase Realtime Database nhé.

Phần 3: Home Graph, Device Types/Traits và xây dựng Fulfillment

1. Cơ sở dữ liệu Home Graph

Với mô hình Smart home Actions, khi người dùng sử dụng ứng dụng Home trên điện thoại hoặc sử dụng giọng nói tương tác với trợ lý ảo Google để thực hiện một yêu cầu nào đó, chẳng hạn điều khiển hay truy vấn trạng thái của một thiết bị trong hệ thống. Google Assistant phải tiếp nhận và hiểu yêu cầu nhằm đưa ra hành động phù hợp tiếp theo, để làm được điều đó Google Assistant cần tham chiếu một cơ sở dữ liệu đặc biệt có tên là Home Graph.

Home Graph là một cơ sở dữ liệu có chứa các trạng thái và ngữ cảnh của ngôi nhà cùng với các thiết bị bên trong ngôi nhà, nó sẽ cung cấp cho Google Assistant thông tin về toàn bộ kiến trúc của hệ thống, như có bao nhiêu phòng trong nhà, đó là những phòng nào, các thiết bị cụ thể trong mỗi phòng và trạng thái hiện tại của mỗi thiết bị,…

Nhờ cơ sở dữ liệu đặc biệt này mà người dùng mới có thể có được giao diện trực quan từ ứng dụng Home và tương tác với trợ lý ảo Google Assistant một cách tự nhiên nhất. Ví dụ người dùng có thể điều khiển nhiều thiết bị cùng lúc, hoặc điều khiển một thiết bị trong một phòng cụ thể nào đó Google Assistant đều có thể hiểu được nhờ dữ liệu được tổ chức phân cấp và dán nhãn cụ thể trong Home Graph.

2. Device Types và Device Traits:

Khi nói đến nhà thông minh, thành phần cơ bản nhất và rất quan trọng mà chúng ta phải quan tâm đó là “thiết bị”, một mô hình hoặc nền tảng xây dựng nhà thông minh cần phải hỗ trợ tích hợp nhiều loại thiết bị khác nhau như đèn, quạt, máy hút bụi, máy giặc, điều hòa, máy sưởi,… và với mỗi loại thiết bị thì sẽ có các đặc điểm, cách thức điều khiển khác nhau.

Khi người dùng yêu cầu: “Hey Google, change the bedroom light to 50% brightness!” hoặc “Hey Google, pause the vacuum!“, Google sẽ trích xuất các thông tin cần thiết từ yêu cầu, trong đó có 2 loại dữ liệu liên quan đến thiết bị là: “loại thiết bị” (light và vacuum) và “đặc tính của thiết bị” (brightness và pause) để gửi đến server (còn gọi là fulfillment), từ đó server đã lập trình sẵn sẽ thực thi yêu cầu và gửi phản hồi về lại Google. Nếu như các bạn từng theo dõi chuỗi bài viết hướng dẫn xây dựng ứng dụng tích hợp Google Asisstant sử dụng mô hình Conversational Actions của mình trước đây các bạn sẽ thấy một điều là các loại thiết bị cụ thể, các trạng thái thiết bị, các câu thoại tương ứng để tương tác thiết bị trong hệ thống thì chúng ta cần phải tự khai báo thủ công toàn bộ trên Dialogflow.  Việc phải thủ công toàn bộ các bước như vậy đôi lúc sẽ khiến nhà phát triển tốn khá nhiều thời gian, thật may mắn là với mô hình Smart home Actions này thì Google đã xây dựng sẵn cho chúng ta ở các bước này rồi, mô hình định nghĩa 2 loại thông số liên quan đến thiết bị để chúng ta có thể lựa chọn sử dụng là:

Với mỗi Types có thể có một hoặc nhiều Trais, ví dụ với loại thiết bị bóng đèn có type là Light có thể có các traits: OnOff (bật tắt), Brightness (điều chỉnh độ sáng), và ColorSetting (điều chỉnh màu sắc). Và các thông số này sẽ được gửi trong các gói intent request và response dưới định dạng chuỗi json kiểu như thế này:

Vì vậy, công việc của chúng ta khi xây dựng fulfillment sẽ chỉ là nhận các gói request từ Google, trích xuất chuỗi json để thực thi và gửi phải hồi lại theo format đã được định nghĩa sẵn, trong bài này mình sẽ sử dụng ngôn ngữ Node.js để lập trình fulfillment và xử lý các gói tin.

3. Lập trình fulfillment:

Trong chuỗi bài viết này, mình sẽ hướng dẫn các bạn xây dựng ứng dụng điều khiển LED trên NodeMCU bằng trợ lý ảo Google để mô phỏng thiết bị đèn. Như đã phân tích ở phần 1 fulfillment của chúng ta sẽ bao gồm 2 server là auth/token server để xử lý Account linking (quá trình xác thực ban đầu giữa Home app và fulfillment) và smarthome server để xử lý các intent SYNC, EXEC và QUERY.

Chương trình mẫu nằm trong thư mục Fulfillment các bạn có thể tải ở đây, sau khi tải về các bạn copy và paste vào file index.js trong thư mục functions để bước tiếp theo chúng ta sẽ deploy lên Firebase Functions. Trước khi deploy, mình sẽ giải thích tổng quan các chức năng có trong chương trình:

Import module: 

Các dòng đầu tiên này có chức năng import các module cần thiết và gán vào các biến để phục vụ các chức năng chúng ta sẽ viết bên dưới, giống như include thư viện trong các ngôn ngữ C, C++ quen thuộc. Trong đó:

Xây dựng fake auth/token server:

Auth/token server là một endpoint rất quan trọng trong các ứng dụng thực tế, đây là server để xử lý việc xác thực theo cơ chế OAuth 2.0 giữa người dùng với server của hãng thông qua tài khoản đã đăng ký và quản lý thời gian các phiên sử dụng thông qua các token. Chúng ta có thể xây dựng các hàm yêu cầu người dùng xác thực bằng Gmail hoặc Facebook trước khi sử dụng, tuy nhiên trong khuôn khổ bài viết này chúng ta sẽ cho phép xác thực bằng các giá trị mặc định bằng cách triển khai hai hàm fakeauthfaketoken:

Xây dựng smarthome server để xử lý các intent:

Đầu tiên tạo đối tượng app:

Sau đó ta xây dựng các hàm để xử lý intent từ đối tượng này: app.onSync, app.onQueryapp.onExecute.

Hàm onSync xử lý các yêu cầu đồng bộ danh sách thiết bị của Google, hàm sẽ được gọi trong trường hợp người dùng liên kết ban đầu hoặc kết nối lại thông qua ứng dụng Home, tức là khi nhận được intent action.devices.SYNC. Gói tin phản hồi cần chứa các thông tin : tất cả thiết bị hiện có (type), đặc điểm thiết bị (trait) và các thuộc tính khác của các thiết bị. Dưới đây là chương trình mẫu:

Hàm onQuery để xử lý các yêu cầu truy vấn trạng thái hiện tại của thiết bị, hàm được gọi khi nhận được intent action.devices.QUERY, ví dụ khi người dùng hỏi về trạng thái on/off, độ sáng hiện tại của đèn,… Dữ liệu trả về sẽ là trạng thái của các thiết bị phân biệt nhau bởi id của từng thiết bị, đây đoạn là chương trình mẫu:

Trong project chúng ta xây dựng, dữ liệu trạng thái thiết bị sẽ được truy xuất từ Firebase Realtime Database. Vì vậy chúng ta cần viết thêm hàm queryFirebase và queryDevice để truy vấn trạng thái:

sau đó dữ liệu nhận về sẽ được truyền vào payload phản hồi về cho Google Assistant:

Hàm onExcute dùng để xử lý các yêu cầu thực thi hành động đối với thiết bị, và hàm sẽ được gọi khi nhận được intent action.devices.EXECUTE, ví dụ khi người dùng yêu cầu điều khiển bật tắt đèn, thay đổi màu sắc, độ sáng,… Dữ liệu trả về sẽ là trạng thái thiết bị sau khi cập nhật và trạng thái của quá trình thực thi như: SUCCESS, ERROR. Đoạn chương trình mẫu:

Trong project của chúng ta, sau khi thực thi trạng thái của thiết bị sẽ được cập nhật lền Firebase Realtime Database nên sẽ được viết như sau:

Cuối cùng tất cả sẽ được exports thành hàm smarthome

Các thuộc tính cụ thể và các viết các intent các bạn có thể tham khảo thêm ở đây

Bây giờ chúng ta sẽ triển khai fulfillment lên Cloud Functions. Từ thư mục chứa project ở cửa sổ cmd, các bạn thực hiện như sau:

Sau khi deploy xong, để kiểm tra truy cập vào vào đường dẫn ở dòng Project Console sẽ dẫn đến cửa sổ Firebase Console. Chọn mục Functions ở thanh menu sẽ thấy 3 hàm chúng ta vừa deploy xong đang lắng nghe các request.

Như vậy mình đã hướng dẫn các bạn cách viết chương trình fulfillment để xử lý các intent và triển khai các function lên Firebase Cloud Functions. Trong bài viết tiếp theo chúng ta sẽ thực hiện liên kết fulfillment với actions để có thể điều khiển bằng trợ lý ảo Google nhé. Chúc các bạn thành công!

Nhóm TAPIT IoTs

Xem tiếp Phần 4: Liên kết Actions với Fulfillment và lập trình ESP8266

Xem thêm: Video youtube hướng dẫn thực hiện ứng dụng

Xem thêm:  Tổng hợp hướng dẫn Internet of Things với NodeMCU ESP8266 và ESP32