執簡馭繁再玩MQTT
作者:塾長 日期:2020-12-12 18:22
利用積木程式拉取來建立MQTT應用,在Webbit上操作簡單好用,無需設定MQTT Server,可以自由建立頻道、收發訊息後執行程式。只要把連接概念與需求想通,我相信從網頁、平板、手機、機器人、物聯網感測器等各方面都能夠依需串接連通,並且再與Line發訊、Google資料表連結也沒問題。
首先在Webbit擴充添加「網路廣播」積木群,就有「向頻道發送訊息」、「從頻道接收訊息後執行」,以及「收到的廣播訊息」三個積木,以下我先以舞台上的怪獸互動表現:
1、同一個網頁上,點擊綠色怪獸,向頻道「yellow」發出「你好」的訊息,接著從頻道「yellow」接收廣播訊息,執行「黃色怪獸」說出「收到的廣播訊息」。
右上角「執行」程式後,利用滑鼠點擊綠色怪獸,黃色怪獸就說出「你好」。
程式碼連結
2、從上述網頁發送訊息給另一個程式頁:從頻道「yellow」接收廣播訊息,執行「所有怪獸」說出「收到的廣播訊息」。
程式碼連結
您也可以開啟上述程式碼連結、自由設定頻道與傳送訊息後,執行玩玩看喔!
後記:
最近讓五年級孩子們利用物聯網感測來設計土石流預警系統(模型),翻看自己半年前寫的許多MQTT想法與應用,卻發現「自己都看不太懂」....,呵呵,反省一下再出發!
利用Google試算表讀寫Web:Bit語音朗讀與辨識~欄位變換應用
作者:塾長 日期:2020-06-02 22:18
萬用遙控器的18般武藝
作者:塾長 日期:2020-05-31 20:00
這陣子對於「Webduino Remote 萬用遙控器」有許多使用想像,決定寫這篇:一個萬用遙控器可表現的18個指令運用。
稱其萬用,只要程式多樣設計表現沒問題;遙控什麼與表現,可以以終為始來看。
在慶奇「Webduino」系列產品中,主要以「怪獸舞台(瀏覽器網頁)」、「Web:Bit(含擴充套件)」、「MoonCar自走車」與「KebbiAir」四大類。所以我以遙控器的「圖像前頁」與「按鈕後頁」做個組合分析,方便日後發想程式應用參考。基本上,遙控器做好了,除了改成對應自己程式的MQTT頻道與傳送訊息之外,幾乎不必常更動。
前頁的凱比可以按住上、下、左、右滑動,只要一放開,都會彈回中間。幾次操作下來,對於「上、下、左、右滑動」有時感覺不確定有達到,所以我把這四個參數,主要就來控制「MoonCar自走車」與「KebbiAir」的行動:前進、後退與左右轉彎,而放開回中心點,就形同「停止」。因此本來19個訊息可傳輸,我扣掉這一個剩18個。
前頁下方的四隻怪獸按鈕,建議對應「舞台與四隻怪獸」表現:怪獸移動、說話(文字)、語音(朗讀與辨識)與音效、按鍵輸入、YouTube影片播放....等,這些在「怪獸舞台(瀏覽器網頁)」、「KebbiAir臉部」都可以對應呈現。
後頁的十個按鈕,我建議留最後一個按鈕的名稱來展現此遙控器功能說明(按下去可以語音解說),一方面每個設計好的遙控器都有單一網址,但前頁都長得一樣,所以利用按鈕名稱來說明此遙控器功能。
接著,就是剛才四大類「Webduino」產品,以及Google試算表讀寫應用:讀取比對字串、播放語音、影音相片,寫入語音辨識文字、鍵盤或NFC輸入資料,以及感應器偵測數據等,未來應該還可以加上相片、聲音雲端連結與檔案儲存。
一個按鈕可以只控制一種產品(一個到多個),也可以多種多個產品「共舞」。
一頁遙控器只設定輸出一個MQTT頻道,所以可以一頁控制一機到多機(以KebbiAir為例),而所有參與者(包含老師與學生),可以拿同一個遙控器連結一起玩,也可以各自建立或發給遙控器來運用。
此外,我特別關注語音、影片與Google試算表讀寫應用的原因,主要思考的就是教育機器人在不同教學場域應用的需求,尤其可以在老師與學生之間,多了聲音、語言與多媒體、硬體及環境互動的豐富多樣性,也讓機器人的運作多了「人味」。針對教學實況與師生組合、領域特性,都可以自行修改活用。
以下是目前的應用分享,我從簡漸繁列出:
※法蘭斯 老師這張MQTT傳輸頁,真是精簡得經典!
※Web:Bit語音朗讀與辨識
※利用Google試算表讀寫Web:Bit語音朗讀與辨識
※結合語音辨識與NFC輸入建立Google試算表資料
使用了遙控器:
※執簡馭繁萬言遙控!
※我與凱比學飛!
※「萬用遙控器」混控試玩
※利用「Webduino Remote 萬用遙控器」設計IRS即時作答應用
繼續努力研究:
※對於AI機器人的教育想望
我與凱比學飛!
作者:塾長 日期:2020-05-24 20:40
我一直想著:把自己塞進機器人裡會是什麼樣子?當然,「塞」的形式與意涵可以有很多種。
最近看到幾個案例:「大前研一創辦大學辦遠端畢典 視訊+學士服機器人代領證書」,以及「南郵“雲畢業典禮”上熱搜,校長為機器人撥穗超有儀式感!」,或許觀眾與當事人感受,可能各有千秋。
不過,小草和輝聲老師常用凱比直接視訊通話、川劇變臉也表演得很合拍(影片) ,所以我也來玩一下內嵌YouTube影片分享。
這是上個月在國北碩班裡的介紹,「萬用遙控器」混控試玩的分享,我利用Web:Bit x Kebbi編程,利用凱比的臉(Android平板)播放YouTube,重點就在於錄製一個「全滿版我的臉」的影片,我是上回測試WebCam時順便錄 製,因為這樣可以即時看到畫面效果。雖然這樣在YouTube上觀看有點奇怪,但結合凱比的肢體動作,效果還不錯。
另外,讓多台凱比同步表現,也是利用「萬用遙控器 」操控的,很有意思吧!
博物館與AI機器人初探
作者:塾長 日期:2020-05-18 22:40
兩年前的今天「世界博物館日」,我帶著凱比同學去逛台中科博館,那時科博館有租用Pepper進行服務,可惜正好遇上維修沒能讓兩台機器人交流一下。
兩年後的今天,我利用凱比Air的雲端編程平台 (CodeLab),加上3D模擬器,讓孩子們開始AI機器人編程,加上近幾週都在玩Webduino的「萬用遙控器」,可以結合實體與虛擬機器人的表現進行比較與課程活動設計,為「德音智慧學習領航專案」超前部署一番。
此外,昨天台中歌劇院今年NTT-TIFA演出《無光風景》(自由時報月初介紹),是藝術家王連晟結合舞蹈、戲劇與科技的創作,試著呈現一名盲女、一盞檯燈、一個管家機器人、一扇百葉窗,沒有對白只靠動作,在舞台上能有多少種想像?我第一次這樣線上看演出,也有機會再思考AI機器人於教學現場、圖書館與博物館裡各種應用多樣性。,現在仍可線上收看(歌劇院FB 或YouTube頻道)
最近利用iPad畫了一張圖,有關博物館既有運作、展出,與結合機器人後,可以帶給館方人員、現場遊客什麼不一樣的感受?以及,再有可能為「未來」館所的遊客如何營造一種期待想來的心情呢?當然,我還是以十多年前參與「社教博識網」的WebQuest學習概念出發,如今有了更像人、更可以貼心服務的AI機器人教育應用,相信可以帶來更多不同的博物館學習多樣性。找了些國外博物館案例,等明天全天備課日再來好好整理。
執簡馭繁萬言遙控!
作者:塾長 日期:2020-05-13 21:23
「萬用遙控器」混控試玩
作者:塾長 日期:2020-05-06 20:54
周三晚上,輕鬆吃完鬆餅、做好復健,想起前兩個週三晚上在國北碩班課裡的混亂冒險,實在該好好整理才是。前天利用「Webduino Remote 萬用遙控器」設計IRS即時作答,也是分享後教學相長的收穫呢!
這次以「一個遙控器」,同時控制「Webduino怪獸舞台」、「Webbit」、「裝Webbit的月球車」、「凱比Air」的協作表現,是自己搭配測試的心得,野人獻曝先。
在萬用遙控器的首頁,主要有凱比圖案可以用手指滑動來上(up)、下(down)、左(left)、右(right),手指放開則立即彈回中間(reset),以及四隻怪獸(分別以顏色依序為g、r、y、b)、可供點選,這樣都提供各自的「頻道發出訊息」(我都先以預設值應用) ,背面的按鈕則有10個,可以自訂按鈕名稱,並且發出10個訊息(1~10)。
想同時控制「Webduino怪獸舞台」、「Webbit」、「裝Webbit的月球車」、「凱比Air」協作表現,這次我以三個Webduino網頁程式來設計:
A.舞台區以凱比圖案控制怪獸移動,按鈕1~4則發出不同聲音、播放YouTube影片。
在螢幕播放影片時,還可以利用遙控器讓怪獸在舞台上移動,很有意思。(若未來以圖片搭配、紀錄怪獸座標,應該可以當闖關考題應用)
B.練習用鍵盤控制Webbit板子、舞台與遙控器
接收遙控器頻道訊息(5、6) ,舞台發聲與板子LED表現。
以電腦鍵盤控制舞台怪獸移動,板子按鈕LED與舞台一起表現。
C.遙控器操控「裝Webbit的月球車」、「凱比Air」協作表現
讓月球車與凱比表現相同方式,前後移動,左右轉彎
四隻怪獸按鈕表現凱比說話、表情與肢體動作。
按鈕1播放影片,搭配凱比動作,2則是換回凱比的臉,否則會停留在YouTube頁面。3~6講話,試搭配上面舞台、板子互動時的組合。
最後的表現我想利用OBS再來錄製,不過,過程裡其實是持續調整、搭配彼此的效果而成。例如我抓了「等待3.5秒」,一方面等影片或動作表現後,才邀請觀眾進行互動(不要笑、請掌聲鼓勵),或者是影片播放、舞台發出聲音後,再請凱比講話介紹或提出問題。
我再畫整體圖像與這次組合表格來看,未來可做為腳本設計參考。
利用「Webduino Remote 萬用遙控器」設計IRS即時作答應用
作者:塾長 日期:2020-05-04 20:01
寒假期間我開始探索物聯網的MQTT協定,對於其發明之初是為了監測油管運輸的服務感覺有意思,推薦這篇「你不知道的MQTT物联网协议起源——基于卫星通信的石油管道远程监控 」。
後來看到「物聯網產品可信度的評判指標分層模型」(一下子找不到出處),是以馬斯洛的需求理論來比對,更是喜歡,深深覺得:物聯網、MQTT應用於智慧學習的潛力一定不小。
終於在「An MQTT-based Context-aware Wearable Assessment Platform for Smart Watches」文中,讓我看到更完整的架構,對於「AI機器人可以擔任教師助教(Tutor)與學習夥伴(Peer)」的理想,感覺更接近一大步了。
關於MQTT架構圖,請先參考Google 。
不過,真正顛覆我思考框架的是黃文玉老師介紹「Webduino Remote 萬用遙控器」的文章,提到Webduino工程師小彥設計的網頁萬用遙控器(GitHub連結 ),讓我豁然開朗:物聯網,並非只能是「物品」連上網路,而應該可以「每張網頁都是物聯網運籌中心,每頁都是MQTT轉運站」!
簡單而言,在Webduino網站的服務裡,MQTT都直接包好,使用者不必管主機、帳號跟密碼,以萬用遙控器為例,我們可以用網頁立即自訂發佈跟接收頻道,這樣就能在Webduino整體服務之間自由串整。當然,MQTT本身是開放的,應該也能與其他程式或服務串接。
本篇我以「網頁式IRS」設計來介紹,如圖:
1.積木網頁,老師規劃出題,這裡以語音為例,接收各學生頻道作答,將記錄寫入Google試算表。
建立自己的Google試算表網址與工作表名稱(answer),來自老師的頻道是teacher,四位學生分別是stu1~stu4。
第一題,stu1學生作答的紀錄存在工作表(answer)e1欄位,stu4學生作答的紀錄存在工作表(answer)h1欄位。
第二題,stu1學生作答的紀錄存在工作表(answer)e2欄位,stu4學生作答的紀錄存在工作表(answer)h2欄位。
2.遙控器端分為老師與學生(四位學生為例),老師的頻道是teacher(連結),四位學生分別是stu1(連結 )~stu4。萬用遙控器網頁分三個區塊:
主控區有可愛凱比與怪獸(本篇先略過),左上邊 九宮格按下後有按鈕區,右上角三條線按下則是參數設定,這裡只要改自己設定的頻道以及按鈕名稱即可。
參數修改完複製一個新的網址來使用。
3.Google試算表,提供試算表ID、工作表名稱與對應作答紀錄欄位。可參考「Web:Bit Google 試算表」教學。
開啟「積木網頁」 執行(記得先改成自己的試算表網址喔!),即可利用老師遙控器網頁(連結)出題,學生stu1(連結 )~stu4網頁作答,利用手機、平板或電腦都可以,建議使用Chrome瀏覽器。
你會看到學生作答情形直接出現在試算表中,後續我想繼續研究從試算表建立題庫,以及學生作答欄位與題號自動對應,同時作答情形也可以即時統計、加以回饋。