瀏覽模式: 普通 | 列表

執簡馭繁再玩MQTT

      利用積木程式拉取來建立MQTT應用,在Webbit上操作簡單好用,無需設定MQTT Server,可以自由建立頻道、收發訊息後執行程式。只要把連接概念與需求想通,我相信從網頁、平板、手機、機器人、物聯網感測器等各方面都能夠依需串接連通,並且再與Line發訊、Google資料表連結也沒問題。

      首先在Webbit擴充添加「網路廣播」積木群,就有「向頻道發送訊息」、「從頻道接收訊息後執行」,以及「收到的廣播訊息」三個積木,以下我先以舞台上的怪獸互動表現:

attachments/202012/0669976809.jpg attachments/202012/1095129265.jpg

   

1、同一個網頁上,點擊綠色怪獸,向頻道「yellow」發出「你好」的訊息,接著從頻道「yellow」接收廣播訊息,執行「黃色怪獸」說出「收到的廣播訊息」。
右上角「執行」程式後,利用滑鼠點擊綠色怪獸,黃色怪獸就說出「你好」。

程式碼連結

attachments/202012/4689806362.jpg

2、從上述網頁發送訊息給另一個程式頁:從頻道「yellow」接收廣播訊息,執行「所有怪獸」說出「收到的廣播訊息」。

程式碼連結

 attachments/202012/4296255858.jpg

      您也可以開啟上述程式碼連結、自由設定頻道與傳送訊息後,執行玩玩看喔!

後記:

      最近讓五年級孩子們利用物聯網感測來設計土石流預警系統(模型),翻看自己半年前寫的許多MQTT想法與應用,卻發現「自己都看不太懂」....,呵呵,反省一下再出發!

標籤: webduino IoT MQTT kebbi

      接續「利用Google試算表讀寫Web:Bit語音朗讀與辨識」,趁上周六南下高雄請益,學會了Web:Bit積木中Google欄位讀寫,以變數方式讓程式更簡潔,同時讓我想到好玩的應用喔!

YouTube影片介紹

      由程式讀取欄位文字轉為語音朗讀後,等候學習者回應,並語音辨識、寫文字回Google試算表。接著再讀下一欄資料朗讀、辨識推進。那麼,我可以利用「空檔」,持續接寫出要讓積木取來朗讀的文句,想像這樣的應用機會應該很廣吧,哈哈!

attachments/202006/9030700908.jpg attachments/202006/3701878086.jpg

萬用遙控器的18般武藝

     
      這陣子對於「Webduino Remote 萬用遙控器」有許多使用想像,決定寫這篇:一個萬用遙控器可表現的18個指令運用。

      稱其萬用,只要程式多樣設計表現沒問題;遙控什麼與表現,可以以終為始來看。     

      在慶奇「Webduino」系列產品中,主要以「怪獸舞台(瀏覽器網頁)」、「Web:Bit(含擴充套件)」、「MoonCar自走車」與「KebbiAir」四大類。所以我以遙控器的「圖像前頁」與「按鈕後頁」做個組合分析,方便日後發想程式應用參考。基本上,遙控器做好了,除了改成對應自己程式的MQTT頻道與傳送訊息之外,幾乎不必常更動。

attachments/202005/2902714289.jpg

      前頁的凱比可以按住上、下、左、右滑動,只要一放開,都會彈回中間。幾次操作下來,對於「上、下、左、右滑動」有時感覺不確定有達到,所以我把這四個參數,主要就來控制「MoonCar自走車」與「KebbiAir」的行動:前進、後退與左右轉彎,而放開回中心點,就形同「停止」。因此本來19個訊息可傳輸,我扣掉這一個剩18個。

      前頁下方的四隻怪獸按鈕,建議對應「舞台與四隻怪獸」表現:怪獸移動、說話(文字)、語音(朗讀與辨識)與音效、按鍵輸入、YouTube影片播放....等,這些在「怪獸舞台(瀏覽器網頁)」、「KebbiAir臉部」都可以對應呈現。
      後頁的十個按鈕,我建議留最後一個按鈕的名稱來展現此遙控器功能說明(按下去可以語音解說),一方面每個設計好的遙控器都有單一網址,但前頁都長得一樣,所以利用按鈕名稱來說明此遙控器功能。
      接著,就是剛才四大類「Webduino」產品,以及Google試算表讀寫應用:讀取比對字串、播放語音、影音相片,寫入語音辨識文字、鍵盤或NFC輸入資料,以及感應器偵測數據等,未來應該還可以加上相片、聲音雲端連結與檔案儲存。

      一個按鈕可以只控制一種產品(一個到多個),也可以多種多個產品「共舞」。

      一頁遙控器只設定輸出一個MQTT頻道,所以可以一頁控制一機到多機(以KebbiAir為例),而所有參與者(包含老師與學生),可以拿同一個遙控器連結一起玩,也可以各自建立或發給遙控器來運用。

      此外,我特別關注語音、影片與Google試算表讀寫應用的原因,主要思考的就是教育機器人在不同教學場域應用的需求,尤其可以在老師與學生之間,多了聲音、語言與多媒體、硬體及環境互動的豐富多樣性,也讓機器人的運作多了「人味」。針對教學實況與師生組合、領域特性,都可以自行修改活用。

      以下是目前的應用分享,我從簡漸繁列出:

法蘭斯 老師這張MQTT傳輸頁,真是精簡得經典! 
Web:Bit語音朗讀與辨識
利用Google試算表讀寫Web:Bit語音朗讀與辨識
結合語音辨識與NFC輸入建立Google試算表資料

      使用了遙控器:
執簡馭繁萬言遙控!
我與凱比學飛!
「萬用遙控器」混控試玩
利用「Webduino Remote 萬用遙控器」設計IRS即時作答應用

      繼續努力研究:

「老有所衷」:長照2.0 機器人解決方案

對於AI機器人的教育想望 
    

我與凱比學飛!

      我一直想著:把自己塞進機器人裡會是什麼樣子?當然,「塞」的形式與意涵可以有很多種。

      最近看到幾個案例:「大前研一創辦大學辦遠端畢典 視訊+學士服機器人代領證書」,以及「南郵“雲畢業典禮”上熱搜,校長為機器人撥穗超有儀式感!」,或許觀眾與當事人感受,可能各有千秋。

attachments/202005/3493517378.jpg attachments/202005/7764460281.jpg attachments/202005/4871283717.jpg

      不過,小草和輝聲老師常用凱比直接視訊通話、川劇變臉也表演得很合拍(影片) ,所以我也來玩一下內嵌YouTube影片分享。

attachments/202005/3290419891.jpg attachments/202005/4103306307.jpg attachments/202005/0897512911.jpg


      這是上個月在國北碩班裡的介紹,「萬用遙控器」混控試玩的分享,我利用Web:Bit x Kebbi編程,利用凱比的臉(Android平板)播放YouTube,重點就在於錄製一個「全滿版我的臉」的影片,我是上回測試WebCam時順便錄 製,因為這樣可以即時看到畫面效果。雖然這樣在YouTube上觀看有點奇怪,但結合凱比的肢體動作,效果還不錯。

attachments/202005/5354605443.jpg attachments/202005/3110666684.jpg

      另外,讓多台凱比同步表現,也是利用「萬用遙控器 」操控的,很有意思吧!

看我飛影片

萬用遙控器群控凱比Air影片

attachments/202005/3298324477.jpg attachments/202005/2785626811.jpg

標籤: webduino IoT MQTT kebbi

博物館與AI機器人初探

      兩年前的今天「世界博物館日」,我帶著凱比同學去逛台中科博館,那時科博館有租用Pepper進行服務,可惜正好遇上維修沒能讓兩台機器人交流一下。

attachments/202005/7269893746.jpgattachments/202005/4115239522.jpg  

      兩年後的今天,我利用凱比Air的雲端編程平台 (CodeLab),加上3D模擬器,讓孩子們開始AI機器人編程,加上近幾週都在玩Webduino的「萬用遙控器」,可以結合實體與虛擬機器人的表現進行比較與課程活動設計,為「德音智慧學習領航專案」超前部署一番。

attachments/202005/7673097316.jpg attachments/202005/9383203168.jpg

      此外,昨天台中歌劇院今年NTT-TIFA演出《無光風景》(自由時報月初介紹),是藝術家王連晟結合舞蹈、戲劇與科技的創作,試著呈現一名盲女、一盞檯燈、一個管家機器人、一扇百葉窗,沒有對白只靠動作,在舞台上能有多少種想像?我第一次這樣線上看演出,也有機會再思考AI機器人於教學現場、圖書館與博物館裡各種應用多樣性。,現在仍可線上收看(歌劇院FBYouTube頻道)

 attachments/202005/4335792680.jpg

      最近利用iPad畫了一張圖,有關博物館既有運作、展出,與結合機器人後,可以帶給館方人員、現場遊客什麼不一樣的感受?以及,再有可能為「未來」館所的遊客如何營造一種期待想來的心情呢?當然,我還是以十多年前參與「社教博識網」的WebQuest學習概念出發,如今有了更像人、更可以貼心服務的AI機器人教育應用,相信可以帶來更多不同的博物館學習多樣性。找了些國外博物館案例,等明天全天備課日再來好好整理。

 attachments/202005/0853243185.jpg

標籤: webduino IoT MQTT kebbi

執簡馭繁萬言遙控!

      關於「萬用遙控器」,無論是「IRS即時作答應用」,或者是「混控試玩」,都是想很多之後的應用,昨晚試了最簡版,愈發現執簡馭繁更好玩!

      我嘗試即時更動MQTT傳送的訊息,直接將文字資訊作為讓接收端「說話」的內容。

      這樣的應用很廣:陪孩子們閱讀文章、對話設計、即時打字應對都很方便喔!

操作影片

      程式簡單(webbit教育版網頁),萬用遙控器就用來輸入說話內容。

attachments/202005/7885223656.jpg attachments/202005/6607879743.jpg

標籤: webduino IoT MQTT kebbi

「萬用遙控器」混控試玩

      周三晚上,輕鬆吃完鬆餅、做好復健,想起前兩個週三晚上在國北碩班課裡的混亂冒險,實在該好好整理才是。前天利用「Webduino Remote 萬用遙控器」設計IRS即時作答,也是分享後教學相長的收穫呢!

      這次以「一個遙控器」,同時控制「Webduino怪獸舞台」、「Webbit」、「裝Webbit的月球車」、「凱比Air」的協作表現,是自己搭配測試的心得,野人獻曝先。

attachments/202005/9786649317.jpg

      在萬用遙控器的首頁,主要有凱比圖案可以用手指滑動來上(up)、下(down)、左(left)、右(right),手指放開則立即彈回中間(reset),以及四隻怪獸(分別以顏色依序為g、r、y、b)、可供點選,這樣都提供各自的「頻道發出訊息」(我都先以預設值應用) ,背面的按鈕則有10個,可以自訂按鈕名稱,並且發出10個訊息(1~10)。

      想同時控制「Webduino怪獸舞台」、「Webbit」、「裝Webbit的月球車」、「凱比Air」協作表現,這次我以三個Webduino網頁程式來設計:

A.舞台區以凱比圖案控制怪獸移動,按鈕1~4則發出不同聲音、播放YouTube影片。

      在螢幕播放影片時,還可以利用遙控器讓怪獸在舞台上移動,很有意思。(若未來以圖片搭配、紀錄怪獸座標,應該可以當闖關考題應用)

attachments/202005/9345201123.jpg attachments/202005/9056543961.jpg

B.練習用鍵盤控制Webbit板子、舞台與遙控器

      接收遙控器頻道訊息(5、6) ,舞台發聲與板子LED表現。

      以電腦鍵盤控制舞台怪獸移動,板子按鈕LED與舞台一起表現。

 attachments/202005/4483397115.jpg

C.遙控器操控「裝Webbit的月球車」、「凱比Air」協作表現

      讓月球車與凱比表現相同方式,前後移動,左右轉彎

attachments/202005/2302443477.jpg

       四隻怪獸按鈕表現凱比說話、表情與肢體動作。

 attachments/202005/3751691516.jpg

      按鈕1播放影片,搭配凱比動作,2則是換回凱比的臉,否則會停留在YouTube頁面。3~6講話,試搭配上面舞台、板子互動時的組合。

 attachments/202005/9195055025.jpg

      最後的表現我想利用OBS再來錄製,不過,過程裡其實是持續調整、搭配彼此的效果而成。例如我抓了「等待3.5秒」,一方面等影片或動作表現後,才邀請觀眾進行互動(不要笑、請掌聲鼓勵),或者是影片播放、舞台發出聲音後,再請凱比講話介紹或提出問題。

      我再畫整體圖像與這次組合表格來看,未來可做為腳本設計參考。

attachments/202005/1049789279.jpg attachments/202005/9789131474.jpg

標籤: webduino IoT MQTT kebbi

      寒假期間我開始探索物聯網的MQTT協定,對於其發明之初是為了監測油管運輸的服務感覺有意思,推薦這篇「你不知道的MQTT物联网协议起源——基于卫星通信的石油管道远程监控 」。

      後來看到「物聯網產品可信度的評判指標分層模型」(一下子找不到出處),是以馬斯洛的需求理論來比對,更是喜歡,深深覺得:物聯網、MQTT應用於智慧學習的潛力一定不小。

      終於在「An MQTT-based Context-aware Wearable Assessment Platform for Smart Watches」文中,讓我看到更完整的架構,對於「AI機器人可以擔任教師助教(Tutor)與學習夥伴(Peer)」的理想,感覺更接近一大步了。

attachments/202005/3994136563.jpg attachments/202005/5826978497.jpg

attachments/202005/5707928935.jpg attachments/202005/4701424181.jpg


      關於MQTT架構圖,請先參考Google

      不過,真正顛覆我思考框架的是黃文玉老師介紹「Webduino Remote 萬用遙控器」的文章,提到Webduino工程師小彥設計的網頁萬用遙控器(GitHub連結 ),讓我豁然開朗:物聯網,並非只能是「物品」連上網路,而應該可以「每張網頁都是物聯網運籌中心,每頁都是MQTT轉運站」!

      簡單而言,在Webduino網站的服務裡,MQTT都直接包好,使用者不必管主機、帳號跟密碼,以萬用遙控器為例,我們可以用網頁立即自訂發佈跟接收頻道,這樣就能在Webduino整體服務之間自由串整。當然,MQTT本身是開放的,應該也能與其他程式或服務串接。

      本篇我以「網頁式IRS」設計來介紹,如圖:

 attachments/202005/6836639422.png


1.積木網頁,老師規劃出題,這裡以語音為例,接收各學生頻道作答,將記錄寫入Google試算表。

      建立自己的Google試算表網址與工作表名稱(answer),來自老師的頻道是teacher,四位學生分別是stu1~stu4。

      第一題,stu1學生作答的紀錄存在工作表(answer)e1欄位,stu4學生作答的紀錄存在工作表(answer)h1欄位。

      第二題,stu1學生作答的紀錄存在工作表(answer)e2欄位,stu4學生作答的紀錄存在工作表(answer)h2欄位。

attachments/202005/7718904204.jpg attachments/202005/5251008438.jpg

2.遙控器端分為老師與學生(四位學生為例),老師的頻道是teacher(連結),四位學生分別是stu1(連結 )~stu4。萬用遙控器網頁分三個區塊:

      主控區有可愛凱比與怪獸(本篇先略過),左上邊 九宮格按下後有按鈕區,右上角三條線按下則是參數設定,這裡只要改自己設定的頻道以及按鈕名稱即可。

attachments/202005/0712300259.jpg attachments/202005/0116794728.jpg attachments/202005/3588403071.jpg

      參數修改完複製一個新的網址來使用。

attachments/202005/1241099372.jpg attachments/202005/4782159985.jpg attachments/202005/3310916151.jpg

3.Google試算表,提供試算表ID、工作表名稱與對應作答紀錄欄位。可參考「Web:Bit Google 試算表」教學。

 attachments/202005/9262478457.jpg

      開啟「積木網頁」 執行(記得先改成自己的試算表網址喔!),即可利用老師遙控器網頁(連結)出題,學生stu1(連結 )~stu4網頁作答,利用手機、平板或電腦都可以,建議使用Chrome瀏覽器。

      你會看到學生作答情形直接出現在試算表中,後續我想繼續研究從試算表建立題庫,以及學生作答欄位與題號自動對應,同時作答情形也可以即時統計、加以回饋。

標籤: webduino IoT MQTT