大概三週前(5/22)我住在「教務處」 ，裡面是「樂高積木」風，這樣的情境式旅店給了我很多發想彈性，那時開始發想「機器人與iPad於各場域應用」，學校外我先以博物館為例，接著圖書館、幼兒園、行政、特教、英語、自然、音樂、數學(導師)、戶外等教室或情境，幾週下來陸陸續續筆記點子與想法。

      而上週末參加【ROS-based機器人創新應用提案】 工作坊，也了解機器人在場域端情境需求的描述方式，讓我跳回思考學校場域裡的樣貌：雖是每天都看見，而今重新再看見！


      今天整個上午都在玩KebbiAir變裝，也是一路推進中轉想不同的點子：
      樂齡組長借我粉嫩嬰兒服 ，綁帶式可以包覆KebbiAir，跳舞時移動也很流暢，效果很棒！
      打掃時間看著阿德小音，就想到換KebbiAir的臉，以及找德音校服試試 。「真小學生」的衣服一定太大件，但幫KebbiAir做個有校徽的披風不錯呢！我用燕尾夾住衣服，KebbiAir原地跳舞，讓袖子和手腕時露時藏，所以想到「長袖善舞」成語：袖子太長，凱比擅舞，哈哈！
      下午週三進修是開學以來第一次實體研習，教育局法治宗翰專員 是我在教網就熟識的，聽他娓娓道來校園內外相關的法律糾紛與判例解析，感觸很多。而我也筆記穿插想著：讓KebbiAir當圖書館員、防災宣導與法治小天使，可以如何應用呢？

      綜合上述的「腦內風暴」，放學回家路上想到可以有個「萬用基本流程」....，就以「AQAA」來描繪。

      本來只有第2、4個字母的QA，也就是「問與答」，讓老師、學生與KebbiAir三方，都可以扮演提出問題，或回答問題的工作。經歷紙上推想、實際測試與體驗省思後：

      我先增加一個A：Acting，扮演、演出。就像蓋聶（Gagne′）學習條件論裡的教學事件，有個好的開始，讓老師啟動、有機器人協助，引導孩子們投入。

      接著才Q：Question，提問，設計好問題來伺機提出，孩子們各有任務、得動腦或討論，當然有鼓勵他們發問與回應。

      進入較長時間A：Activity，這裡以老師、學生全體的參與歷程為主，學習情境、KebbiAir，以及相關ICT設備都可以適度使用，但最主要是「真小學生們」人人都要參與。

      最後一個A：Answer，可以是針對原來問題的答覆與檢核，更可能是下一個新活動的串接起始，這都能由老師給個結語、結論後，再啟動新的或分支的AQAA推展。

      「AQAA」可以單純到只有一次式對話流程，也期許藉著許多「AQAA」串接，打造情境專屬、對象與任務精準對應的表現。明天上午就有機會實際演練一次這「AQAA」流程，超級期待！哈哈~

      參加【ROS-based機器人創新應用提案】工作坊 收穫很多，一方面讓我印證各家機器人產品在「外形、機構、電控、程式、通訊與AI 」與「聲、光、動、辨、情、智」的表現，二來也想看看他們的服務應用開發工具。

      最重要的，是讓我得以檢視兩年多來學習、建議與測玩Kebbi Air的所有以「教學應用」為主的工具。以下整理由女媧、慶奇與兆迪等公司提供的教學應用工具：

※App：女媧的「編程實驗室air」、「玩轉基地」。

※Web編程工具：女媧「CodeLab」、慶奇「Kebbi x Webbit」。

※Web內容編輯與簡報製作：女媧「Content Editor」、兆迪「簡報管理」。

※Web機器人管理與群舞：女媧「RMS」、「Call Manager」。

※硬體周邊：女媧「藍芽體溫量測」、「點讀筆」、「卡片識別與課程」，慶奇「Webbit」、「月球車」與「IoT 擴充套件」

※Web機器人與IoT應用：慶奇「萬用遙控器」與「Google試算表整合運用」。

※AI應用：女媧與慶奇都有「影像識別與訓練」、「英語評測」，以及女媧語料自訂工具「Trainkit」。

※另外，女媧也提供Android、Unity的SDK，以及Maya舞蹈動作的機器人框架，可供第三方參與開發各式應用。

      接續「利用Google試算表讀寫Web:Bit語音朗讀與辨識」，趁上周六南下高雄請益，學會了Web:Bit積木中Google欄位讀寫，以變數方式讓程式更簡潔，同時讓我想到好玩的應用喔！

「YouTube影片介紹」

      由程式讀取欄位文字轉為語音朗讀後，等候學習者回應，並語音辨識、寫文字回Google試算表。接著再讀下一欄資料朗讀、辨識推進。那麼，我可以利用「空檔」，持續接寫出要讓積木取來朗讀的文句，想像這樣的應用機會應該很廣吧，哈哈！

     
      這陣子對於「Webduino Remote 萬用遙控器」有許多使用想像，決定寫這篇：一個萬用遙控器可表現的18個指令運用。

      稱其萬用，只要程式多樣設計表現沒問題；遙控什麼與表現，可以以終為始來看。     

      在慶奇「Webduino」系列產品中，主要以「怪獸舞台(瀏覽器網頁)」、「Web:Bit(含擴充套件)」、「MoonCar自走車」與「KebbiAir」四大類。所以我以遙控器的「圖像前頁」與「按鈕後頁」做個組合分析，方便日後發想程式應用參考。基本上，遙控器做好了，除了改成對應自己程式的MQTT頻道與傳送訊息之外，幾乎不必常更動。

      前頁的凱比可以按住上、下、左、右滑動，只要一放開，都會彈回中間。幾次操作下來，對於「上、下、左、右滑動」有時感覺不確定有達到，所以我把這四個參數，主要就來控制「MoonCar自走車」與「KebbiAir」的行動：前進、後退與左右轉彎，而放開回中心點，就形同「停止」。因此本來19個訊息可傳輸，我扣掉這一個剩18個。

      前頁下方的四隻怪獸按鈕，建議對應「舞台與四隻怪獸」表現：怪獸移動、說話(文字)、語音(朗讀與辨識)與音效、按鍵輸入、YouTube影片播放....等，這些在「怪獸舞台(瀏覽器網頁)」、「KebbiAir臉部」都可以對應呈現。
      後頁的十個按鈕，我建議留最後一個按鈕的名稱來展現此遙控器功能說明(按下去可以語音解說)，一方面每個設計好的遙控器都有單一網址，但前頁都長得一樣，所以利用按鈕名稱來說明此遙控器功能。
      接著，就是剛才四大類「Webduino」產品，以及Google試算表讀寫應用：讀取比對字串、播放語音、影音相片，寫入語音辨識文字、鍵盤或NFC輸入資料，以及感應器偵測數據等，未來應該還可以加上相片、聲音雲端連結與檔案儲存。

      一個按鈕可以只控制一種產品(一個到多個)，也可以多種多個產品「共舞」。

      一頁遙控器只設定輸出一個MQTT頻道，所以可以一頁控制一機到多機(以KebbiAir為例)，而所有參與者(包含老師與學生)，可以拿同一個遙控器連結一起玩，也可以各自建立或發給遙控器來運用。

      此外，我特別關注語音、影片與Google試算表讀寫應用的原因，主要思考的就是教育機器人在不同教學場域應用的需求，尤其可以在老師與學生之間，多了聲音、語言與多媒體、硬體及環境互動的豐富多樣性，也讓機器人的運作多了「人味」。針對教學實況與師生組合、領域特性，都可以自行修改活用。

      以下是目前的應用分享，我從簡漸繁列出：

※法蘭斯 老師這張MQTT傳輸頁，真是精簡得經典！ 
※Web:Bit語音朗讀與辨識
※利用Google試算表讀寫Web:Bit語音朗讀與辨識
※結合語音辨識與NFC輸入建立Google試算表資料

      使用了遙控器：
※執簡馭繁萬言遙控！
※我與凱比學飛！
※「萬用遙控器」混控試玩
※利用「Webduino Remote 萬用遙控器」設計IRS即時作答應用

      繼續努力研究：

※「老有所衷」：長照2.0 機器人解決方案

※對於AI機器人的教育想望 
    

      接續「Web:Bit語音朗讀與辨識」後，這次利用Google試算表作為朗讀字串與語音辨識後寫入字串到Google試算表的例子來實驗。

      下圖為 Web:Bit教育版 提供的Google試算表積木，以及本次的程式積木組合。主要是讀取一個「開放讀寫權限」的Google試算表(雖然這我還有點顧忌，但先展現功能。)以及工作表名稱。

      在語音朗讀與辨識後寫入，各有對應的Google試算表積木。

      接著是積木與試算表關係，只要再執行前更改欄位內容，就可以即時進行新的語句應用喔！

      請看「示範影片」，因為我是螢幕錄影，喇叭、麥克風都收音，所以喇叭播音後又被麥克風錄到，感覺有兩次聲音....，真實實況不會，當然，若是利用Kebbi Air玩這個功能，就由凱比表現聲音(還可以加上臉部表情、肢體動作)，螢幕就只看到試算表被自動填入資料的過程。

      還有上次那個「萬用遙控器設計IRS即時作答」，該怎麼把Google試算表的欄位讀寫應用，再以積木裡的「變數、迴圈、亂數、陣列(我猜需要用到)」來處理我也還在摸索，哈哈！

      在Web:Bit教育版 的語音&音效積木裡，有很方便的語音朗讀與辨識服務，可以做為人與怪獸舞台網頁、凱比Air之間的溝通應用。我還要繼續研究以讀、寫進入Google試算表的方式來發想教學應用。

影片：Web:Bit語音朗讀與辨識

      這篇先簡單介紹積木組合案例，您也可以直接修改積木內文來測試，記得啟用喇叭與麥克風喔！

      點選「程式網頁」、點選執行後，先朗讀兩句話，再進行語音辨識，等你說完後辨識，才會繼續進行後面程式。

      接著我把辨識後的文句再做為朗讀出來的語詞，可以進行復誦應用，也順道檢視辨識品質。

      我一直想著：把自己塞進機器人裡會是什麼樣子？當然，「塞」的形式與意涵可以有很多種。

      最近看到幾個案例：「大前研一創辦大學辦遠端畢典 視訊+學士服機器人代領證書」，以及「南郵“雲畢業典禮”上熱搜，校長為機器人撥穗超有儀式感！」，或許觀眾與當事人感受，可能各有千秋。

      不過，小草和輝聲老師常用凱比直接視訊通話、川劇變臉也表演得很合拍(影片) ，所以我也來玩一下內嵌YouTube影片分享。

      這是上個月在國北碩班裡的介紹，「萬用遙控器」混控試玩的分享，我利用Web:Bit x Kebbi編程，利用凱比的臉(Android平板)播放YouTube，重點就在於錄製一個「全滿版我的臉」的影片，我是上回測試WebCam時順便錄 製，因為這樣可以即時看到畫面效果。雖然這樣在YouTube上觀看有點奇怪，但結合凱比的肢體動作，效果還不錯。

      另外，讓多台凱比同步表現，也是利用「萬用遙控器 」操控的，很有意思吧！

看我飛影片

萬用遙控器群控凱比Air影片

      兩年前的今天「世界博物館日」，我帶著凱比同學去逛台中科博館，那時科博館有租用Pepper進行服務，可惜正好遇上維修沒能讓兩台機器人交流一下。

      兩年後的今天，我利用凱比Air的雲端編程平台 (CodeLab)，加上3D模擬器，讓孩子們開始AI機器人編程，加上近幾週都在玩Webduino的「萬用遙控器」，可以結合實體與虛擬機器人的表現進行比較與課程活動設計，為「德音智慧學習領航專案」超前部署一番。

      此外，昨天台中歌劇院今年NTT-TIFA演出《無光風景》(自由時報月初介紹)，是藝術家王連晟結合舞蹈、戲劇與科技的創作，試著呈現一名盲女、一盞檯燈、一個管家機器人、一扇百葉窗，沒有對白只靠動作，在舞台上能有多少種想像？我第一次這樣線上看演出，也有機會再思考AI機器人於教學現場、圖書館與博物館裡各種應用多樣性。，現在仍可線上收看(歌劇院FB 或YouTube頻道)

      最近利用iPad畫了一張圖，有關博物館既有運作、展出，與結合機器人後，可以帶給館方人員、現場遊客什麼不一樣的感受？以及，再有可能為「未來」館所的遊客如何營造一種期待想來的心情呢？當然，我還是以十多年前參與「社教博識網」的WebQuest學習概念出發，如今有了更像人、更可以貼心服務的AI機器人教育應用，相信可以帶來更多不同的博物館學習多樣性。找了些國外博物館案例，等明天全天備課日再來好好整理。