一、平台概述
    ZYWL-FT02型 人(rén)工智能物(wù)聯網實驗平台是一款人(rén)工智能教學、實驗、智能應用(yòng)的(de)開發平台。平台基于視覺、嗅覺、觸覺、聽覺等感知信息，利用(yòng)計算(suàn)機視覺、語音(yīn)識别、計算(suàn)機控制、網絡通(tōng)信等技術，結合IOT傳感器及執行設備實現行業智慧化(huà)應用(yòng)。
平台架構如圖所示：
 
二、平台組成
平台主要由硬件、軟件、教學資源三部分(fēn)組成。
1、硬件部分(fēn)采用(yòng)F-Table實驗台體，具有八個尺寸不同的(de)插槽、一個可(kě)拆卸網闆、小型信号示波器、3V/5V/12V電源插孔。插槽處用(yòng)于安裝原理(lǐ)級實驗模塊，磁吸固定，探針連接信号（RS232、TTL UART、5V、3.3V）。網闆支持商用(yòng)級模塊磁吸安裝，導線連接。平台支持靈活組合，可(kě)與人(rén)工智能Python主闆、人(rén)工智能Android主闆、智能網關通(tōng)信，進行IOT基礎教學實驗、人(rén)工智能應用(yòng)實驗。外觀如下(xià)圖：
 
平台人(rén)工智能主闆、IOT傳感器、IOT執行器的(de)布局圖如下(xià)所示： 2、軟件部分(fēn)包含人(rén)工智能在線教學平台、語音(yīn)識别小智機器人(rén)監控系統兩部分(fēn)。
（1）人(rén)工智能在線教學平台提供WEB平台，隻需打開浏覽器登錄到平台，即可(kě)開始人(rén)工智能知識點的(de)學習，從圖像處理(lǐ)基礎知識、到機器學習模式識别、深入到Tensorflow框架人(rén)工智能深度學習，最後提供典型行業應用(yòng)案例，熟悉人(rén)工智能的(de)開發過程；統計識别所需的(de)時間、結果；提供在線實驗手冊、實驗代碼，及開發者模式，有助于用(yòng)戶自主開發。 （2）語音(yīn)識别小智機器人(rén)監控系統采用(yòng)第三方AI SDK，完成自然語言喚醒、語音(yīn)合成、語義理(lǐ)解，實現聊天對話、百科問答(dá)等功能。同時，與雲服務平台通(tōng)信，與人(rén)工智能平台闆載的(de)網關進行綁定，即可(kě)實現語音(yīn)遠程采集環境參數，語音(yīn)控制設備。 3、教學資源包含
（1）人(rén)工智能web教學平台python語言在線實驗手冊、實驗代碼
（2）基于Android AI SDK的(de)實驗手冊、實驗代碼。
三、功能特點
1. 支持多(duō)種人(rén)工智能和(hé)物(wù)聯網課程，如圖像處理(lǐ)、計算(suàn)機視覺、機器學習、深度學習、嵌入式接口技術與傳感器、Android物(wù)聯網應用(yòng)開發、計算(suàn)機網絡通(tōng)信技術等。
2. 支持C、Python、Android至少三種語言。感知層IOT傳感器及執行器的(de)采集控制采用(yòng)C語言開發，基于Cortex-M3内核。人(rén)工智能在線教學平台（圖像處理(lǐ)、機器視覺、深度學習）采用(yòng)Python語言，基于OpenCV機器視覺庫、TensorFlow深度學習框架、Caffe深度學習框架。語音(yīn)識别小智機器人(rén)采用(yòng)Android語音(yīn)，調用(yòng)第三方AI SDK，通(tōng)過HTTP協議接入與雲平台，并與智能網關管理(lǐ)的(de)IOT傳感器、執行器綁定，實現語音(yīn)采集傳感器、語音(yīn)控制執行器。
3. 支持python外設編程、通(tōng)信編程、機器學習編程，如信号檢測與執行器控制、python的(de)網絡編程、機器學習課程教學、實驗、實訓。
4. 支持在線實驗手冊、實驗代碼、在線實驗驗證。将一次人(rén)工智能實驗過程分(fēn)解爲實驗手冊浏覽（熟悉實驗目的(de)、實驗原理(lǐ)）、實驗代碼學習（實驗代碼關鍵語句講解）、在線實驗驗證等3個過程。
5. 支持離線圖片、實時視頻兩種處理(lǐ)方式。在線實驗驗證支持從電腦中任選圖片，進行識别；也(yě)可(kě)調用(yòng)攝像頭，利用(yòng)平台AI核心算(suàn)法，對視頻流進行識别。
6. 實驗過程、識别耗時、識别結果以LOG信息、目标矩形框标注、或語音(yīn)播放的(de)形式進行展示。
7. 能夠實現數字圖像處理(lǐ)功能，如灰度化(huà)、二值化(huà)、邊緣檢測、小波變換、形态學等。 8. 能夠實現多(duō)種識别，如顔色、形狀等識别功能。 9. 能夠實現人(rén)臉檢測、行人(rén)檢測、聚類分(fēn)析等機器學習。如Adaboost人(rén)臉檢測、行人(rén)檢測、SVM人(rén)臉檢測、K-Means鸢尾花聚類等； 10. 能夠實現塗鴉猜遊戲、文字識别、物(wù)體識别、垃圾分(fēn)類等深度學習。基于caffe框架、tensorflow框架實現深度學習，如圖所示。                                        物(wù)體識别
11. 支持物(wù)聯網通(tōng)信協議MQTT、HTTP實現人(rén)工智能與IOT感知設備的(de)連接。
12. 支持第三方AI SDK實現智能語音(yīn)識别技術，如智能對話，問天氣、講故事、百科問答(dá)等，如語音(yīn)查詢環境參數，語音(yīn)控制照(zhào)明(míng)燈、語音(yīn)控制風扇等。 13. 能實現人(rén)臉識别活體檢測，人(rén)臉識别門鎖控制功能。 14. 能夠嵌入式接口技術與傳感器、計算(suàn)機通(tōng)信，可(kě)通(tōng)過上位機平台查看傳感器采樣信息，如圖所示。 四、課程實驗

課程類别	課程要求
1.人(rén)工智能概論	課程内容	了(le)解人(rén)工智能概念、發展曆史、
2.Python基礎編程	課程目标	掌握Python基本編程方法
	課程内容	基于人(rén)工智能開發套件完成Python開發環境搭建，基本語法的(de)入門，通(tōng)信編程開發等。
	課程實驗	實驗1：開發環境安裝 實驗2：數據類型 實驗3：程序控制 實驗4：函數類	實驗5：模塊和(hé)标準庫 實驗6：文件和(hé)流 實驗7：數據庫和(hé)網絡編程 實驗8：圖形用(yòng)戶界面
3.數字圖像處理(lǐ) 實驗課程	課程目标	理(lǐ)解圖像處理(lǐ)算(suàn)法的(de)原理(lǐ) 掌握數字圖像處理(lǐ)的(de)常用(yòng)方法
	課程内容	基于人(rén)工智能開發套件完成圖像處理(lǐ)視覺庫的(de)安裝、圖像處理(lǐ)方法調用(yòng)。
	實驗硬件	人(rén)工智能應用(yòng)開發套件
	課程實驗	實驗1 Opencv視覺庫的(de)安裝配置 實驗2 圖像灰度化(huà) 實驗3 歸一化(huà) 實驗4 二值化(huà) 實驗5 圖像濾波：高(gāo)斯、中值	實驗6 邊緣檢測：Sobel/Canny/hog 實驗7 形态學 實驗8 灰度直方圖 實驗9 銳化(huà) 實驗10 鈍化(huà) 實驗11 圖像增強
	課程實訓	實驗1 顔色識别	了(le)解顔色組成和(hé)表示方法； 使用(yòng)Opencv庫識别顔色，并播報。
		實驗2 簡單圖形形狀識别	了(le)解霍夫變換的(de)原理(lǐ)； 涉及圖像灰度化(huà)、歸一化(huà)、濾波、邊緣檢測等知識點； 使用(yòng)Opencv庫識别圓形、矩形，并播報。
4.機器學習 應用(yòng)實驗課	課程目标	1.了(le)解機器學習的(de)分(fēn)類：無監督、有監督 2.了(le)解數據集的(de)原理(lǐ)、作用(yòng)、存儲格式 3.了(le)解至少一種聚類算(suàn)法如K-Means的(de)原理(lǐ)：歐式距離、餘弦距離曼哈頓距離計算(suàn)方法； 4.了(le)解至少一種機器學習算(suàn)法如Adaboost、SVM、決策樹等的(de)原理(lǐ)：分(fēn)類器的(de)流程； 5.掌握聚類算(suàn)法、分(fēn)類器算(suàn)法的(de)調用(yòng)方法 6.掌握分(fēn)類器的(de)檢測分(fēn)類效果 7.掌握根據分(fēn)類效果，進行智能控制 8.通(tōng)過增減數據集，掌握算(suàn)法訓練的(de)全過程
	課程内容	能夠使用(yòng)機器學習的(de)算(suàn)法，實現聚類、分(fēn)類、以及能夠結合聲、光(guāng)、電設備實現關聯控制
	課程實驗	實驗1 鸢尾花聚類播報 實驗2 臉部數據集分(fēn)析顯示	實驗3 人(rén)臉檢測控制實驗 實驗4 行人(rén)檢測控制實驗 實驗5 車牌識别
5.深度學習 應用(yòng)實驗課	課程目标	1.了(le)解深度學習的(de)定義，與機器學習的(de)區别 2.了(le)解數據集的(de)原理(lǐ)、作用(yòng)，以及格式 2.了(le)解至少一種深度學習算(suàn)法的(de)理(lǐ)論：如CNN、RNN、BP神經網絡 3.掌握至少一種深度學習框架的(de)使用(yòng)方法：如Caffe、TensorFlow 4.掌握使用(yòng)深度學習方法實現識别的(de)方法 5.掌握根據識别結果，進行智能控制，如語音(yīn)播報識别到的(de)數字，語音(yīn)播報識别到的(de)物(wù)體名稱，控制聲、光(guāng)、電執行部件。 6.通(tōng)過增加數據集，掌握算(suàn)法訓練的(de)全過程。
	課程内容	能夠使用(yòng)深度學習的(de)方法，實現數字、物(wù)體識别，使人(rén)工智能與物(wù)聯網感控設備聯動
	課程實驗	實驗1 手寫數字識别 實驗2 塗鴉猜遊戲	實驗3 物(wù)體識别 實驗4 垃圾分(fēn)類
6.自然語言應用(yòng)開發實驗課	課程目标	掌握使用(yòng)人(rén)工智能平台SDK完成語音(yīn)識别技能
	課程内容	1）通(tōng)過輸入的(de)語音(yīn)進行識别，能夠支持整段音(yīn)頻進行識别以及流式語音(yīn)識别。 2）整段文字識别，在用(yòng)戶錄入整段音(yīn)頻後，能夠将返回語音(yīn)的(de)文字内容。 3）流式識别可(kě)以實現邊錄音(yīn)邊識别，并能在錄入過程中将識别的(de)内容同步顯示出來。
	課程實驗	實驗1 語音(yīn)喚醒 實驗2 語音(yīn)合成	實驗3 語義理(lǐ)解 實驗4 文字識别
7.嵌入式接口技術與傳感器系列	課程目标	掌握單片機傳感器原理(lǐ)開發
	課程内容	1.溫濕度傳感器實驗 2.光(guāng)敏傳感器實驗 3.pm2.5傳感器實驗 4.結露傳感器實驗 5.超聲波傳感器實驗 6.紅外反射傳感器實驗 7.霍爾傳感器實驗 8.稱重傳感器實驗		9.九軸傳感器實驗 10.熱釋紅外傳感器實驗 11.振動傳感器實驗 12.聲音(yīn)傳感器實驗 13.紫外線傳感器實驗 14.環境光(guāng)傳感器實驗 15.紅外對射傳感器實驗 16.顔色識别傳感器實驗
8.嵌入式Android系統應用(yòng)開發	課程目标	掌握Android物(wù)聯網應用(yòng)開發方法
	課程内容	1.網關接入雲平台配置 2.ModbusRTU通(tōng)信協議的(de)解析 3.平台JSON數據包重組		4.MQTT協議分(fēn)析與測試 5.HTTP協議分(fēn)析與測試