摘要

　　目前,人機交互技術(shù)日益普及,己經(jīng)被廣泛應用于科研、生產(chǎn)、生活等領(lǐng)域。基于單目視覺(jué)的手勢識別技術(shù)是人機交互的重要組成部分,該技術(shù)主要涉及手勢的分割、特征的提取、手勢的識別與跟蹤等多個(gè)關(guān)鍵環(huán)節。但是手勢識別在實(shí)際應用中容易受到光照變化、復雜背景的干擾,另外,考慮到交互實(shí)時(shí)性要求,算法的復雜度受到一定限制,這些都讓單目動(dòng)態(tài)手勢識別技術(shù)成為人機交互領(lǐng)域中的難點(diǎn)。因此,本文提出低運算量的改進(jìn)手勢識別算法,并通過(guò)研宂安卓整體架構,將手勢識別實(shí)際應用于安卓平臺,驗證其有效性和實(shí)用性。安卓平臺下的單目手勢識別研究工作包括以下幾個(gè)方面:

　　1、在手勢分割方面,對膚色提取法和幀間差分法的原理及缺陷進(jìn)行深入研究,釆用基于色彩直方圖的自適應手部識別圖像分割方法,通過(guò)獲取膚色動(dòng)態(tài)信息減小由周?chē)�環(huán)境和光照產(chǎn)生的噪聲。與傳統膚色分割相比,本文方法識別提取到的手部圖像干擾信息更少。

　　2、在特征提取方面,分析現有手部輪廓特征提取方法,針對其在復雜背景下實(shí)現效果不佳的問(wèn)題,提出一種指尖-指間手部輪廓識別法。通過(guò)分割圖像進(jìn)行平滑處理、形態(tài)學(xué)處理和圖像輪廓提取處理后,利用手指頂端和手指底端的曲率特征,在復雜背景中精確圈定手部范圍,能夠實(shí)現多種手勢的識別。

　　3、在對動(dòng)態(tài)手勢跟蹤的研究中,研宄現有手勢跟蹤技術(shù),在深入分析Camshift手勢跟蹤算法的原理、實(shí)現及存在問(wèn)題的基礎上,提出歷史運動(dòng)矩陣方法改進(jìn)Camshift算法,同時(shí)與自適應手部提取方法結合,提高復雜背景下手勢跟蹤精度。實(shí)驗結果證明,在動(dòng)態(tài)手部與面部有重合的情況下,本文算法的跟蹤成功率較經(jīng)典Camshift算法增加了　80%。

　　4、在動(dòng)態(tài)手勢識別方面,通過(guò)對手勢動(dòng)作的抽象、分析及手勢動(dòng)作向量定義,提出一種基于時(shí)間軸壓縮的方向向量動(dòng)態(tài)手勢識別方法。在時(shí)間軸方向對軌跡向量進(jìn)行衰減,記錄時(shí)間軸方向向量判斷動(dòng)態(tài)手勢軌跡,識別動(dòng)態(tài)手勢,該方法計算量小,實(shí)時(shí)性高,適于實(shí)際應用。

　　5、在安卓平臺實(shí)現方面,本文在深入研究Android平臺構架、JNI技術(shù)、Linux下的V412框架和Android下的Camera架構的基礎上,完成了在A(yíng)ndroid下的攝像頭驅動(dòng)移植、OpenCV移植和手勢識別算法的移植,完成了可辨別6種手勢的安卓應用程序示例。

　　關(guān)鍵詞:手勢識別,歷史運動(dòng)矩陣,Camshift,時(shí)間軸壓縮,Android

Abstract

　　Recently, as the increasing popularity of human-computer interaction technology it has been widely used in various fields such as scientific research, life and production, .etc. Gesture recognition technology based on monocular vision is one of the most important parts of human-computer interaction technology. It involves several key technologies such as gesture segmentation, feature extraction, tracking, gesture recognition and so on. In actual application, some factors such as illumination changes and complex background interference can affect the performances of gesture recognition algorithms easily. In addition, considering the requirements of real-time interactivity, the complexity of the algorithm is limited. These make the dynamic gesture recognition technology based on monocular vision be a difficult job in the field of human-computer interaction. This paper presents an improved gesture recognition algorithm with low computational load. And by studying the overall architecture of Android, gesture recognition is applied to the interaction of the Android platform to verify its validity and practicality. The research of monocular gesture recognition technology on Android platform includes the following aspects:

　　In terms of gesture segmentation, the paper deeply studies the principles, advantages and disadvantages of the skin color segmentation method and inter-frame difference method. In this paper, an adaptive hand identification image segmentation method based on color histogram is applied. The method reduces the noise that generated飾the surrounding environment and lighting by acquiring dynamic color information. Compared with the traditional color segmentation, the proposed method has less information interference when extracting the hand image.

　　In terms of gesture features extraction, the paper analyzes the existing hand contour feature extraction methods. A fingertip-fingers hand contour recognition method is proposed to solve the problem that currenthand contour feature extraction methods are ineffective in a complex background. Using the curvature characteristics of the top of finger and the bottom of the finger accurately delineate the hand range into the image which been smoothed a.iid extracted image contours. 'The method can identify a variety of gestures in the complex background.

　　In terms of the dynamic gesture tracking, the paper studies the existing gesture tracking technology and analyzes the Camshift gesture tracking algorithm principle, realization and existing problems. We propose an improved algorithm of Camshift based on the historical movement matrix. The method combines with the adaptive extraction of hand to improve the dynamic gesture tracking accuracy in complex background. Experimental results show that, in the hands and face in the dynamic overlap case, the success rate of the proposed algorithm increased by 80% compared to the classic Camshift algorithm.

　　In terms of the dynamic gesture recognition, through the abstract expression of gestures, the analysis of gestures and gestures vector definition, a dynamic gesture recogntion method based on time-axis compression direction vector is proposed. The vector of locus is attenuated in the direction of time axis. The method which records the time axis direction vector to judge the dynamic gesture trajectory and recognize the dynamic gesture, has a small computational load, and suits for practical applications.

　　In terms of Android platform realization, the paper deeply studies the Android platform architecture, JNT technology, V412 framework under Linux and Camera architecture under Android. The paper implements the camera driver under Android, OpenCV migration and dynamic gesture recognition algorithm under Android, and completes the Android application demo showing that identifying six kinds of gestures.

　　Key words: Gesture Recognition, Historical Movement Matrix, Camshift, Time Axis Compression, Android

　　隨著(zhù)計算機的普及，人機交互手段漸漸由鍵盤(pán)、鼠標等“以機器為中心”向語(yǔ)音、表情、肢體動(dòng)作等“以人為中心”發(fā)展，使得人機交互更加自然。手勢作為自然、符合人類(lèi)習慣的交互手段，可以用于與聾啞人交流的輔助交互手段、對家電設備的控制、影音游戲的操作和政府及企業(yè)服務(wù)的交互設施，給人們生活帶來(lái)了極大的便利。因此，手勢識別技術(shù)一直受到專(zhuān)家和學(xué)者們的追捧。近幾年移動(dòng)智能終端，特別是安卓終端數量的迅猛增長(cháng)，對應用于安卓的手勢應用有著(zhù)極大需求。

　　基于視覺(jué)的人機交互技術(shù)其優(yōu)劣的最終評價(jià)標準是人的交互式體驗，流暢的交互體驗不僅依賴(lài)于算法的優(yōu)化，也要求計算機硬件性能的提高。正是計算機計算能力的不斷提升，自然、方便的手勢識別應用才不是紙上談兵。全球很多大型公司己經(jīng)從事于開(kāi)發(fā)手勢控制機器的相關(guān)技術(shù)，并向商業(yè)領(lǐng)域推廣。例如，微軟、IBM等公司推出的Kinect, Flutter和Leap Motion體感控制器等，良好的手勢控制體驗受到消費者的普遍追捧。同樣，近幾年移動(dòng)設備從開(kāi)始的單核處理器、百兆主頻、十兆內存的配置，發(fā)展到今天的四核處理器、2GHz主頻、2GB內存的配置，移動(dòng)設備硬件計算能力迅猛的提升讓移動(dòng)端手勢識別應用成為可能。

　　然而，基于單目視覺(jué)的手勢識別技術(shù)也存在其技術(shù)難點(diǎn)。外界的干擾極易影響手勢提取與跟蹤，干擾嚴重時(shí)甚至導致跟蹤失敗，而移動(dòng)平臺又不可避免的會(huì )在這種復雜背景中使用。另外考慮到交互的及時(shí)響應要求，識別算法不能過(guò)于復雜。

　　綜上所述，基于視覺(jué)的手勢識別及其在移動(dòng)平臺，特別是安卓平臺的實(shí)現是一個(gè)具有廣闊前景同時(shí)又極具挑戰性的課題。本課題采用單目攝像頭，充分考慮背景復雜性，對手勢識別技術(shù)包括手勢檢測、手勢分割、靜態(tài)動(dòng)態(tài)手勢識別等進(jìn)行研究，同時(shí)考慮到現有手勢識別算法在運算能力相對低下的嵌入式設備上的實(shí)時(shí)性，提出低運算量的改進(jìn)手勢識別算法，并通過(guò)研究安卓整體架構，將手勢識別實(shí)際應用于安卓平臺交互中，驗證其有效性和實(shí)用性。

　　國外，關(guān)于手勢識別的研究，Volger和Metaxas等人使用位置跟蹤器和視頻捕獲設備來(lái)獲取手臂位置信息，對53個(gè)手語(yǔ)進(jìn)行辨別，成功率為90%。Mohammed Waleed Kadous使用Power Glove采集手勢，對95個(gè)離散的澳大利亞手語(yǔ)進(jìn)行辨認，達到大約81%的準確率。Y. Li通過(guò)安裝微軟Kinect Xbox并檢測手勢輪廓及指尖信息，實(shí)現了對9種手勢的實(shí)時(shí)識別。2012年，LeapMotion公司推出Leap新產(chǎn)品，在與USB鏈接后，它會(huì )創(chuàng )造出一個(gè)4立方英尺工作空間，在這個(gè)工作空間中10個(gè)手指的動(dòng)作會(huì )被及時(shí)追蹤，誤差僅在1/100毫米以?xún)取?/p>

　　國內，關(guān)于手勢識別的研究，中國科學(xué)院、浙江大學(xué)、電子科技大學(xué)等高校和研究機構相繼投入大量的人力物力對手勢識別展開(kāi)研究，近幾年發(fā)展很快。吳江琴等人通過(guò)數據手套對手勢進(jìn)行訓練實(shí)現識別，利用人工神經(jīng)網(wǎng)絡(luò )結合隱馬爾科夫完成手語(yǔ)的識別，對于基礎手語(yǔ)，成功率高達92%。之后吳江琴、高文等用兩個(gè)手套和姿態(tài)跟蹤器，實(shí)現辨別的手勢詞匯高達300個(gè)。隨后，他們又采用多層識別器，實(shí)現了高達98%的識別成功率。祝遠新等人則是提出了一種動(dòng)態(tài)孤立手勢識別技術(shù)，并進(jìn)一步探索在復雜背景下的手勢分割，利用動(dòng)態(tài)時(shí)間規整算法對手勢進(jìn)行識別，識別率可達97%。高文教授帶領(lǐng)其團隊專(zhuān)注于手勢識別的研究，在2000年開(kāi)發(fā)出讓聾啞人與正常社會(huì )的友好交流的HandTalker系統。2012年，康佳公司上市首款手勢交互電視，隨后TCL等公司也相繼上市類(lèi)似功能的電視機。

　　從目前的應用成果看，國內外基于數據手套的研究己經(jīng)相當成熟，也實(shí)現了不錯的用戶(hù)體驗效果，但基于視覺(jué)的手勢識別的研究還不夠成熟，尤其是基于單目視覺(jué)的手勢識別，在實(shí)際應用中，面臨著(zhù)許多嚴峻的問(wèn)題，如背景、光照對手勢分割的影響，魯棒的手勢特征提取，實(shí)時(shí)性和識別率無(wú)法兼顧等問(wèn)題。所以，得到一種穩定、低運算量的手勢識別方法是現今人機交互的迫切需求，也是我們需要研究的方向。

安卓操作端單目手勢識別識別技術(shù)開(kāi)發(fā)：

Android下的Camera框架

程序示意圖

程序演示示意圖

目錄

　　第一章 緒論
　　　　1.1 研究背景及意義
　　　　1.2 國內外研究現狀
　　　　1.3 基于視覺(jué)的動(dòng)態(tài)手勢識別關(guān)鍵技術(shù)
　　　　　　1.3.1 手勢分割
　　　　　　1.3.2 特征提取
　　　　　　1.3.3 手勢跟蹤
　　　　　　1.3.4 手勢識別
　　　　1.4 面臨的主要困難
　　　　1.5 研究?jì)热菁罢撐目蚣?br /> 　　第二章 復雜環(huán)境下的膚色分割方法
　　　　2.1 基于膚色模型的手部分割
　　　　　　2.1.1 色彩空間模型
　　　　　　2.1.2 膚色區域識別
　　　　2.2 幀間差分法
　　　　2.3 自適應膚色識別與分割
　　　　　　2.3.1 膚色模型色彩直方圖
　　　　　　2.3.2 色彩直方圖更新
　　　　　　2.3.3 膚色區域提取手部圖像
　　　　2.4 本章小結
　　第三章 指尖一指間手部輪廓識別
　　　　3.1 手部輪廓識別概述
　　　　　　3.1.1 基于傅里葉描述子的手部輪廓識別
　　　　　　3.1.2 基于指尖一指間特征的輪廓識別
　　　　3.2 手部輪廓提取
　　　　　　3.2.1 圖像平滑處理
　　　　　　3.2.2 形態(tài)學(xué)處理
　　　　　　3.2.3 圖像輪廓的提取
　　　　3.3 指尖一指間手部輪廓識別的實(shí)現
　　　　3.4 仿真實(shí)驗結果
　　　　3.5 本章小結
　　第四章 基于歷史運動(dòng)矩陣的Camshi手部跟蹤
　　　　4.1 手勢跟蹤算法
　　　　　　4.1.1 Kalman濾波手勢跟蹤
　　　　　　4.1.2 光流法
　　　　　　4.1.3 粒子濾波手勢跟蹤算法
　　　　　　4.1.4 Camshift手勢跟蹤算法
　　　　4.2 Camshift手勢跟蹤的實(shí)現及問(wèn)題分析
　　　　4.3 基于歷史運動(dòng)矩陣改進(jìn)Camshift策略
　　　　　　4.3.1 歷史運動(dòng)矩陣
　　　　　　4.3.2 歷史運動(dòng)矩陣改進(jìn)Camshift策略
　　　　4.4 仿真實(shí)驗結果分析
　　　　　　4.4.1 算法精度對比
　　　　　　4.4.2 算法運行時(shí)間對比
　　　　4.5 本章小結
　　第五章 基于時(shí)間軸壓縮的動(dòng)態(tài)手勢識別
　　　　5.1 動(dòng)態(tài)手勢識別概述
　　　　　　5.1.1 隱馬爾科夫模型動(dòng)態(tài)手勢識別
　　　　　　5.1.2 基于動(dòng)態(tài)時(shí)間規整的動(dòng)態(tài)手勢識別
　　　　　　5.1.3 基于時(shí)間軸壓縮的動(dòng)態(tài)手勢識別
　　　　5.2 手勢動(dòng)作的抽象與分析
　　　　5.3 方向向量描述動(dòng)態(tài)手勢
　　　　　　5.3.1 手勢動(dòng)作向量
　　　　　　5.3.2 時(shí)間軸壓縮
　　　　5.4 基于神經(jīng)網(wǎng)絡(luò )的手勢動(dòng)作判斷
　　　　5.5 仿真實(shí)驗結果
　　　　5.6 小結
　　第六章 手勢識別在A(yíng)ndroid平臺的實(shí)現和應用二
　　　　6.1 Android平臺簡(jiǎn)介
　　　　　　6.1.1 Android發(fā)展歷程
　　　　　　6.1.2 Android系統架構
　　　　　　6.1.3 Android JNI技術(shù)
　　　　6.2 攝像頭驅動(dòng)在A(yíng)ndroid中的移植
　　　　　　6.2.1 V4L2驅動(dòng)架構
　　　　　　6.2.2 Android下的Camera框架
　　　　6.3 手勢識別算法在A(yíng)ndroid中的移植
　　　　　　6.3.1 OpenCV的移植
　　　　　　6.3.2 手勢識別算法的移植
　　　　6.4 手勢識別在A(yíng)ndroid下的應用程序
　　　　　　6.4.1 手勢識別的Android應用程序示例
　　　　　　6.4.2 Android下算法性能分析
　　　　6.5 本章小結
　　總結與展望
　　參考文獻
　　致謝
　　個(gè)人簡(jiǎn)歷
　　攻讀碩士期間的研究成果及發(fā)表的學(xué)術(shù)論文

（如您需要查看本篇畢業(yè)設計全文，請您聯(lián)系客服索取）