• / 14
  • 下載費用:30 金幣  

表情識別方法及系統.pdf

摘要
申請專利號:

CN201610547743.X

申請日:

2016.07.12

公開號:

CN106257489A

公開日:

2016.12.28

當前法律狀態:

撤回

有效性:

無權

法律詳情: 發明專利申請公布后的視為撤回IPC(主分類):G06K 9/00申請公布日:20161228|||實質審查的生效IPC(主分類):G06K 9/00申請日:20160712|||公開
IPC分類號: G06K9/00; G06N3/04 主分類號: G06K9/00
申請人: 樂視控股(北京)有限公司; 樂視云計算有限公司
發明人: 公緒超
地址: 100025 北京市朝陽區姚家園路105號3號樓10層1102
優先權:
專利代理機構: 北京商專永信知識產權代理事務所(普通合伙) 11400 代理人: 方挺;黃謙
PDF完整版下載: PDF下載
法律狀態
申請(專利)號:

CN201610547743.X

授權公告號:

||||||

法律狀態公告日:

2018.10.26|||2017.01.25|||2016.12.28

法律狀態類型:

發明專利申請公布后的視為撤回|||實質審查的生效|||公開

摘要

本發明的實施例公開一種表情識別方法,包括:將待識別人臉圖像輸入至全局深度卷積神經網絡以確定人臉圖像的第一表情和第一分值,全局深度卷積神經網絡基于具有不同表情的參考人臉圖像進行深度學習得到;將人臉圖像劃分為多個子圖像;將多個子圖像的特征信息與參考特征信息進行比較以確定人臉圖像的第二表情和第二分值,參考特征信息由具有不同表情的參考人臉圖像的多個參考子圖像確定;根據第一表情和第一分值以及第二表情和第二分值確定人臉圖像的表情;相應的還提供一種表情識別系統;本發明實施例的方法及系統可以更加準確快速地識別出人臉表情。

權利要求書

1.一種表情識別方法,包括:
將待識別的人臉圖像輸入至全局深度卷積神經網絡以確定所述人臉圖像的第一表情
和第一分值,所述全局深度卷積神經網絡基于具有不同表情的參考人臉圖像進行深度學習
得到;
將所述人臉圖像劃分為多個子圖像;
將所述多個子圖像的特征信息與參考特征信息進行比較以確定所述人臉圖像的第二
表情和第二分值,所述參考特征信息由具有不同表情的參考人臉圖像的多個參考子圖像確
定;
至少根據所述第一表情和第一分值以及所述第二表情和第二分值確定所述人臉圖像
的表情。
2.根據權利要求1所述的方法,其中,所述將所述人臉圖像劃分為多個子圖像包括:
對所述人臉圖像進行關鍵點定位;
根據定位的所述人臉圖像的關鍵點將所述人臉圖像劃分為多個子圖像。
3.根據權利要求2所述的方法,其中,所述將所述多個子圖像的特征信息與所述參考特
征信息進行比較以確定所述人臉圖像的第二表情和第二分值包括:
分別將所述多個子圖像輸入至局部深度卷積神經網絡;
從所述局部深度卷積神經網絡的全連接層獲取相應于所述多個子圖像的特征信息;
計算所述多個子圖像的特征信息與所述參考特征信息的相似度值;
確定相似度值最大的參考特征信息所對應的表情為所述第二表情;
確定所述第二表情的相似度值為所述第二分值。
4.根據權利要求2或3所述的方法,其中,還包括:
根據所述多個子圖像的相對位置關系確定所述人臉圖像的人臉姿態。
5.根據權利要求4所述的方法,其中,在所述將人臉圖像輸入至全局深度卷積神經網絡
之前還包括:
對所述人臉圖像進行校正處理。
6.一種表情識別系統,包括:
全局表情識別模塊,用于將待識別人臉圖像輸入至全局深度卷積神經網絡以確定所述
人臉圖像的第一表情和第一分值,所述全局深度卷積神經網絡基于具有不同表情的參考人
臉圖像進行深度學習得到;
人臉圖像劃分模塊,用于將所述人臉圖像劃分為多個子圖像;
局部表情識別模塊,用于將所述多個子圖像的特征信息與參考特征信息進行比較以確
定所述人臉圖像的第二表情和第二分值,所述參考特征信息由具有不同表情的參考人臉圖
像的多個參考子圖像確定;
目標表情確定模塊,用于至少根據所述第一表情和第一分值以及所述第二表情和第二
分值確定所述人臉圖像的表情。
7.根據權利要求6所述的系統,其中,所述人臉圖像劃分模塊包括:
關鍵點定位單元,用于對所述人臉圖像進行關鍵點定位;
子圖像劃分單元,用于根據定位的所述人臉圖像的關鍵點將所述人臉圖像劃分為多個
子圖像。
8.根據權利要求7所述的系統,其中,所述局部表情識別模塊包括:
子圖像處理單元,用于分別將所述多個子圖像輸入至局部深度卷積神經網絡;
特征信息獲取單元,用于從所述局部深度卷積神經網絡的全連接層獲取相應于所述多
個子圖像的特征信息;
相似度計算單元,用于計算所述多個子圖像的特征信息與所述參考特征信息的相似度
值;
第二表情確定單元,用于確定相似度值最大的參考特征信息所對應的表情為所述第二
表情;
第二分值確定單元,用于確定所述第二表情的相似度值為所述第二分值。
9.根據權利要求7或8所述的系統,其中,還包括:
人臉姿態確定模塊,用于根據所述多個子圖像的相對位置關系確定所述人臉圖像的人
臉姿態。
10.根據權利要求9所述的系統,其中,還包括:
圖像校正模塊,用于在所述將人臉圖像輸入至全局深度卷積神經網絡之前對所述人臉
圖像進行校正處理。

說明書

表情識別方法及系統

技術領域

本發明涉及圖像識別技術領域,特別涉及一種表情識別方法及系統。

背景技術

基于圖像的面部表情識別在人機交互,人體情緒判斷等智能領域有重要的價值。

現有技術中用于識別面部表情的方法僅限于對清晰的靜止的圖片進行表情識別,
而且為了準確的完成表情識別還需要被識別的圖片為人臉的正臉圖像,如果待識別的圖片
是在人活動過程中抓拍則極有可能得到的圖片是虛的,不清楚的,或者由于環境光線等因
素,得到的圖片質量是難以辨別的,而且抓拍到的圖片很有可能只是人的側臉而非正臉圖
像,這時就不能準確的識別人的面部表情了,因而嚴重影響了面部表情識別在實際生活中
的應用。

因此,急需一種能夠適應任何人臉姿態場景(人臉姿態場景至少包括正臉、左側
臉、右側臉、左斜側、右斜側、低頭、仰頭)與外部成像場景(模糊、強光、黑暗)識別人的面部
表情的方法。

發明內容

本發明實施例提供一種表情識別方法及系統,以用于至少解決上述技術問題之
一。

一方面,本發明實施例提供一種表情識別方法,其包括:

將待識別人臉圖像輸入至全局深度卷積神經網絡以確定所述人臉圖像的第一表
情和第一分值,所述全局深度卷積神經網絡基于具有不同表情的參考人臉圖像進行深度學
習得到;

將所述人臉圖像劃分為多個子圖像;

將所述多個子圖像的特征信息與參考特征信息進行比較以確定所述人臉圖像的
第二表情和第二分值,所述參考特征信息由具有不同表情的參考人臉圖像的多個參考子圖
像確定;

至少根據所述第一表情和第一分值以及所述第二表情和第二分值確定所述人臉
圖像的表情。

另一方面,本發明實施例還提供一種表情識別系統,其包括:

全局表情識別模塊,用于將待識別人臉圖像輸入至全局深度卷積神經網絡以確定
所述人臉圖像的第一表情和第一分值,所述全局深度卷積神經網絡基于具有不同表情的參
考人臉圖像進行深度學習得到;

人臉圖像劃分模塊,用于將所述人臉圖像劃分為多個子圖像;

局部表情識別模塊,用于將所述多個子圖像的特征信息與參考特征信息進行比較
以確定所述人臉圖像的第二表情和第二分值,所述參考特征信息由具有不同表情的參考人
臉圖像的多個參考子圖像確定;

目標表情確定模塊,用于至少根據所述第一表情和第一分值以及所述第二表情和
第二分值確定所述人臉圖像的表情。

本發明實施例的表情識別方法及系統中,一方面整體考慮人臉圖像來確定人臉圖
像可能的第一表情以及人臉圖像為第一表情的第一分值,彌補了在模糊、強光、黑暗等場景
下局部識別效果也不好的缺點;另一方面通過將人臉圖像劃分為多個子圖像的方法,進行
局部特征的判斷以確定人臉圖像可能的第二表情以及人臉圖像為第二表情的第二分值,彌
補了在側臉、斜側等人臉姿態下整體識別效果不好的缺陷;之后綜合考慮確定的第一表情
和第一分值以及第二表情和第二分值來確定人臉圖像的當前表情,本發明實施例的人臉識
別方法及系統充分利用了人臉全局與局部的特性,判別準確率高,而且能夠適應多種人臉
姿態與模糊、強光、黑暗等多種成像場景。

附圖說明

為了更清楚地說明本發明實施例的技術方案,下面將對實施例描述中所需要使用
的附圖作一簡單地介紹,顯而易見地,下面描述中的附圖是本發明的一些實施例,對于本領
域普通技術人員來講,在不付出創造性勞動的前提下,還可以根據這些附圖獲得其他的附
圖。

圖1為本發明的表情識別方法一實施例的流程圖;

圖2為本發明的表情識別方法另一實施例的流程圖;

圖3為本發明的表情識別方法又一實施例的流程圖;

圖4為本發明的表情識別系統一實施例的原理框圖;

圖5為本發明的表情識別中的人臉圖像劃分模塊一實施例的原理框圖;

圖6為本發明的表情識別中的局部表情識別模塊一實施例的原理框圖;

圖7為本發明的用戶設備的一實施例的結構示意圖。

具體實施例

為使本發明實施例的目的、技術方案和優點更加清楚,下面將結合本發明實施例
中的附圖,對本發明實施例中的技術方案進行清楚、完整地描述,顯然,所描述的實施例是
本發明一部分實施例,而不是全部的實施例。基于本發明中的實施例,本領域普通技術人員
在沒有作出創造性勞動前提下所獲得的所有其他實施例,都屬于本發明保護的范圍。

需要說明的是,在不沖突的情況下,本申請中的實施例及實施例中的特征可以相
互組合。

本發明可用于眾多通用或專用的計算系統環境或配置中。例如:個人計算機、服務
器計算機、手持設備或便攜式設備、平板型設備、多處理器系統、基于微處理器的系統、置頂
盒、可編程的消費電子設備、網絡PC、小型計算機、大型計算機、包括以上任何系統或設備的
分布式計算環境等等。

本發明可以在由計算機執行的計算機可執行指令的一般上下文中描述,例如程序
模塊。一般地,程序模塊包括執行特定任務或實現特定抽象數據類型的例程、程序、對象、組
件、數據結構等等。也可以在分布式計算環境中實踐本發明,在這些分布式計算環境中,由
通過通信網絡而被連接的遠程處理設備來執行任務。在分布式計算環境中,程序模塊可以
位于包括存儲設備在內的本地和遠程計算機存儲介質中。

在本發明中,“組件”、“裝置”、“系統”等等指應用于計算機的相關實體,如硬件、硬
件和軟件的組合、軟件或執行中的軟件等。詳細地說,例如,組件可以、但不限于是運行于處
理器的過程、處理器、對象、可執行組件、執行線程、程序和/或計算機。還有,運行于服務器
上的應用程序或腳本程序、服務器都可以是組件。一個或多個組件可在執行的過程和/或線
程中,并且組件可以在一臺計算機上本地化和/或分布在兩臺或多臺計算機之間,并可以由
各種計算機可讀介質運行。組件還可以根據具有一個或多個數據包的信號,例如,來自一個
與本地系統、分布式系統中另一組件交互的,和/或在因特網的網絡通過信號與其它系統交
互的數據的信號通過本地和/或遠程過程來進行通信。

最后,還需要說明的是,在本文中,諸如第一和第二等之類的關系術語僅僅用來將
一個實體或者操作與另一個實體或操作區分開來,而不一定要求或者暗示這些實體或操作
之間存在任何這種實際的關系或者順序。而且,術語“包括”、“包含”,不僅包括那些要素,而
且還包括沒有明確列出的其他要素,或者是還包括為這種過程、方法、物品或者設備所固有
的要素。在沒有更多限制的情況下,由語句“包括……”限定的要素,并不排除在包括所述要
素的過程、方法、物品或者設備中還存在另外的相同要素。

基于圖像的面部表情識別在人機交互,人體情緒判斷等智能領域有重要的價值。
目前有很多基于圖像的表情識別研究,但是沒有綜合考慮整體與局部的結合特性,因此適
應場景有限,例如,在側臉、斜側等人臉姿態下整體識別往往不好,在模糊、強光、黑暗等場
景下局部識別效果也不好。

為盡可能的適應多種人臉姿態場景與外部成像場景我們將人臉全局圖像與眼睛、
嘴巴、眉毛等局部圖像分別進行判別,用深度卷積神經網絡進行全局表情判別與局部特征
提取,最后用支持向量機分類方法進行結果融合,最后得到帶有人臉姿態的表情判斷結果。
該方法能夠適應充分利用了人臉全局與局部的特性,判別準確率高,而且能夠適應多種人
臉姿態與模糊、強光、黑暗等多種成像場景。

如圖1所示,本發明的一實施例的表情識別方法,其包括:

S11、將待識別人臉圖像輸入至全局深度卷積神經網絡以確定所述人臉圖像的第
一表情和第一分值,所述全局深度卷積神經網絡基于具有不同表情的參考人臉圖像進行深
度學習得到;

S12、將所述人臉圖像劃分為多個子圖像;

S13、將所述多個子圖像的特征信息與參考特征信息進行比較以確定所述人臉圖
像的第二表情和第二分值,所述參考特征信息由具有不同表情的參考人臉圖像的多個參考
子圖像確定;

S14、至少根據所述第一表情和第一分值以及所述第二表情和第二分值確定所述
人臉圖像的表情。

本發明實施例的表情識別方法中,一方面整體考慮人臉圖像來確定人臉圖像可能
的第一表情以及人臉圖像為第一表情的第一分值,彌補了在模糊、強光、黑暗等場景下局部
識別效果也不好的缺點;另一方面通過將人臉圖像劃分為多個子圖像的方法,進行局部特
征的判斷以確定人臉圖像可能的第二表情以及人臉圖像為第二表情的第二分值,彌補了在
側臉、斜側等人臉姿態下整體識別效果不好的缺陷;之后綜合考慮確定的第一表情和第一
分值以及第二表情和第二分值來確定人臉圖像的當前表情,本發明實施例的人臉識別方法
及系統適應充分利用了人臉全局與局部的特性,判別準確率高,而且能夠適應多種人臉姿
態與模糊、強光、黑暗等多種成像場景。

在本實施例中,步驟S11中待識別人臉圖像可以是直接輸入的人臉圖像的照片(例
如,通過攝像頭直接獲取的),或者是從輸入的混雜有其它背景的圖片中采用HAAR人臉檢測
方法獲取的;全局深度卷積神經網絡是預先基于深度學習形成的,其輸入為海量的具有不
同表情的人臉圖像,輸出為人臉圖像所具有的表情以及為人臉圖像具有該表情的可能性所
打的分值,因此,在獲取人臉圖像后直接將獲取的人臉圖像輸入全局深度卷積神經網絡即
可得到該人臉圖像可能具有的表情以及為具有該表情所打的分值,人臉圖像的表情至少包
括:喜悅、憤怒、恐懼、悲傷、驚訝、悲傷、平和中的一種或者多種。

在本實施例中,步驟S14可以是直接比較第一分值與第二分值的大小,并確定數值
較大的所對應的表情為人臉圖像的表情;或者采用SVM(Support Vector Machine支持向量
機)方法對第一分值和第二分值進行融合以確定人臉圖像的當前表情。

SVM屬于數據分類的范疇,數據分類是數據挖掘中的一個重要題目。數據分類是指
在已有分類的訓練數據的基礎上,根據某種原理,經過訓練形成一個分類器;然后使用分類
器判斷沒有分類的數據的類別。

支持向量機是一種基于分類邊界的分類方法,本實施例中通過大量的具有不同表
情的人臉圖像的第一分值和第二分值以及相應的表情進行訓練,來最終確定了SVM分類器,
其基本原理是:訓練數據第一分值和第二分值是分布在二維平面上的點,它們按照其分類
(表情類別)聚集在不同的區域,通過大量的具有不同表情的人臉圖像確定分類邊界,從而
確定下SVM分類器;當有待識別人臉圖像的第一分值和第二分值輸入SVM分類器時,根據第
一分值和第二分值所落在的分類邊界的區域所對應的類別確定待識別人臉圖像所具有的
表情。

采用SVM方法的優點在于,當第一分值與第二分值相互接近,但又分別對應不同的
表情時,直接確定數值較大的分值所對應的表情為人臉圖像的表情可能會存在誤判的情
況,例如,第一分值所對應的表情為微笑,而第二分值所對應的表情為悲傷,并且第一分值
取值為0.89,第二分值取值為0.9,從第一、第二分值的取值來看,人臉表情為微笑和悲哀的
分值都很高,如果直接將第二分值所對應的表情悲哀確定為人臉圖像的表情的話,極有可
能是錯誤的判斷,因此采用SVM方法對第一、第二分值進行融合的方法確定,SVM方法進行融
合的SVM分類器是根據大量的具有不同表情的人臉圖像的深度學習確定的,從而保證了最
終判定結果的準確性。

在一些實施例中,在將人臉圖像輸入至全局深度卷積神經網絡之前還包括對獲取
的人臉圖像進行校正,以便于更加準確的識別人臉圖像所具有的表情,例如,通過檢測人臉
圖像中左右眼是否在同一個水平線上來判斷當前人臉圖像是否需要進行校正,當左右眼不
在同一水平線上時,驅動整個人臉圖像進行旋轉以實現對人臉圖像的校正。

如圖2所示,在一些實施例中,步驟S12將所述人臉圖像劃分為多個子圖像包括:

S21、對所述人臉圖像進行關鍵點定位;

S22、根據定位的所述人臉圖像的關鍵點將所述人臉圖像劃分為多個子圖像。

本實施例中采用SDM方法進行人臉圖像關鍵點定位,并根據關鍵點分割出局部區
域;例如,根據得到的關鍵點位置,劃分出左眼睛、右眼睛、左眉毛、右眉毛、嘴巴等五個區
域,并獲取這五個區域的圖像作為子圖像。

如圖3所示,在一些實施例中,將所述多個子圖像的特征信息與表情特征庫中存儲
的參考特征信息進行比較以確定所述人臉圖像的第二表情和第二分值包括:

S31、分別將所述多個子圖像輸入至局部深度卷積神經網絡;

S32、從所述局部深度卷積神經網絡的全連接層獲取相應于所述多個子圖像的特
征信息;

S33、計算所述多個子圖像的特征信息與所述表情特征庫中存儲的參考特征信息
的相似度值;

S34、確定相似度值最大的參考特征信息所對應的表情為所述第二表情;

S35、確定所述第二表情的相似度值為所述第二分值。

本實施例中,局部深度卷積神經網絡是基于海量具有不同表情的人臉圖像的子圖
像進行深度學習確定的,并且參考特征信息是通過將參考人臉圖像輸入至局部深度卷積神
經網絡后,從局部深度卷積神經網絡的全連接層獲取的特征值確定的,例如,一副具有微笑
表情的參考人臉圖像的左眼睛、右眼睛、左眉毛、右眉毛、嘴巴等五個區域的子圖像分別輸
入局部深度卷積神經網絡,相應的可以從局部深度卷積神經網絡的全連接層依次得到分別
相應于左眼睛、右眼睛、左眉毛、右眉毛、嘴巴五個子圖像的五個特征值,并且由這五個特征
值按照預設順序生成特征值組作為參考特征信息,該參考特征信息所對應的表情就是微
笑;表情特征庫中存儲的參考特征信息包括了針對具有不同表情的人臉圖像的參考特征信
息,并且包括具有相同表情的不同人臉圖像的參考特征信息。

當有需要進行識別表情的人臉圖像時,同樣獲取待識別人臉圖像的五個區域的五
個子圖像,并將得到的五個子圖像輸入至局部深度卷積神經網絡以得到五個特征值,將五
個特征值按照預設順序生成待識別人臉圖像的特征信息,然后采用聯合貝葉斯算法依次計
算待識別人臉圖像的特征信息與表情特征庫中存儲的參考特征信息之間的相似度,以確定
待識別人臉圖像的表情。

例如,對于具有微笑表情的待識別人臉圖像。首先獲取左眼睛、右眼睛、左眉毛、右
眉毛、嘴巴五個子圖像。然后分別將五個子圖像輸入至局部深度卷積神經網絡得到對應的
五個特征值,以預設順序(例如,就按照左眼睛、右眼睛、左眉毛、右眉毛和嘴巴的順序)將五
個特征值存儲為一個數組作為待識別人臉圖像的特征信息。采用聯合貝葉斯算法計算待識
別人臉圖像的特征信息與表情特征庫中存儲的參考特征信息之間的相似度值。

表情特征庫中存儲的參考特征信息可能是基于一萬張參考人臉圖像得到的一萬
個參考特征信息,計算出所有的相似度后對相似度值進行從大到小的排列,取前20個相似
度值(或者是取相似度值大于某一閾值的所有的相似度值)。然后再進一步統計這20個相似
度值所對應的表情,并確定這20個相似度值中所對應的最多的表情為待識別人臉圖像的表
情。

例如從大到小的20個相似度值分別為:0.95(對應于表情微笑)、0.94(對應于表情
微笑)、0.92(對應于表情微笑)、0.92(對應于表情微笑)、0.91(對應于表情微笑)、0.91(對
應于表情微笑)、0.91(對應于表情微笑)、0.90(對應于表情微笑)、0.90(對應于表情嚴肅)、
0.88(對應于表情微笑)、0.88(對應于表情大笑)、0.86(對應于表情微笑)、0.85(對應于表
情微笑)、0.85(對應于表情微笑)、0.84(對應于表情大笑)、0.84(對應于表情微笑)、0.84
(對應于表情微笑)、0.82(對應于表情大笑)、0.81(對應于表情嚴肅笑)、0.80(對應于表情
微笑)。

統計可知,上述20個相似度值中有15個對應于表情微笑,3個對應于大笑,兩個對
應于嚴肅,這時即可確定微笑為待識別人臉圖像的表情。統計15個對應于表情微笑的相似
度值的算術平均值為0.89853,即待識別人臉圖像的表情為微笑的概率為89.853。或者通過
排除一個最高概率值0.95和一個概率最低值0.80,統計剩下的13個概率值的算術平均值為
0.88692,即待識別人臉圖像的表情為微笑的概率為89.853。

在本發明表情識別方法的一些實施例中,還包括:

根據所述多個子圖像的相對位置關系確定所述人臉圖像的人臉姿態,所述人臉姿
態至少包括正臉、左側臉、右側臉、左斜側、右斜側、低頭、仰頭中的一種或者多種;例如,當
檢測到人臉圖像中只有左眼時,則可以判定為當前人臉圖像的姿態為左側臉,當檢測到雙
眼所在水平線與嘴巴所在水平線之間的距離小于一般閾值時,則判定當前人臉圖像的姿態
為低頭。

在一些實施例中,至少根據所述第一表情和第一分值以及所述第二表情和第二分
值確定所述人臉圖像的表情為:結合確定的人臉圖像的當前姿態根據第一分值和第二分值
通過SVM方法進行融合。本實施例中人臉圖像的當前姿態可用于確定第一分值和第二分值
的權重,例如,當人臉圖像的當前姿態為正臉或者抬頭或者低頭時,為第一分值分配的權重
大于為第二分值分配的權重(因為,當人臉圖像處于正臉或者抬頭或者低頭的姿態時,根據
整體人臉圖像確定的表情相對于根據人臉圖像的局部特征確定的表情更加準確);當人臉
圖像的當前姿態為側臉時,則為第一分值分配的權重小于為第二分值分配的權重(因為,當
人臉圖像處于側臉的姿態時,根據人臉圖像的局部特征確定的表情相對于根據整體人臉圖
像確定的表情更加準確)。

本發明實施例中可以通過硬件處理器(hardware processor)來實現相關功能模
塊。

需要說明的是,對于前述的各方法實施例,為了簡單描述,故將其都表述為一系列
的動作合并,但是本領域技術人員應該知悉,本發明并不受所描述的動作順序的限制,因為
依據本發明,某些步驟可以采用其他順序或者同時進行。其次,本領域技術人員也應該知
悉,說明書中所描述的實施例均屬于優選實施例,所涉及的動作和模塊并不一定是本發明
所必須的。

在上述實施例中,對各個實施例的描述都各有側重,某個實施例中沒有詳述的部
分,可以參見其他實施例的相關描述。

如圖4所示,本發明實施例還提供一種表情識別系統,其包括:

全局表情識別模塊,用于將待識別人臉圖像輸入至全局深度卷積神經網絡以確定
所述人臉圖像的第一表情和第一分值,所述全局深度卷積神經網絡基于具有不同表情的參
考人臉圖像進行深度學習得到;

人臉圖像劃分模塊,用于將所述人臉圖像劃分為多個子圖像;

局部表情識別模塊,用于將所述多個子圖像的特征信息與表情特征庫中存儲的參
考特征信息進行比較以確定所述人臉圖像的第二表情和第二分值,所述參考特征信息由具
有不同表情的參考人臉圖像的多個參考子圖像確定;

目標表情確定模塊,用于至少根據所述第一表情和第一分值以及所述第二表情和
第二分值確定所述人臉圖像的表情。

本發明實施例的表情識別系統中,一方面整體考慮人臉圖像來確定人臉圖像可能
的第一表情以及人臉圖像為第一表情的第一分值,彌補了在模糊、強光、黑暗等場景下局部
識別效果也不好的缺點;另一方面通過將人臉圖像劃分為多個子圖像的方法,進行局部特
征的判斷以確定人臉圖像可能的第二表情以及人臉圖像為第二表情的第二分值,彌補了在
側臉、斜側等人臉姿態下整體識別效果不好的缺陷;之后綜合考慮確定的第一表情和第一
分值以及第二表情和第二分值來確定人臉圖像的當前表情,本發明實施例的人臉識別方法
及系統適應充分利用了人臉全局與局部的特性,判別準確率高,而且能夠適應多種人臉姿
態與模糊、強光、黑暗等多種成像場景。

在本發明實施例的表情識別系統中,還包括:

圖像校正模塊,用于在所述將人臉圖像輸入至全局深度卷積神經網絡之前對所述
人臉圖像進行校正處理。

如圖5所示,在一些實施例中,人臉圖像劃分模塊包括:

關鍵點定位單元,用于對所述人臉圖像進行關鍵點定位;

子圖像劃分單元,用于根據定位的所述人臉圖像的關鍵點將所述人臉圖像劃分為
多個子圖像。

如圖6所示,在一些實施例中,局部表情識別模塊包括:

子圖像處理單元,用于分別將所述多個子圖像輸入至局部深度卷積神經網絡;

特征信息獲取單元,用于從所述局部深度卷積神經網絡的全連接層獲取相應于所
述多個子圖像的特征信息;

相似度計算單元,用于計算所述多個子圖像的特征信息與所述表情特征庫中存儲
的參考特征信息的相似度值;

第二表情確定單元,用于確定相似度值最大的參考特征信息所對應的表情為所述
第二表情;

第二分值確定單元,用于確定所述第二表情的相似度值為所述第二分值。

在本發明實施例的人臉表情識別系統中,還包括:

人臉姿態確定模塊,用于根據所述多個子圖像的相對位置關系確定所述人臉圖像
的人臉姿態;所述人臉姿態至少包括正臉、左側臉、右側臉、左斜側、右斜側、低頭、仰頭中的
一種或者多種。

上述本發明實施例的表情識別系統可用于執行本發明實施例的人臉表情識別方
法,并相應的達到上述本發明實施例的人臉表情識別方法所達到的技術效果,這里不再贅
述。

另一方面,本發明實施例還公開一種用戶設備,該用戶設備包括:

存儲器,用于存放計算機操作指令;

處理器,用于執行所述存儲器存儲的計算機操作指令,以執行:

將待識別人臉圖像輸入至全局深度卷積神經網絡以確定所述人臉圖像的第一表
情和第一分值,所述全局深度卷積神經網絡基于具有不同表情的參考人臉圖像進行深度學
習得到;

將所述人臉圖像劃分為多個子圖像;

將所述多個子圖像的特征信息與表情特征庫中存儲的參考特征信息進行比較以
確定所述人臉圖像的第二表情和第二分值,所述參考特征信息由具有不同表情的參考人臉
圖像的多個參考子圖像確定;

至少根據所述第一表情和第一分值以及所述第二表情和第二分值確定所述人臉
圖像的表情。

如圖7所示,為本發明上述實施例中用戶設備一實施例的結構示意圖,本申請具體
實施例并不對用戶設備700的具體實現做限定,其包括:

處理器(processor)710、通信接口(Communications Interface)720、存儲器
(memory)730、以及通信總線740。其中:

處理器710、通信接口720、以及存儲器730通過通信總線740完成相互間的通信。

通信接口720,用于與比如第三方訪問端等的網元通信。

處理器710,用于執行程序732,具體可以執行上述方法實施例中的相關步驟。

具體地,程序732可以包括程序代碼,所述程序代碼包括計算機操作指令。

處理器710可能是一個中央處理器CPU,或者是特定集成電路ASIC(Application
Specific Integrated Circuit),或者是被配置成實施本申請實施例的一個或多個集成電
路。

以上所描述的方法實施例僅僅是示意性的,其中所述作為分離部件說明的單元可
以是或者也可以不是物理上分開的,作為單元顯示的部件可以是或者也可以不是物理單
元,即可以位于一個地方,或者也可以分布到多個網絡單元上。可以根據實際的需要選擇其
中的部分或者全部模塊來實現本實施例方案的目的。本領域普通技術人員在不付出創造性
的勞動的情況下,即可以理解并實施。

通過以上的實施例的描述,本領域的技術人員可以清楚地了解到各實施例可借助
軟件加必需的通用硬件平臺的方式來實現,當然也可以通過硬件。基于這樣的理解,上述技
術方案本質上或者說對現有技術做出貢獻的部分可以以軟件產品的形式體現出來,該計算
機軟件產品可以存儲在計算機可讀存儲介質中,如ROM/RAM、磁碟、光盤等,包括若干指令用
以使得一臺計算機設備(可以是個人計算機,服務器,或者網絡設備等)執行各個實施例或
者實施例的某些部分所述的方法。

本領域內的技術人員應明白,本發明的實施例可提供為方法、系統、或計算機程序
產品。因此,本發明可采用完全硬件實施例、完全軟件實施例、或結合軟件和硬件方面的實
施例的形式。而且,本發明可采用在一個或多個其中包含有計算機可用程序代碼的計算機
可用存儲介質(包括但不限于磁盤存儲器和光學存儲器等)上實施的計算機程序產品的形
式。

本發明是參照根據本發明實施例的方法、設備(系統)、和計算機程序產品的流程
圖和/或方框圖來描述的。應理解可由計算機程序指令實現流程圖和/或方框圖中的每一流
程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結合。可提供這些計算機程序
指令到通用計算機、專用計算機、嵌入式處理機或其他可編程數據處理設備的處理器以產
生一個機器,使得通過計算機或其他可編程數據處理設備的處理器執行的指令產生用于實
現在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。

這些計算機程序指令也可存儲在能引導計算機或其他可編程數據處理設備以特
定方式工作的計算機可讀存儲器中,使得存儲在該計算機可讀存儲器中的指令產生包括指
令裝置的制造品,該指令裝置實現在流程圖一個流程或多個流程和/或方框圖一個方框或
多個方框中指定的功能。這些計算機程序指令也可裝載到計算機或其他可編程數據處理設
備上,使得在計算機或其他可編程設備上執行一系列操作步驟以產生計算機實現的處理,
從而在計算機或其他可編程設備上執行的指令提供用于實現在流程圖一個流程或多個流
程和/或方框圖一個方框或多個方框中指定的功能的步驟。

最后應說明的是:以上實施例僅用以說明本發明的技術方案,而非對其限制;盡管
參照前述實施例對本發明進行了詳細的說明,本領域的普通技術人員應當理解:其依然可
以對前述各實施例所記載的技術方案進行修改,或者對其中部分技術特征進行等同替換;
而這些修改或者替換,并不使相應技術方案的本質脫離本發明各實施例技術方案的精神和
范圍。

關 鍵 詞:
表情 識別 方法 系統
  專利查詢網所有資源均是用戶自行上傳分享,僅供網友學習交流,未經上傳用戶書面授權,請勿作他用。
關于本文
本文標題:表情識別方法及系統.pdf
鏈接地址:http://www.rgyfuv.icu/p-6100793.html
關于我們 - 網站聲明 - 網站地圖 - 資源地圖 - 友情鏈接 - 網站客服客服 - 聯系我們

[email protected] 2017-2018 zhuanlichaxun.net網站版權所有
經營許可證編號:粵ICP備17046363號-1 
 


收起
展開
山东11选5中奖结果走势图