• / 19
  • 下載費用:30 金幣  

一種臉部特效推薦方法及電子設備.pdf

摘要
申請專利號:

CN201610685111.X

申請日:

2016.08.18

公開號:

CN106303354A

公開日:

2017.01.04

當前法律狀態:

實審

有效性:

審中

法律詳情: 實質審查的生效IPC(主分類):H04N 7/14申請日:20160818|||公開
IPC分類號: H04N7/14; H04N21/4788(2011.01)I; G06T3/00 主分類號: H04N7/14
申請人: 北京奇虎科技有限公司; 奇智軟件(北京)有限公司
發明人: 陳耀攀
地址: 100088 北京市西城區新街口外大街28號D座112室(德勝園區)
優先權:
專利代理機構: 北京華沛德權律師事務所 11302 代理人: 房德權
PDF完整版下載: PDF下載
法律狀態
申請(專利)號:

CN201610685111.X

授權公告號:

|||

法律狀態公告日:

2017.02.01|||2017.01.04

法律狀態類型:

實質審查的生效|||公開

摘要

本發明公開了一種臉部特效推薦方法及電子設備,該方法包括:獲得用戶的第一臉部特征圖像;獲得與所述第一臉部特征圖像相同和/或相似的第二臉部特征圖像對應的參考用戶;獲得所述參考用戶使用過的參考特效,所述參考特效在使用時用于填充臉部特征圖像對應的特效區域;將所述參考特效的推薦信息發送給所述用戶,以供所述用戶選擇使用所述參考特效。在上述技術方案中,通過向用戶推薦與自己臉部特征相同和/或相似的參考用戶使用過的參考特效,使得根據推薦信息選擇使用的參考特效的匹配命中率大大提高,由此解決了現有技術中特效在使用時存在匹配命中率較低的技術問題,達到了提高特效匹配命中率的技術效果。

權利要求書

1.一種臉部特效推薦方法,其特征在于,包括:
獲得用戶的第一臉部特征圖像;
獲得與所述第一臉部特征圖像相同和/或相似的第二臉部特征圖像對應的參考用戶;
獲得所述參考用戶使用過的參考特效,所述參考特效在使用時用于填充臉部特征圖像
對應的待填充區域;
將所述參考特效的推薦信息發送給所述用戶,以供所述用戶選擇使用所述參考特效。
2.如權利要求1所述的方法,其特征在于,所述獲得與所述第一臉部特征圖像相同和/
或相似的第二臉部特征圖像對應的參考用戶,包括:
獲得與所述第一臉部特征圖像之間圖像相似度大于設定閾值的第二臉部特征圖像;
獲得所述第二臉部特征圖像對應的參考用戶。
3.如權利要求1所述的方法,其特征在于,所述獲得與所述第一臉部特征圖像相同和/
或相似的第二臉部特征圖像對應的參考用戶,包括:
獲得所述第一臉部特征圖像所屬的臉部特征類型;
獲得與所述第一臉部特征圖像所屬的臉部特征類型相同的第二臉部特征圖像;
獲得所述第二臉部特征圖像對應的參考用戶。
4.如權利要求1所述的方法,其特征在于,所述第一臉部特征圖像包括臉型輪廓圖像
和/或五官特征中至少一個感官特征圖像。
5.如權利要求1~4任一所述的方法,其特征在于,所述獲得所述參考用戶使用過的參
考特效,包括:
獲得所述參考用戶使用頻率大于設定頻率的特效作為所述參考特效;或者
獲得所述參考用戶使用次數大于第一設定數值的特效作為所述參考特效;或者
獲得所述參考用戶使用時獲贊和/或獲贈禮物的次數大于第二設定數值的特效作為所
述參考特效。
6.如權利要求1~4任一所述的方法,其特征在于,所述參考特效為:特效面具或特效飾
品。
7.如權利要求1~4任一所述的方法,其特征在于,所述方法還包括:
接收用于選擇所述參考特效的選擇指令,將所述參考特效按照預設規則分為M個特效
區域,M為大于1的正整數;
識別所述第一臉部特征圖像的N個特征點,N為正整數;
根據所述N個特征點,按照所述預設規則將所述第一臉部特征圖像分為與所述M個特效
區域對應的M個圖像區域;
將所述M個特效區域對應填充到所述M個圖像區域,形成第三臉部特征圖像;
輸出所述第三臉部特征圖像。
8.如權利要求7所述的方法,其特征在于,所述根據所述N個特征點,按照所述預設規則
將所述第一臉部特征圖像分為與所述M個特效區域對應的M個圖像區域,具體包括:
根據所述N個特征點,將所述第一臉部特征圖像分為與所述M個特效區域對應的M個圖
像區域,其中,所述M個圖像區域為三角形區域,所述M個圖像區域中每個圖像區域內包括的
所述特征點的數量小于等于1。
9.如權利要求7所述的方法,其特征在于,所述將所述M個特效區域對應填充到所述M個
圖像區域,包括:
采用圖像壓縮算法和/或圖像拉伸算法,將所述M個特效區域對應填充到所述M個圖像
區域,以使所述M個特效區域中每個特效區域的形狀與其對應的圖像區域的形狀匹配。
10.一種電子設備,其特征在于,包括:
圖像獲取單元,用于獲得用戶的第一臉部特征圖像;
用戶獲取單元,用于獲得與所述第一臉部特征圖像相同和/或相似的第二臉部特征圖
像對應的參考用戶;
特效獲取單元,用于獲得所述參考用戶使用過的參考特效,所述參考特效在使用時用
于填充臉部特征圖像對應的特效區域;
推送單元,用于將所述參考特效的推薦信息發送給所述用戶,以供所述用戶選擇使用
所述參考特效。

說明書

一種臉部特效推薦方法及電子設備

技術領域

本發明涉及軟件技術領域,尤其涉及一種臉部特效推薦方法及電子設備。

背景技術

隨著網絡通訊的發展,越來越多的用戶選擇通過網絡平臺來交友和娛樂,這些網
絡平臺包括一對一聊天交友平臺、主播聊天室平臺、論壇交友平臺等,其中,一對一聊天交
友平臺和主播聊天室平臺由于可實時視頻交流,更受用戶青睞。

為了增加平臺用戶的使用黏性,各視頻平臺往往會提供豐富的視頻特效,以便用
戶在進行視頻交流時,可以使用平臺提供的面具類特效來增加視頻的娛樂性。然而,由于平
臺提供的特效的數量和種類繁多,加之不同的特效使用受眾不同,用戶在選用特效時需要
花費大量的時間選擇、適用、比較,出現特效與用戶匹配時匹配命中率較低,甚至可能出現
多次選擇適用的匹配效果均不佳,導致用戶放棄使用特效,不利于特效的使用和推廣。

可見,現有技術中的特效在使用時,存在命中率較低的技術問題。

發明內容

鑒于上述問題,本發明提出了一種克服上述問題或者至少部分地解決上述問題的
臉部特效推薦的方法及電子設備。

本發明的一個方面,提供了一種臉部特效推薦的方法,包括:

獲得用戶的第一臉部特征圖像;

獲得與所述第一臉部特征圖像相同和/或相似的第二臉部特征圖像對應的參考用
戶;

獲得所述參考用戶使用過的參考特效,所述參考特效在使用時用于填充臉部特征
圖像對應的待填充區域;

將所述參考特效的推薦信息發送給所述用戶,以供所述用戶選擇使用所述參考特
效。

可選的,所述獲得與所述第一臉部特征圖像相同和/或相似的第二臉部特征圖像
對應的參考用戶,包括:獲得與所述第一臉部特征圖像之間圖像相似度大于設定閾值的第
二臉部特征圖像;獲得所述第二臉部特征圖像對應的參考用戶。

可選的,所述獲得與所述第一臉部特征圖像相同和/或相似的第二臉部特征圖像
對應的參考用戶,包括:

獲得所述第一臉部特征圖像所屬的臉部特征類型;獲得與所述第一臉部特征圖像
所屬的臉部特征類型相同的第二臉部特征圖像;獲得所述第二臉部特征圖像對應的參考用
戶。

可選的,所述第一臉部特征圖像包括臉型輪廓圖像和/或五官特征中至少一個感
官特征圖像。

可選的,所述獲得所述參考用戶使用過的參考特效,包括:

獲得所述參考用戶使用頻率大于設定頻率的特效作為所述參考特效;或者

獲得所述參考用戶使用次數大于第一設定數值的特效作為所述參考特效;或者

獲得所述參考用戶使用時獲贊和/或獲贈禮物的次數大于第二設定數值的特效作
為所述參考特效。

可選的,所述參考特效為:特效面具或特效飾品。

可選的,所述方法還包括:

接收用于選擇所述參考特效的選擇指令,將所述參考特效按照預設規則分為M個
特效區域,M為大于1的正整數;

識別所述第一臉部特征圖像的N個特征點,N為正整數;

根據所述N個特征點,按照所述預設規則將所述第一臉部特征圖像分為與所述M個
特效區域對應的M個圖像區域;

將所述M個特效區域對應填充到所述M個圖像區域,形成第三臉部特征圖像;

輸出所述第三臉部特征圖像。

可選的,所述根據所述N個特征點,按照所述預設規則將所述第一臉部特征圖像分
為與所述M個特效區域對應的M個圖像區域,具體包括:

根據所述N個特征點,將所述第一臉部特征圖像分為與所述M個特效區域對應的M
個圖像區域,其中,所述M個圖像區域為三角形區域,所述M個圖像區域中每個圖像區域內包
括的所述特征點的數量小于等于1。

可選的,所述將所述M個特效區域對應填充到所述M個圖像區域,包括:

采用圖像壓縮算法和/或圖像拉伸算法,將所述M個特效區域對應填充到所述M個
圖像區域,以使所述M個特效區域中每個特效區域的形狀與其對應的圖像區域的形狀匹配。

本發明的另一方面,還提供一種電子設備,包括:

圖像獲取單元,用于獲得用戶的第一臉部特征圖像;

用戶獲取單元,用于獲得與所述第一臉部特征圖像相同和/或相似的第二臉部特
征圖像對應的參考用戶;

特效獲取單元,用于獲得所述參考用戶使用過的參考特效,所述參考特效在使用
時用于填充臉部特征圖像對應的特效區域;

推送單元,用于將所述參考特效的推薦信息發送給所述用戶,以供所述用戶選擇
使用所述參考特效。

可選的,所述用戶獲取單元用于:獲得與所述第一臉部特征圖像之間圖像相似度
大于設定閾值的第二臉部特征圖像;獲得所述第二臉部特征圖像對應的參考用戶。

可選的,所述用戶獲取單元還用于:獲得所述第一臉部特征圖像所屬的臉部特征
類型;獲得與所述第一臉部特征圖像所屬的臉部特征類型相同的第二臉部特征圖像;獲得
所述第二臉部特征圖像對應的參考用戶。

可選的,所述第一臉部特征圖像包括臉型輪廓圖像和/或五官特征中至少一個感
官特征圖像。

可選的,所述特效獲取單元,用于:獲得所述參考用戶使用頻率大于設定頻率的特
效作為所述參考特效;或者,獲得所述參考用戶使用次數大于第一設定數值的特效作為所
述參考特效;或者,獲得所述參考用戶使用時獲贊和/或獲贈禮物的次數大于第二設定數值
的特效作為所述參考特效。

可選的,所述參考特效為:特效面具或特效飾品。

可選的,所述電子設備還包括:

第一劃分單元,用于接收用于選擇所述參考特效的選擇指令,將所述特效按照預
設規則分為M個特效區域,M為大于1的正整數;

識別單元,用于識別所述第一臉部特征圖像的的N個特征點,N為正整數;

第二劃分單元,用于根據所述N個特征點,按照所述預設規則將所述第一臉部特征
圖像分為與所述M個特效區域對應的M個圖像區域;

填充單元,用于將所述M個特效區域對應填充到所述M個圖像區域,形成第三臉部
特征圖像;

輸出單元,用于輸出所述第三臉部特征圖像。

可選的,所述第二劃分單元,具體用于:根據所述N個特征點,將所述第一臉部特征
圖像分為與所述M個特效區域對應的M個圖像區域,其中,所述M個圖像區域為三角形區域,
所述M個圖像區域中每個圖像區域內包括的所述特征點的數量小于等于1。

可選的,所述填充單元,用于:采用圖像壓縮算法和/或圖像拉伸算法,將所述M個
特效區域對應填充到所述M個圖像區域,以使所述M個特效區域中每個特效區域的形狀與其
對應的圖像區域的形狀匹配。

本申請實施例中提供的技術方案,至少具有如下技術效果或優點:

本申請實施例中獲得用戶的第一臉部特征圖像;獲得與所述第一臉部特征圖像相
同和/或相似的第二臉部特征圖像對應的參考用戶;獲得所述參考用戶使用過的參考特效,
所述參考特效在使用時用于填充臉部特征圖像對應的特效區域;將所述參考特效的推薦信
息發送給用戶,即被推薦的參考特效與用戶的臉部特征能夠很好的匹配上,使得在根據推
薦信息選擇使用參考特效時,特效的匹配命中率大大提高,解決了現有技術中特效在使用
時存在匹配命中率較低的技術問題。

上述說明僅是本發明技術方案的概述,為了能夠更清楚了解本發明的技術手段,
而可依照說明書的內容予以實施,并且為了讓本發明的上述和其它目的、特征和優點能夠
更明顯易懂,以下特舉本發明的具體實施方式。

附圖說明

通過閱讀下文優選實施方式的詳細描述,各種其他的優點和益處對于本領域普通
技術人員將變得清楚明了。附圖僅用于示出優選實施方式的目的,而并不認為是對本發明
的限制。而且在整個附圖中,用相同的參考符號表示相同的部件。在附圖中:

圖1示出了根據本發明一個實施例的一種臉部特效推薦的方法流程圖;

圖2示出了根據本發明一個實施例的參考特效的使用方法流程圖;

圖3示出了根據本發明一個實施例的一種電子設備的示意圖。

具體實施方式

下面將參照附圖更詳細地描述本公開的示例性實施例。雖然附圖中顯示了本公開
的示例性實施例,然而應當理解,可以以各種形式實現本公開而不應被這里闡述的實施例
所限制。相反,提供這些實施例是為了能夠更透徹地理解本公開,并且能夠將本公開的范圍
完整的傳達給本領域的技術人員。

本發明實施例提供了一種臉部特效推薦的方法及電子設備,用以解決現有技術中
特效在使用時存在匹配命中率較低的技術問題。

請參考圖1,本申請實施例提供的一種臉部特效推薦的方法,該方法包括:

S101:獲得用戶的第一臉部特征圖像;

S102:獲得與所述第一臉部特征圖像相同和/或相似的第二臉部特征圖像對應的
參考用戶;

S103:獲得所述參考用戶使用過的參考特效,所述參考特效在使用時用于填充臉
部特征圖像對應的待填充區域;

S104:將所述參考特效的推薦信息發送給所述用戶,以供所述用戶選擇使用所述
參考特效。

在具體實施過程中,上述臉部特效推薦的方法可以應用于直播軟件、美圖軟件、視
頻通話軟件等需要通過使用臉部特效來對人臉進行修飾、美化以及遮蓋的應用當中,可以
由客戶端執行,也可以由服務器端執行。下面以直播時對主播臉部或者參與直播的觀眾臉
部使用臉部特效為例,對本申請提供的臉部特效推薦的方法進行舉例說明。

S101可以定期獲得用戶的第一臉部特征圖像,如每次在主播確認直播或者觀眾確
認參與直播,開啟攝像頭進行圖像采集時,獲得主播或者觀眾的第一臉部特征圖像;在檢測
到新的人臉圖像時,獲得該新用戶的第一臉部特征圖像;在主播或觀眾執行使用特效的操
作時,獲得用戶的第一臉部特征圖像。其中,臉部特征圖像包含臉部輪廓圖像和/或臉部五
官中的至少一個感官特征圖像,臉部輪廓圖像用于表征臉部的臉型,感官特征圖像用于表
征眉毛、眼睛、鼻子、嘴巴或耳朵的特點。

S102獲得與第一臉部特征圖像相同和/或相似的第二臉部特征圖像,及第二臉部
特征圖像對應的參考用戶。

服務器端可以預存各主播的臉部特征圖像,將獲得的第一臉部特征圖像與預存的
主播的臉部特征圖像進行比對,以從中獲得第二臉部特征圖像。具體的,可以獲得與第一臉
部特征圖像之間圖像相似度大于設定閾值的第二臉部特征圖像;獲得所述第二臉部特征圖
像對應的參考用戶。圖像的相似度可以采用直方圖匹配、矩陣分解、特征點匹配等方法計算
獲得,其中,基于特征點的圖像相似度計算,是通過提取每一幅圖像的特征點,這些特征點
表征圖像中比較重要的一些位置,比較類似函數的拐點那種,通常比較常用的有Harris角
點和Sift特征點,那么將得到的圖像角點進行比較,如果相似的角點數目較多,那么可以認
為這兩幅圖像的相似程度較高。

作為一種可選的實施例,也可以通過人臉識別獲得第一臉部特征圖像所屬的臉部
特征類型,例如:識別出第一臉部特征圖像的臉型為瓜子臉、國字臉、方臉等,五官特征中眉
毛類型為柳葉眉、水平眉召、高挑眉等,鼻子類型為鷹鉤鼻、翹頭鼻、塌鼻梁等等。基于獲得
的臉部特征類型,獲得與第一臉部特征圖像所屬的臉部特征類型相同的第二臉部特征圖
像,進而第二臉部特征圖像對應的參考用戶,例如:若第一臉部特征圖像的臉型為瓜子臉,
那么獲得臉型也為瓜子臉的第二臉部特征圖像對應的參考用戶。

S103獲得參考用戶使用過程的參考特效。其中該參考特效具體為特效面具或特效
飾品,該特征在使用時用于填充臉部特征圖像對應的待填充區域,例如:假設參考特效為狐
貍眼罩,那么在用戶使用該特效時,用戶臉部圖像中眼睛所在區域則被填充為狐貍眼罩,向
用戶帶了一個狐貍眼罩一樣。

為了能夠推薦與用戶更為匹配的參考特效,在獲得參考特效時,可以進一步獲得
參考用戶使用頻率大于設定頻率的特效,特效的使用頻率大于設定頻率,表明參考用戶對
該特效的滿意度較高,與參考用戶的臉部匹配度也較高,為此將其作為參考特效。同樣的,
也可以獲得參考用戶使用次數大于第一設定數值的特效作為參考特效。或者,還可以獲得
參考用戶使用時獲贊和/或獲贈禮物的次數大于第二設定數值的特效,特效在使用時獲贊
和/或獲贈禮物的次數大于第二設定數值,表明參考用戶在使用該特效時受歡迎度非常高,
與用戶臉型匹配命中的可能性非常高,因此將該特效作為參考特效。

S104將參考特效的推薦信息發送給第一臉部特征圖像對應的用戶。其中,該推薦
信息可以是推薦標識,當第一臉部特征圖像對應的用戶特效中具有該參考特效時,在該參
考特效上附加該推薦標識。推薦信息也可以是一條推送消息即message,當第一臉部特征圖
像對應的用戶特效中不具有該參考特效時,向該用戶發送該推送消息,該推送消息中還可
以包含下載該參考特效的鏈接,用戶可以通過點擊該推送消息即可下載該參考特效,進而
選擇使用該參考特效。

請參考圖2,在具體實施過程中,本申請實施例在發送完參考特效的推送信息之
后,還提供一種參考特效的添加方法,包括:

S201:接收用于選擇所述參考特效的選擇指令,將所述參考特效按照預設規則分
為M個特效區域,M為大于1的正整數;

S202:識別所述第一臉部特征圖像的N個特征點,N為正整數;

S203:根據所述N個特征點,按照所述預設規則將所述第一臉部特征圖像分為與所
述M個特效區域對應的M個圖像區域;

S204:將所述M個特效區域對應填充到所述M個圖像區域,形成第三臉部特征圖像;

S205:輸出所述第三臉部特征圖像。

需要說明的是,本申請提供的特效添加方法既可以用于對單一臉部特征圖像的特
效添加,也可以用于對包含臉部特征圖像視頻的特效添加,其中,所述視頻可以是直播視
頻,也可以是提前錄制的視頻,本申請并不限定。當所述方法應用于對包含臉部特征圖像的
視頻的特效添加時,可以是采用所述方法對視頻的每一幀圖像依次進行上述特效添加處
理,以實現對整個視頻的特效添加。

下面,結合圖2詳細介紹本參考特征的添加方法的具體實現步驟:

步驟S201,在接收到用于選擇參考特效的選擇指令時,將所述參考特效按照預設
規則預先分為M個特效區域,M為大于1的正整數。

在本申請實施例中,所述選擇指令可以是用戶自身在電子設備上執行選擇特效的
操作時生成的選擇指令;也可以是電子設備接收到其他設備發送的選擇參考特指令。例如,
當所述方法應用于直播平臺的主播端時,可以是主播在主播端上執行選擇參考特效的操
作,生成選擇指令;也可以是主播端接收到觀眾客戶端發送的選擇參考特效的指令。

在本申請實施例中,所述特效可以為圖片或動圖格式,所述特效分為M個特效區
域,為了使所述M個特效區域與所述M個圖像區域匹配,其具體的分區規則與后續第一圖像
的分區規則相同,在后續步驟S202和步驟S203中再進行詳述。

步驟S202,識別所述第一臉部特征圖像的N個特征點,N為正整數。其中,識別所述
第一臉部特征圖像的特征點的方式可以有多種,下面列舉兩種為例:

第一種,按預設規則直接識別特征點。

即直接按照預設的規則在第一臉部特征圖像上識別N個特征點。所述預設的規則
可以是在第一臉部特征圖像上識別出所述目標物體的輪廓,在輪廓上提取特征點,所述預
設的規則也可以是,在所述第一臉部特征圖像上識別出所述面部的深色線條,在所述深色
線條上提取特征點,在此不作限制。所述識別所述第一臉部特征圖像的N個特征點,可以為:
識別所述第一臉部特征圖像上的五官輪廓點和/或臉型輪廓點。

例如,可以預設每采集到一幀人臉圖像,就在圖像上識別出95個特征點,所述95個
特征點包括:人臉輪廓的點、眼睛輪廓的點、鼻梁線上的點、眉毛中線的點、嘴唇輪廓的點和
耳朵輪廓的點。

進一步,所述N個特征點的分布可以預設沿輪廓或線條均勻分布,或者按預設的規
則在一部分輪廓或線條(例如五官輪廓)相對密集分布,在另外的輪廓或線條(例如臉型輪
廓)相對稀疏分布。

第二種,結合特效的特征來識別特征點。

即結合選擇的特效的特征,按照預設的規則在第一臉部特征圖像上識別N個特征
點。例如,如果選擇的特效是眼鏡面具特效,則根據特效的特征可知僅需識別第一臉部特征
圖像上的人臉輪廓點和眼睛輪廓點作為特征點。

再例如,如果選擇的特效是胡子面具特效,則根據特效的特征可知僅需識別第一
臉部特征圖像上的人臉輪廓點和嘴唇輪廓點作為特征點。

當然,在具體實施過程中,識別所述第一臉部特征圖像的N個特征點不限于以上幾
種識別方法,基于不同的需求可以確定出不同的識別方法,對此本發明實施例不再詳細列
舉,并且不作限制。

步驟S203,根據所述N個特征點,按照所述預設規則將所述第一臉部特征圖像分為
與所述M個特效區域對應的M個圖像區域即帶填充區域。其中,根據所述N個特征點,按照所
述預設規則將所述第一臉部特征圖像分為與所述M個特效區域對應的M個圖像區域的方式
可以有多種,下面列舉兩種為例:

第一種,以所述特征點作為頂點來劃分圖像區域。

即根據所述N個特征點,將所述第一臉部特征圖像分為與所述M個特效區域對應的
M個圖像區域,其中,所述M個圖像區域為M個以所述N個特征點為全部或部分頂點的三角形
區域。

具體來講,可以將所述N個特征點兩兩相連,再與所述第一臉部特征圖像的圖像邊
緣相連,以將所述第一臉部特征圖像劃分為M個三角形圖像區域,其中,每個特征點均為所
述三角形區域的頂點,但所述三角形區域的頂點并不要求全部是所述特征點,具體的劃分
規則以所述M個三角形圖像區域不重合,且能完全覆蓋所述第一臉部特征圖像即可,在此不
作限制。

第二種,以每個圖像區域內包含的特征點數量小于等于1來劃分圖像區域。

即根據所述N個特征點,將所述第一臉部特征圖像分為與所述M個特效區域對應的
M個圖像區域,其中,所述M個圖像區域為三角形區域,所述M個圖像區域中每個圖像區域內
包括的所述特征點的數量小于等于1。

具體來講,可以設置所述M個圖像區域中每個區域包含1個或0個特征點,即可以先
設置預設大小的N個圖像區域來一一覆蓋所述N個特征點,再將所述第一臉部特征圖像上未
被所述N個圖像區域填充的區域劃分為M-N個圖像區域,具體以使得所述M個圖像區域不重
合,且能完全覆蓋所述第一臉部特征圖像即可。

當然,在具體實施過程中,所述每個圖像區域還可以為矩形或菱形,在此不作限
制。較優的,所述每個圖像區域均為三角形,以便于圖形的渲染。

需要說明的是,考慮到N和M的值越大,則表明對所述第一臉部特征圖像的特征識
別和區域劃分越細,后續的填充效果越好,但相對的,N和M的值越大,則需要識別的特征點
和需要填充的區域越多,計算量越大,后續填充特效的時間越長,例如當所述方法運用于視
頻直播時,就易導致特效添加延遲,故,在具體實施過程中,可以根據需要的填充效果和使
用場景對實時性的要求來設置合理的N和M值。

還需要說明的是,為了使所述M個特效區域與所述M個圖像區域一一對應,以便于
步驟S204中能對應一一填充,所述M個特效區域的劃分規則和方法與所述M個圖像區域的劃
分規則和方法相同,即同樣是預先在所述特效上確定N個特效特征點,其確定特效特征點的
方法與在所述第一臉部特征圖像上確定特征點的方法相同,再根據所述N個特效特征點,采
用與所述M個圖像區域劃分相同的規則劃分出M個特效區域。

當然,在具體實施過程中,劃分所述第一臉部特征圖像為M個圖像區域不限于以上
幾種劃分方法,基于不同的需求可以確定出不同的劃分方法,對此本發明實施例不再詳細
列舉,并且不作限制。

然后,執行步驟S204,將所述M個特效區域對應填充到所述M個圖像區域,形成特效
添加圖像。具體的,可以采用圖像壓縮算法和/或圖像拉伸算法,將所述M個特效區域對應填
充到所述M個圖像區域,以使所述M個特效區域中每個特效區域的形狀與其對應的圖像區域
的形狀匹配。

例如,將所述M個特效區域對應填充到所述M個圖像區域時,如果某特效區域與其
對應的圖像區域形狀大小均相同,則直接將該特效區域覆蓋填充在對應的圖像區域上;再
例如,如果,某特效區域與其對應的圖像區域形狀相同但大小不同,則等比例放大或縮小所
述特效區域至與對應的圖像區域同樣大小,再將該特效區域覆蓋填充至對應的圖像區域
上;再例如,如果,某特效區域與其對應的圖像區域形狀和大小均不同,則局部壓縮和或/拉
升所述特效區域至與對應的圖像區域同樣形狀和大小,再將該特效區域覆蓋填充至對應的
圖像區域上。

在具體實施過程中,如果某特效區域為純色,則為了計算簡單,則可以直接將其對
應的圖像區域填充為該純色,當然,所述特效區域也可以全部或部分為透明色,則當該有透
明色的特效區域填充覆蓋對應的圖像區域后,透明色區域顯示為對應圖像區域的本色。

具體來講,預先將特效分為M個特效區域,在需要添加特效時,先根據獲取的目標
物體圖像識別出特征點,再根據特征點有針對性的劃分出與M個特效區域對應的M個圖像區
域,最后用M個特效區域對應填充所述M個圖像區域,以使得特效能與目標物體的外觀特征
匹配,使同一特效可以適用于不同的目標物體圖像,有效擴大了特效的適用范圍。

最后,在添加完成獲得特效添加圖像后,執行步驟S205,輸出所述特效添加圖像,
如可以對特效添加圖像進行顯示。

下面通過一完整為直播平臺的主播端推薦特效并添加的實例,對本實施例提供的
臉部特效推薦方法進行舉例說明:

在主播視頻直播過程中,需要加特效面具時,點開特效面具列表,觸發生成面具推
薦指令,主播端A通過攝像頭采集獲得包含主播臉部的第一臉部特征圖像。進一步的,將所
述第一臉部特征圖像發送至服務器。

服務器在接收到第一臉部特征圖像后,通過人臉識別提取第一臉部特征圖像的第
一臉型輪廓圖像和五官特征的各感官特征圖像。獲得與所述第一臉型輪廓圖像相同,且其
五官特征的各感官特征圖像相似度大于設定閾值的第二臉部特征圖像,再獲得第二臉部特
征圖像對應的參考用戶,如參考主播端。

服務器獲得參考主播端使用過程的參考特效。假設參考主播端最近一周20次特效
使用有14次選擇了某一京劇面具,即該京劇面具的使用頻率為70%,大于設定頻率50%,那
么將該京劇面具作為參考特效。進一步的,將獲得的參考特效-京劇面具的推薦信息發送至
主播端A。

主播在主播端A根據接收到的推薦信息在APP平臺上選擇了該京劇面具特效;那么
主播端A生成并響應選擇指令,將該京劇面具預先分為206個三角形特效區域,該206個三角
形特效區域是根據預先在京劇面具上確定的95個特效特征點,按預設規則來劃分的。

主播端基于上述選擇指令,獲取視頻直播的當前第一幀圖像,并識別出第一臉部
特征圖像及該臉部特征圖像上的95個特征點,所述95個特征點包括五官輪廓點、臉型輪廓
點和發際輪廓點,所述95個特征點的識別規則與所述95個特效特征點的確定規則相同;接
下來,主播端A根據所述95個特征點,按照與劃分206個三角形特效區域相同的劃分規則將
所述第一臉部特征圖像分為與所述206個三角形特效區域對應的206個三角形圖像區域;然
后,主播端A采用壓縮和/或拉升算法將所述206個三角形特效區域對應填充到所述206個三
角形圖像區域,形成添加京劇面具后的圖像。

再下來,將所述添加京劇面具后的特效添加圖像顯示在所述主播端,同時主播端A
將所述添加京劇面具后的特效添加圖像上傳至該直播平臺服務器,并通過服務器將添加京
劇面具后的圖像分享至主播端A對應的觀眾客戶端,以使直播觀眾和主播都能看見添加京
劇面具后的圖像。

基于同樣的道理,主播端A獲取后續的第二幀圖像、第三幀圖像…,依次采用相同
的面具添加方法對第二幀圖像、第三幀圖像…添加面具特效,并依次輸出,實現對直播視頻
的面具特效的添加。需要說明的是,視頻往往1秒有15幀,1幀耗時66毫秒左右,故為了保證
特效的添加計算不導致視頻的停頓和不流暢,需要將識別特征點、劃分圖像區域和填充特
效的時間控制在66毫秒內,以維持直播視頻的流暢。

在上述實施例提供中,通過識別用戶的臉部特征圖像,來獲得與用戶臉型輪廓和/
或五官特征相同或相似的參考用戶,進一步獲得參考用戶使用過的參考特征,將參考特效
的推薦信息發送給用戶,使得被推薦的參考特效已經由參考用戶甄選過,能夠與參考用戶
的臉部特征很好的匹配上,進而在根據推薦信息選擇使用參考特效時,那么該參考特效與
用戶的臉型也能很好的匹配上,進而解決了現有技術中特效在使用時存在匹配命中率較低
的技術問題。

與此同時,通過特征點的提取和分區域填充,使得特效在添加時即使主播在視頻
過程中發生人臉角度和距離變化,也能通過實時對每幀圖像分別添加特效,保證參考特效
能實時與主播臉部匹配。

基于同一發明構思,本發明實施例還提供了實施例一種臉部特效推薦方法對應的
電子設備,請參考圖3,該電子設備包括:

圖像獲取單元31,用于獲得用戶的第一臉部特征圖像;

用戶獲取單元32,用于獲得與所述第一臉部特征圖像相同和/或相似的第二臉部
特征圖像對應的參考用戶;

特效獲取單元33,用于獲得所述參考用戶使用過的參考特效,所述參考特效在使
用時用于填充臉部特征圖像對應的特效區域;

推送單元34,用于將所述參考特效的推薦信息發送給所述用戶,以供所述用戶選
擇使用所述參考特效。

在具體實施過程中,所述用戶獲取單元32用于:獲得與所述第一臉部特征圖像之
間圖像相似度大于設定閾值的第二臉部特征圖像;獲得所述第二臉部特征圖像對應的參考
用戶。可選的,所述用戶獲取單元32還用于:獲得所述第一臉部特征圖像所屬的臉部特征類
型;獲得與所述第一臉部特征圖像所屬的臉部特征類型相同的第二臉部特征圖像;獲得所
述第二臉部特征圖像對應的參考用戶。其中,所述第一臉部特征圖像包括臉型輪廓圖像和/
或五官特征中至少一個感官特征圖像。

在具體實施過程中,所述特效獲取單元33,用于:獲得所述參考用戶使用頻率大于
設定頻率的特效作為所述參考特效;或者,獲得所述參考用戶使用次數大于第一設定數值
的特效作為所述參考特效;或者,獲得所述參考用戶使用時獲贊和/或獲贈禮物的次數大于
第二設定數值的特效作為所述參考特效。所述參考特效為:特效面具或特效飾品。

在具體實施過程中,所述電子設備還包括:

第一劃分單元35,用于接收用于選擇所述參考特效的選擇指令,將所述特效按照
預設規則分為M個特效區域,M為大于1的正整數;

識別單元36,用于識別所述第一臉部特征圖像的的N個特征點,N為正整數;

第二劃分單元37,用于根據所述N個特征點,按照所述預設規則將所述第一臉部特
征圖像分為與所述M個特效區域對應的M個圖像區域;

填充單元38,用于將所述M個特效區域對應填充到所述M個圖像區域,形成第三臉
部特征圖像;

輸出單元39,用于輸出所述第三臉部特征圖像。

具體的,所述第二劃分單元37,具體用于:根據所述N個特征點,將所述第一臉部特
征圖像分為與所述M個特效區域對應的M個圖像區域,其中,所述M個圖像區域為三角形區
域,所述M個圖像區域中每個圖像區域內包括的所述特征點的數量小于等于1。

在填充時,所述填充單元38,用于:采用圖像壓縮算法和/或圖像拉伸算法,將所述
M個特效區域對應填充到所述M個圖像區域,以使所述M個特效區域中每個特效區域的形狀
與其對應的圖像區域的形狀匹配。

本申請實施例中提供的技術方案,至少具有如下技術效果或優點:

1、通過識別用戶的臉部特征圖像,來獲得與用戶臉型輪廓和/或五官特征相同或
相似的參考用戶,進一步獲得參考用戶使用過的參考特征,將參考特效的推薦信息發送給
用戶,使得被推薦的參考特效已經由參考用戶甄選過,能夠與參考用戶的臉部特征很好的
匹配上,進而在根據推薦信息選擇使用參考特效時,那么該參考特效與用戶的臉型也能很
好的匹配上,進而解決了現有技術中特效在使用時存在匹配命中率較低的技術問題。

2、與此同時,通過特征點的提取和分區域填充,使得特效在添加時即使主播在視
頻過程中發生人臉角度和距離變化,也能通過實時對每幀圖像分別添加特效,保證參考特
效能實時與主播臉部匹配。

在此提供的算法和顯示不與任何特定計算機、虛擬系統或者其它設備固有相關。
各種通用系統也可以與基于在此的示教一起使用。根據上面的描述,構造這類系統所要求
的結構是顯而易見的。此外,本發明也不針對任何特定編程語言。應當明白,可以利用各種
編程語言實現在此描述的本發明的內容,并且上面對特定語言所做的描述是為了披露本發
明的最佳實施方式。

在此處所提供的說明書中,說明了大量具體細節。然而,能夠理解,本發明的實施
例可以在沒有這些具體細節的情況下實踐。在一些實例中,并未詳細示出公知的方法、結構
和技術,以便不模糊對本說明書的理解。

類似地,應當理解,為了精簡本公開并幫助理解各個發明方面中的一個或多個,在
上面對本發明的示例性實施例的描述中,本發明的各個特征有時被一起分組到單個實施
例、圖、或者對其的描述中。然而,并不應將該公開的方法解釋成反映如下意圖:即所要求保
護的本發明要求比在每個權利要求中所明確記載的特征更多的特征。更確切地說,如下面
的權利要求書所反映的那樣,發明方面在于少于前面公開的單個實施例的所有特征。因此,
遵循具體實施方式的權利要求書由此明確地并入該具體實施方式,其中每個權利要求本身
都作為本發明的單獨實施例。

本領域那些技術人員可以理解,可以對實施例中的設備中的模塊進行自適應性地
改變并且把它們設置在與該實施例不同的一個或多個設備中。可以把實施例中的模塊或單
元或組件組合成一個模塊或單元或組件,以及此外可以把它們分成多個子模塊或子單元或
子組件。除了這樣的特征和/或過程或者單元中的至少一些是相互排斥之外,可以采用任何
組合對本說明書(包括伴隨的權利要求、摘要和附圖)中公開的所有特征以及如此公開的任
何方法或者設備的所有過程或單元進行組合。除非另外明確陳述,本說明書(包括伴隨的權
利要求、摘要和附圖)中公開的每個特征可以由提供相同、等同或相似目的的替代特征來代
替。

此外,本領域的技術人員能夠理解,盡管在此的一些實施例包括其它實施例中所
包括的某些特征而不是其它特征,但是不同實施例的特征的組合意味著處于本發明的范圍
之內并且形成不同的實施例。例如,在下面的權利要求書中,所要求保護的實施例的任意之
一都可以以任意的組合方式來使用。

本發明的各個部件實施例可以以硬件實現,或者以在一個或者多個處理器上運行
的軟件模塊實現,或者以它們的組合實現。本領域的技術人員應當理解,可以在實踐中使用
微處理器或者數字信號處理器(DSP)來實現根據本發明實施例的網關、代理服務器、系統中
的一些或者全部部件的一些或者全部功能。本發明還可以實現為用于執行這里所描述的方
法的一部分或者全部的設備或者裝置程序(例如,計算機程序和計算機程序產品)。這樣的
實現本發明的程序可以存儲在計算機可讀介質上,或者可以具有一個或者多個信號的形
式。這樣的信號可以從因特網網站上下載得到,或者在載體信號上提供,或者以任何其他形
式提供。

應該注意的是上述實施例對本發明進行說明而不是對本發明進行限制,并且本領
域技術人員在不脫離所附權利要求的范圍的情況下可設計出替換實施例。在權利要求中,
不應將位于括號之間的任何參考符號構造成對權利要求的限制。單詞“包含”不排除存在未
列在權利要求中的元件或步驟。位于元件之前的單詞“一”或“一個”不排除存在多個這樣的
元件。本發明可以借助于包括有若干不同元件的硬件以及借助于適當編程的計算機來實
現。在列舉了若干裝置的單元權利要求中,這些裝置中的若干個可以是通過同一個硬件項
來具體體現。單詞第一、第二、以及第三等的使用不表示任何順序。可將這些單詞解釋為名
稱。

本發明公開了,A1、一種臉部特效推薦方法,其特征在于,包括:

獲得用戶的第一臉部特征圖像;

獲得與所述第一臉部特征圖像相同和/或相似的第二臉部特征圖像對應的參考用
戶;

獲得所述參考用戶使用過的參考特效,所述參考特效在使用時用于填充臉部特征
圖像對應的待填充區域;

將所述參考特效的推薦信息發送給所述用戶,以供所述用戶選擇使用所述參考特
效。

A2、根據A1所述的方法,其特征在于,所述獲得與所述第一臉部特征圖像相同和/
或相似的第二臉部特征圖像對應的參考用戶,包括:

獲得與所述第一臉部特征圖像之間圖像相似度大于設定閾值的第二臉部特征圖
像;

獲得所述第二臉部特征圖像對應的參考用戶。

A3、根據A1所述的方法,其特征在于,所述獲得與所述第一臉部特征圖像相同和/
或相似的第二臉部特征圖像對應的參考用戶,包括:

獲得所述第一臉部特征圖像所屬的臉部特征類型;

獲得與所述第一臉部特征圖像所屬的臉部特征類型相同的第二臉部特征圖像;

獲得所述第二臉部特征圖像對應的參考用戶。

A4、根據A1所述的方法,其特征在于,所述第一臉部特征圖像包括臉型輪廓圖像
和/或五官特征中至少一個感官特征圖像。

A5、根據A1~A4任一所述的方法,其特征在于,所述獲得所述參考用戶使用過的參
考特效,包括:

獲得所述參考用戶使用頻率大于設定頻率的特效作為所述參考特效;或者

獲得所述參考用戶使用次數大于第一設定數值的特效作為所述參考特效;或者

獲得所述參考用戶使用時獲贊和/或獲贈禮物的次數大于第二設定數值的特效作
為所述參考特效。

A6、根據A1~A4任一所述的方法,其特征在于,所述參考特效為:特效面具或特效
飾品。

A7、根據A1~A4任一所述的方法,其特征在于,所述方法還包括:

接收用于選擇所述參考特效的選擇指令,將所述參考特效按照預設規則分為M個
特效區域,M為大于1的正整數;

識別所述第一臉部特征圖像的N個特征點,N為正整數;

根據所述N個特征點,按照所述預設規則將所述第一臉部特征圖像分為與所述M個
特效區域對應的M個圖像區域;

將所述M個特效區域對應填充到所述M個圖像區域,形成第三臉部特征圖像;

輸出所述第三臉部特征圖像。

A8、根據A7所述的方法,其特征在于,所述根據所述N個特征點,按照所述預設規則
將所述第一臉部特征圖像分為與所述M個特效區域對應的M個圖像區域,具體包括:

根據所述N個特征點,將所述第一臉部特征圖像分為與所述M個特效區域對應的M
個圖像區域,其中,所述M個圖像區域為三角形區域,所述M個圖像區域中每個圖像區域內包
括的所述特征點的數量小于等于1。

A9、根據A7所述的方法,其特征在于,所述將所述M個特效區域對應填充到所述M個
圖像區域,包括:

采用圖像壓縮算法和/或圖像拉伸算法,將所述M個特效區域對應填充到所述M個
圖像區域,以使所述M個特效區域中每個特效區域的形狀與其對應的圖像區域的形狀匹配。

本發明還提供,B10、一種電子設備,其特征在于,包括:

圖像獲取單元,用于獲得用戶的第一臉部特征圖像;

用戶獲取單元,用于獲得與所述第一臉部特征圖像相同和/或相似的第二臉部特
征圖像對應的參考用戶;

特效獲取單元,用于獲得所述參考用戶使用過的參考特效,所述參考特效在使用
時用于填充臉部特征圖像對應的特效區域;

推送單元,用于將所述參考特效的推薦信息發送給所述用戶,以供所述用戶選擇
使用所述參考特效。

B11、根據B10所述的電子設備,其特征在于,所述用戶獲取單元用于:

獲得與所述第一臉部特征圖像之間圖像相似度大于設定閾值的第二臉部特征圖
像;

獲得所述第二臉部特征圖像對應的參考用戶。

B12、根據B10所述的電子設備,其特征在于,所述用戶獲取單元還用于:

獲得所述第一臉部特征圖像所屬的臉部特征類型;

獲得與所述第一臉部特征圖像所屬的臉部特征類型相同的第二臉部特征圖像;

獲得所述第二臉部特征圖像對應的參考用戶。

B13、根據B10所述的電子設備,其特征在于,所述第一臉部特征圖像包括臉型輪廓
圖像和/或五官特征中至少一個感官特征圖像。

B14、根據B10~B13任一所述的電子設備,其特征在于,所述特效獲取單元,用于:

獲得所述參考用戶使用頻率大于設定頻率的特效作為所述參考特效;或者

獲得所述參考用戶使用次數大于第一設定數值的特效作為所述參考特效;或者

獲得所述參考用戶使用時獲贊和/或獲贈禮物的次數大于第二設定數值的特效作
為所述參考特效。

B15、根據B10~B13任一所述的電子設備,其特征在于,所述參考特效為:特效面具
或特效飾品。

B16、根據B10~B13任一所述的電子設備,其特征在于,所述電子設備還包括:

第一劃分單元,用于接收用于選擇所述參考特效的選擇指令,將所述特效按照預
設規則分為M個特效區域,M為大于1的正整數;

識別單元,用于識別所述第一臉部特征圖像的的N個特征點,N為正整數;

第二劃分單元,用于根據所述N個特征點,按照所述預設規則將所述第一臉部特征
圖像分為與所述M個特效區域對應的M個圖像區域;

填充單元,用于將所述M個特效區域對應填充到所述M個圖像區域,形成第三臉部
特征圖像;

輸出單元,用于輸出所述第三臉部特征圖像。

B17、根據B16所述的電子設備,其特征在于,所述第二劃分單元,具體用于:

根據所述N個特征點,將所述第一臉部特征圖像分為與所述M個特效區域對應的M
個圖像區域,其中,所述M個圖像區域為三角形區域,所述M個圖像區域中每個圖像區域內包
括的所述特征點的數量小于等于1。

B18、根據B16所述的電子設備,其特征在于,所述填充單元,用于:

采用圖像壓縮算法和/或圖像拉伸算法,將所述M個特效區域對應填充到所述M個
圖像區域,以使所述M個特效區域中每個特效區域的形狀與其對應的圖像區域的形狀匹配。

關 鍵 詞:
一種 臉部 特效 推薦 方法 電子設備
  專利查詢網所有資源均是用戶自行上傳分享,僅供網友學習交流,未經上傳用戶書面授權,請勿作他用。
關于本文
本文標題:一種臉部特效推薦方法及電子設備.pdf
鏈接地址:http://www.rgyfuv.icu/p-6100525.html
關于我們 - 網站聲明 - 網站地圖 - 資源地圖 - 友情鏈接 - 網站客服客服 - 聯系我們

[email protected] 2017-2018 zhuanlichaxun.net網站版權所有
經營許可證編號:粵ICP備17046363號-1 
 


收起
展開
山东11选5中奖结果走势图