AI технологията на Huawei, която помага на незрящи да "виждат" емоциите на околните

Вече имаме останалите подробности за проекта Facing Emotions на Huawei, който цели да помогне на незрящи да "видят" емоциите на хората срещу тях, за който писахме в края на миналата седмица. Компанията обяви, че е създала приложение, което се възползва от камерата на Mate 20 Pro, за да пресъздаде 7 човешки емоции под формата на звукови сигнали и по този начин помага на хората със зрителни увреждания да общуват по-пълноценно. Приложението сканира лицето на събеседника и анализира ключови елементи от него - очи, нос, вежди и уста, както и тяхната моментна позиция.

След това технология за изкуствен интелект преработва информацията и я възпроизвежда като звук, който човекът със зрителни увреждания чува от телефона или слушалките си. Всичко това се случва в реално време без да е необходим достъп до интернет, защото се ползват възможностите на чипсета Kitin 980 в Mate 20 Pro. Facing Emotions е разработен в сътрудничество с хората със зрителни увреждания и благотворителни организации, работещи с тях. На регионално ниво Huawei си партнира с Polish Blind Association за създаването на фокус група от незрящи, която участва със всеки етап от разработването на приложението, а партньор в България е фондация Синергиа.

Ключов елемент от целия процес са звуците, които са създадени от незрящия композитор Томаш Билецки и изразяват 7 основни емоции. Търсени са кратки, семпли, изразителни и в същото време ненатрапчиви за околните звуци. Неговата уникална гледна точка относно естеството за звука му позволява да създаде звукови сигнали, чрез които хората със зрителни увреждания да могат да уловят емоциите на своите събеседници във възможно най-голяма степен. Звуците са тествани от незрящи, които ги определят като разбираеми и лесни за запомняне.

В хода на разработка на приложението е било установено, че потребителите биха желали да притежават удобно за него hands-free устройство, тъй като в ръцете си държат бастуни или кучета-водачи. За тази цел Янек Кочански разработва с 3D принтер специален калъф за Huawei Mate 20 Pro, който позволява на незрящите да използват по-лесно не само приложението, но и своите смартфони. Покрай този проект Huawei създава и специален документален филм, който показва влиянието на Facing Emotions върху живота на използващите го. Героите във филма Миряна от Швеция, Мустафа от Турция и Роберт от Полша са открити чрез местни НПО.