Deze blogpost is oorspronkelijk gepubliceerd op de website van Visidon. Het is hier herdrukt met toestemming van Visidon.
Eenvoudig gezegd, een slim scherm is een batterijgevoed apparaat met aanraakscherm dat verbinding maakt, deelt en communiceert met andere apparaten. Het staat ook bekend als een draadloze monitor en wordt gebruikt voor activiteiten waarbij weinig of geen toetsenbordbetrokkenheid nodig is. Het is een relatief goedkope en eenvoudige manier om webapps te verbinden, videoconferentiegesprekken te voeren en een werkruimte te delen met ingebouwde Wi-Fi-connectiviteit.
Slimme schermen zijn een opwindend innovatieplatform geworden voor consumenten-, industriële en zakelijke clientcomputing. Ze begonnen aan populariteit te winnen tijdens de COVID 19-pandemie toen mensen thuis begonnen te werken. Zoals uiteengezet in een recent Synaptics artikel, door kunstmatige intelligentie (AI), draadloze connectiviteit, detectie van aanraking, geluid en zicht, schaalbare en veilige verwerking en geavanceerde beeldschermstuurprogramma's en algoritmen te combineren, zijn ze in staat om volledig meeslepende, contextbewuste gebruikerservaringen te bieden die ze veranderen in een multifunctioneel -functioneel controlepunt van waaruit u veilig kunt communiceren met een breed scala aan apparaten. Dit artikel gaat dieper in op de details van hoe hardware en software evolueren en samenwerken om slimme schermen van de volgende generatie mogelijk te maken door uit te leggen hoe Visidon-software die op Synaptics' VS680 multimedia SoC draait, de mogelijkheden van slimme schermen verbetert en een verscheidenheid aan gebruiksscenario's ondersteunt.
Hoewel de definities kunnen verschillen, is de opkomst van slimme displays als centrale hubs voor residentiële, commerciële en industriële toepassingen goed gedocumenteerd. Research and Markets verwachten bijvoorbeeld dat de markt in 2027 16,16 miljard dollar zal bereiken, wat neerkomt op een CAGR van 22,56%, tegen 4,79 miljard dollar in 2021. Het groeiende aantal internetgebruikers, de innovatieve kenmerken van slimme spiegels en de stijgende vraag naar AI-gestuurde en Slimme huishoudelijke apparaten met IoT-functionaliteit zullen waarschijnlijk een positieve invloed hebben op de marktgroei.
Om slimme schermen echter volledig tot hun recht te laten komen, moet de onderliggende hardware kritische prestaties, robuuste functies, beveiligings-, kosten- en efficiëntievereisten bereiken, terwijl de algoritmen efficiënt, intuïtief en naadloos moeten zijn en in staat moeten zijn om de mogelijkheden van de hardware volledig te benutten. Dit vereist nauwe samenwerking en geavanceerde, gebruiksvriendelijke ontwikkelingstools.
Synaptics en Visidon werken samen om een volledige oplossing te bieden die de gebruikerservaring in slimme schermen verbetert met Synaptics' VS680 mutimedia SoC (hardware) en Visidon's algoritmen (software). Dit artikel gaat dieper in op twee Visidon-algoritmegroepen, zoals gezichtsanalyse en diepteberekening, die zijn overgezet naar en geoptimaliseerd voor Synaptics' VS680 om verschillende gebruikssituaties aan te pakken.
Algoritmen voor gezichtsanalyse van Visidon omvatten gezichtsdetectie, tracking en herkenning, leeftijd, geslacht en glimlachanalyse, evenals detectie van brillen en gezichtsmaskers. Deze algoritmen maken slimme toegangscontrole en contentpersonalisatie mogelijk.
Voor slimme schermvideoconferenties en communicatieverbetering voeren Visidon-algoritmen diepteberekening en portretsegmentatie uit en bieden ze een verscheidenheid aan vermakelijke filters. Een van de filters is bokeh, dat helpt om scherp te stellen op het voorgrondobject door duidelijke en scherpe randen op de voorgrond en geleidelijke vervaging van de achtergrond. Ook videoconferenties kunnen verder worden verrijkt met Visidons sketch, black & witte, retro- of cartooneffecten voor een meer onderhoudende communicatie.
Naast verbeteringen in videoconferenties, worden algoritmen voor diepteschatting gebruikt in augmented reality-toepassingen, zoals geassisteerde sporten, virtuele garderobe en interactieve gaming.
Visidon-algoritmen voor gezichtsanalyse en diepteberekening zijn opgebouwd uit verschillende componenten die zijn geïmplementeerd op de NPU, CPU en GPU van de VS680 (Afbeelding 1).
Afbeelding 1: De Synaptics VS680 multimediaprocessor biedt een geoptimaliseerd computerplatform waarop AI-toepassingen efficiënt en veilig kunnen worden geïmplementeerd
Visidon's gezichtsanalyse-algoritmen, gezichtsdetectie en tracking draaien op de CPU, terwijl leeftijdsdetectie, geslacht, glimlach en lenzenvloeistof detectie draaien op de NPU. Het is belangrijk op te merken dat hoewel sommige NPU's in een SoC aan de CPU en GPU zijn “geplakt”, de NPU en AI-pijplijn van de VS680 naadloos zijn ingebed, zodat ze werken in een vertrouwde uitvoeringsomgeving, wat van cruciaal belang is voor beveiliging en privacy (Figuur 2 ).
Figuur 2: Visidon's gezichtsanalyse-algoritmen op naam, leeftijd, geslacht, glimlach, bril en gezichtsmaskerdetectie.
Voor verbeterde videoconferenties biedt Visidon diepteschatting en portretsegmentatie (Figuur 3) om het hoofdonderwerp in het frame te scheiden en de achtergrond te vervangen. Deze netwerken draaien op de NPU. Bovendien selecteert gezichtsdetectie het scherpstelpunt in het frame en de dieptekaart voor het bokeh-effect. Maskerverfijning verbetert de nauwkeurigheid van de dieptekaart en het segmentatiemasker. En tot slot zorgt effectweergave voor achtergrondvervaging, achtergrondvervanging en speelse effecten. Deze netwerken draaien op de CPU en GPU. Visidon biedt zowel een monoculaire als stereo camera diepteschatting. Visidon-bokeh biedt, in vergelijking met op segmentatie gebaseerde tegenhangers, een natuurlijker uiterlijk met minder objectuitsparingen en minder zichtbare fouten. Het biedt ook een hoge stabiliteit, zonder flikkering van lichaamsdelen.
|
|
|
|
|
|
Afbeelding 3: Visidon's diepteschatting, segmentatie en bokeh scheiden het hoofdobject in het frame en vervangen de achtergrond (linksboven – invoerbeeld, rechtsboven – bokeh met geleidelijke vervaging)
In dieptedetectie-apps maken diepteschattingsalgoritmen realistische diepte- en afstandsberekeningen van objecten in afbeeldingen mogelijk, terwijl segmentatie kan worden gebruikt om objecten en onderwerpen uit de afbeeldingscontext te extraheren. Als een persoon bijvoorbeeld op een stoel zit waar de grond en de stoel zich op dezelfde afstand van de camera bevinden als de persoon, kan segmentatie semantisch onderscheiden wat een persoon is, wat een stoel is en wat een grond is.
De VS680 van Synaptics wordt ondersteund door de SyNAP-toolkit waarmee klanten ML/AI-modellen kunnen optimaliseren om volledig te profiteren van de mogelijkheden van de VS680 (Afbeelding 4). Deze modellen omvatten die voor video, vision en audio AI. Werken met VS680 was eenvoudig en vereist geen andere aangewezen platformtools, wat vaak een nadeel is bij het werken met speciale hardware.
Figuur 4: Synaptics' SyNAP Edge AI-framework is een open-sourceplatform dat de ontwikkeling en implementatie van AI-verbeteringsfuncties vereenvoudigt.
Synaptics en Visidon zullen hun oplossing presenteren op de IBC-show 2022 (https://show.ibc.org/) van 9-12 september in Amsterdam. De VS680 SoC en SyNAP van Synaptics zullen te zien zijn op de Synaptics IBC-balkoncabine BS17.
E-mail [email protected] of neem contact op met uw plaatselijke Synaptics-vertegenwoordiger om tijd te reserveren bij de Synaptics-stand.
Als u een afspraak wilt maken met Visidon (ter plaatse of online), stuur ons dan een e-mail op [email protected]
