Gratis download: Unity Computer Vision-gegevenssets (voorbeeld interieur)

Deze voorbeeldgegevensset voor het interieur is een klein voorbeeld van de synthetische gegevens die worden geleverd door ons Unity Computer Vision Datasets-aanbod. Ons team van experts werkt samen met klanten over de hele wereld om aangepaste datasets op elke schaal te genereren, afgestemd op hun specifieke vereisten.

Deze dataset is een voorbeeld van wat een bedrijf in consumentenelektronica of smarthometechnologie zou kunnen vastleggen met een camera of robotsysteem.

Hoe kom ik aan de voorbeelddataset?

Klik hier om deze voorbeelddataset te downloaden.

Het bevat twee verschillende typen woningen (multi- gelijkvloers stadshuis en traditioneel huis met twee verdiepingen) met grote woonruimtes, keukens en slaapkamers. De dataset omvat:

• 1.000 synthetische RGB-afbeeldingen
• 1.000 synthetische afbeeldingen met instantiesegmentatie
• 1.000 synthetische afbeeldingen met semantische segmentatie
• JSON-metadata voor elke RGB-afbeelding om 2D- en 3D-begrenzingsvakken
• Unity Computer Vision Dataset Visualizer, een op Python gebaseerde tool waarmee u datasets kunt visualiseren die zijn gemaakt met Unity Computer Vision-tools

Wat kan er worden gedaan met een volledige synthetische dataset voor thuis?

Dit type dataset kan worden gebruikt voor een reeks computervisietoepassingen voor slimme huizen, zoals:

• Het detecteren van dieren, mensen en andere items op slimme camera's
  • Het detecteren van dieren, mensen en andere items op slimme camera's
    • li>
    • Thuisbeveiliging
    • Binnennavigatie voor robots
    • Slimme apparaten (bijv. , koelkasten) en smart home-hubs
    • Aanbevelingen voor interieurontwerp

    Hoe worden de afbeeldingen gelabeld?

    Alle objecten in de Unity-scène hebben bekende 2D-coördinaten in de afbeelding. Het Unity Perception Package maakt gebruik van de vooraf bepaalde omgevingslay-out om objecten op verschillende manieren te labelen, terwijl de afbeeldingen worden gegenereerd. Dit voorbeeld bevat afbeeldingen die 2D- en 3D-begrenzingsvakken tonen, evenals instantie- en semantische segmentatie.

    RGB-afbeeldingen

    Deze RGB-afbeelding toont de visuele kwaliteit en nauwkeurigheid die mogelijk is met Unity Computer Vision Datasets .

    

    
    RGB-afbeelding

    2D-begrenzingsvakken

    De 2D-begrenzingsvakken lokaliseren en labelen objecten nauwkeurig in de schermruimte voor herkenning.

    

    
    2D-begrenzingsvakken

    3D-begrenzingsvakken

    De 3D-begrenzingsvakken bieden nauwkeurige coördinaten in de wereldruimte van objectlocaties.

    

    3D-begrenzingsvakken

    Instance-segmentatie

    Deze afbeelding toont de instantiesegmentatie van de dataset, waarbij elk gelabeld object uniek wordt geïdentificeerd.

    

    Instantsegmentatie

    Semantische segmentatie

    Semantische segmentatie biedt een duidelijk en nauwkeurig masker om elk exemplaar van een klasse objecten te identificeren, zoals soorten stoelen of meubels.

    

    Semantische segmentatie

    Welke parameters werden gebruikt om de scène te diversifiëren?

    Om een ​​diverse dataset te genereren, worden meerdere parameters automatisch aangepast om voor afwisseling in de scene te zorgen. De huisplannen zijn geselecteerd om een ​​grote variatie aan ruimtelijke configuraties, ramen en deuren, plafondhoogtes, trappen, keukenindelingen en verlichting te bieden.

    Indelingsvariaties

    < tbody>

    Keukenvariaties

    Lichtvariaties

    Hoek van de middagzon	Zonhoek van de zonsondergang

    Positievariaties van de camera

    Gecentreerd en recht	Laag en gehoekt

    Wat zit er in het JSON-bestand?

    De dataset bevat etikettering op basis van een standaard COCO-formaat. Bovendien voert het Perception-pakket dat voor deze generatie van datasets wordt gebruikt, extra JSON-bestanden uit die metadata bevatten die de intrinsieke eigenschappen, opmaak en labeling van de camera beschrijven, zoals het overlappen van 2D- en 3D-begrenzingsvakken, plus het aantal objecten en andere referentiestatistieken. Details van het formaat zijn te vinden op onze pagina Synthetic Dataset Schema.

    Wat kan ik doen met de dataset visualizer?

    Unity Computer Vision Dataset Visualizer is een op Python gebaseerde tool waarmee u kunt datasets visualiseren en verkennen die zijn gemaakt met Unity Computer Vision-tools.

    De belangrijkste kenmerken zijn:

    • Mogelijkheid om eenvoudig van dataset te wisselen door een datasetmap
    • Rasterweergave van alle frames in de dataset met de mogelijkheid om het zoomniveau te wijzigen
    • Individuele frameweergave samen met de JSON-gegevens die aan elk frame zijn gekoppeld
    • Labeler (grondwaarheid) overlay op frames, zowel in de rasterweergave als in de individuele frameweergave. Ondersteunde typen grondwaarheid omvatten 2D- en 3D-begrenzingsvakken, semantische en instantiesegmentatie en sleutelpunten.
    • Mogelijkheid om elk type grondwaarheid-overlay in of uit te schakelen

    Vereisten voor Dataset Visualizer

    • Windows 10 of OSX
    • Chrome, Firefox of Safari 14 en nieuwer (oudere versies van Safari worden niet ondersteund)

    < li aria-level="1">Python 3.7 of 3.8 (Opmerking: deze applicatie is niet compatibel met Python 3.9)

    Hoe lang duurde het om deze dataset te genereren?

    Het genereren van de daadwerkelijke dataset van 1.000 frames duurde minder dan 8 minuten.

    Wat kan ik met deze dataset doen?

    Dit is een voorbeeld van wat een volledige dataset zou zijn en heeft niet de hoeveelheid of diversiteit aan afbeeldingen die nodig zijn om op te nemen in een productiemodel voor machine learning. Het geeft je het volgende:

    • Vertrouwen in de visuele kwaliteit die mogelijk is met door Unity gegenereerde datasets
    • Een voorbeeld van de labels die we kunnen genereren uit de gegevens
    • Mogelijkheid om te experimenteren met het opnemen van synthetische gegevens in een machine learning-pijplijn

    Welke soorten items zijn gebruikt om deze dataset te maken?

    Het inhoudsteam heeft de huizen helemaal opnieuw gemodelleerd met alle componenten die zijn ingesteld voor domeinrandomisatie, inclusief binnen- en buitendeuren, keukenkasten en apparaten, ramen en zelfs de muurverf.

    We hebben de meubels in licentie gegeven van inhoudspartners en maakte het klaar voor labeling en domeinrandomisatie.

    Hoe zijn deze middelen in Unity terechtgekomen?

    Dit zijn puur virtuele modellen. De meeste modellering is gedaan in Autodesk Maya met materialen die zijn gemaakt in Adobe Substance Designer.

    Hoe werden deze activa in de scene geplaatst?

    Het interieur van het huis werd samengesteld als een typische Unity-scène als een verzameling geïmporteerde mazen en prefabs. Meubels worden geplaatst met behulp van een gestructureerd, op grammatica gebaseerd plaatsingssysteem, ontwikkeld door Unity's computer vision-ingenieurs. Het project maakt gebruik van de High-Definition Render Pipeline (HDRP) met een combinatie van realtime en gebakken verlichting.

    Alles in huis is opgezet met labels en randomizers uit het Unity Computer Vision Perception Package.

    

    Deurprefab, met componenten, materialen en randomisatie

    Ga vandaag nog aan de slag met synthetische data! Lees meer over Unity Computer Vision of neem contact met ons op om met onze computer vision-experts te praten over het aanschaffen van een eigen aangepaste dataset.

    0
    Tags: Tools Unity Technologies