Waarom worden beeldsensoren niet geleverd met geïntegreerde beeldsignaalprocessors?

Een ISP is een belangrijk onderdeel van een embedded camerasysteem, aangezien een sensor de output alleen in het RAW-formaat levert. Een ISP (Image Signal Processor) is een speciale processor die deze RAW-beeldgegevens omzet in een werkbare uitvoer van hoge kwaliteit via verschillende processen zoals ruisonderdrukking, lensschaduwcorrectie, gammacorrectie, automatische belichting en automatische witbalans enz.

Dat gezegd hebbende, een logische vraag die zou kunnen rijzen, is waarom beeldsensoren niet worden geïntegreerd met een ISP. Waarom overwegen sensorfabrikanten zoals Sony, ON Semiconductor of OmniVision geen waarde toe te voegen aan hun sensorproducten door een speciale ISP te integreren?

Nou, ik werd er ook nieuwsgierig van.

Daarom probeer ik in dit artikel de redenen uiteen te zetten waarom sensorfabrikanten geen combinatie van een sensor en ISP als geïntegreerde oplossing aanbieden.

Een terugblik voordat we beginnen

Voordat we gaan kijken naar de redenen, een beetje geschiedenis kan helpen.

Als we zeggen dat sensoren niet bij ISP's worden geleverd, was dat dan altijd het geval? Niet echt.

Sensorfabrikanten boden in het verleden ook ISP's aan. De laatst bekende beeldsensor die nog steeds een geïntegreerde ISP heeft en nog steeds in volumes wordt verkocht, is de OV5640 van OmniVision, een 1/4 inch 5MP-camera. Echter, zoals sommigen van jullie misschien al weten, heeft OmniVision besloten om geen beeldsensoren met geïntegreerde ISP meer dan 5MP te lanceren.

Redenen voor beeldsensoren die niet meer worden aangeboden met een ISP

Beeldsensoren worden niet meer geïntegreerd met ISP's vanwege voornamelijk 2 redenen:

1. Groei van microprocessors met ingebouwde ISP
2. Productontwikkelaars die de ISP willen kiezen op basis van afstemmingsvereisten

Laten we naar elk van deze kijken in detail.

Groei van microprocessors met ingebouwde ISP

Eerder hadden processors geen ingebouwde ISP. Maar tegenwoordig bieden de meeste moderne fabrikanten zoals Qualcomm, NXP en NVIDIA een ISP met hun microprocessors. Hierdoor willen sensorfabrikanten hun productkosten niet verhogen door er een ISP in te integreren. Aangezien een ISP geen toegevoegde waarde meer is, willen sensorfabrikanten niet het risico lopen een ontwerpwinst of een bulkorder te verliezen op budget- of kostengronden.

Productontwikkelaars die de ISP willen kiezen op basis van afstemmingsvereisten

De tweede belangrijke reden voor fabrikanten om met onbewerkte Bayer-filtersensoren te komen, is dat veel productontwikkelaars en ontwerpingenieurs zelf de ISP willen kiezen op basis van de afstemming die ze nodig hebben. Het is ook afhankelijk van de functies en de interface die door de ISP worden ondersteund.

Verschillende ISP's hebben verschillende functiesets, en het kiezen en integreren van een ISP vereist vaak ook een grondige kennis van de sensor. Een van de sterke punten van e-con Systems is het hebben van een reeks producten die worden geleverd met verschillende ISP's voor verschillende soorten toepassingen.

Hyperyon – een 2 MP ultra-low light USB-camera op basis van de Sony STARVIS IMX290-sensor – maakt bijvoorbeeld gebruik van de Socionext ISP. Aan de andere kant gebruikt e-CAM21_CUTX2 – Sony STARVIS IMX290-camera voor NVIDIA Jetson TX2 – de NVIDIA Jetson ISP. Terwijl Hyperyon is gericht op HDR USB 2.0-toepassingen met weinig licht, is e-CAM21_CUTX2 alleen geschikt voor op MIPI CSI-2 gebaseerde toepassingen bij weinig licht.

Externe ISP versus interne ISP

Nu dat we begrijpen dat een ISP is geïntegreerd met een processor (dat is wanneer het een interne ISP wordt genoemd), moeten we kijken waarom we in sommige gevallen een externe ISP nodig hebben.

Het is algemeen bekend dat USB-camera's absoluut een externe ISP nodig hebben. De kwestie van de keuze tussen een interne en externe ISP doet zich dus alleen voor bij andere camera's.

Hoewel processors worden geleverd met een interne ISP, zijn ze nog niet zo geavanceerd geworden als externe ISP's. Externe ISP's bieden doorgaans meer flexibiliteit en een scala aan functies in vergelijking met interne ISP's. In complexe gebruikssituaties waarbij meerdere camera's (zeg maar 6) moeten worden gesynchroniseerd, wordt een externe ISP aanbevolen voor een betere beelduitvoer.

Ook sommige productontwikkelaars die NVIDIA-processors gebruiken, willen deze niet gebruiken de interne ISP omdat deze extra GPU-bandbreedte verbruikt voor verwerking. Ze zouden in plaats daarvan liever de processor gebruiken voor alleen de verwerking van algoritmen met behulp van GPU's.

Ik hoop dat je een goed begrip hebt van waarom ISP's tegenwoordig worden geïntegreerd met processors en niet met beeldsensoren. Ook hangt de keuze tussen een interne en externe ISP vrij veel af van uw toepassing. Hoe complexer uw toepassing, hoe groter de behoefte aan een externe ISP.

Als u meer wilt weten over ISP-afstemming en het belang van het gebruik van een externe ISP, bekijk dan het artikel Camera ISP en het belang van het gebruik van een externe ISP in beeldverwerkingsoplossingen.

Als u vragen heeft over dit onderwerp, kunt u ons schrijven op [email protected] We helpen je graag verder.

Prabu Kumar
Chief Technology Officer en Head of Camera Products, e-con Systems