Sony har lansert en ny type bildebrikker med innebygd kunstig intelligens. I utgangspunktet er de nye intelligente bildebrikkene myntet på automatisering i fabrikkene og analyse av kundeatferd i butikkene, men de kan med tiden også finne veien inn i vanlige kameraer og mobilkameraer.
Den 14. mai 2020 lanserte Sony to modeller av en helt ny type bildebrikker. Spesifikasjonene gir inntrykk av at det dreier seg om to bildebrikker av omtrent samme type som vi finner i kompaktkameraer. Men det er én stor forskjell: Bildebrikkene er utstyrt med kunstig intelligens som kan analysere motivet direkte i bildebrikken med lynets hastighet.
Farvel til skyen
Hva er fordelen med dét? Dagens teknologi går stort sett ut på at analyse som bruker kunstig intelligens, forutsetter at store mengder data må overføres til «skyen», altså til de store serverne i datasentre rundt om i verden som har nok datakraft til å analysere data ved hjelp av kunstig intelligens – Artificial Intelligence, forkortet til AI.
(Noen prøver å få innarbeidet KI som for forkortelse for kunstig intelligens på norsk, men om de vil lykkes, vil bare tiden vise.)
Dataoverføringen til skyen fører imidlertid til tidstap. I tillegg kan den være en trussel mot privatlivets fred. Den krever også mye energi og kan gi store kommunikasjonskostnader.
Tidstapet kan eksemplifiseres med spørsmålet om hvorvidt selvkjørende biler kan bli trygge så lenge informasjonen om elgen som plutselig springer ut i veien foran bilen, først må sendes via det nye 5G-nettet til en kjapp analyse i skyen, før det går et signal tilbake til den selvkjørende bilen om at nå er det på tide å bremse for full kraft.
Endelig følgefokus som treffer?
Nyheten om Sonys oppsiktsvekkende bildebrikke-lansering spredte seg fort til nyhetsmedia på internett, men de fleste artiklene forholder seg til Sonys beskrivelse av hvordan den nye teknologien kan komme til nytte i fabrikk-automasjon og i varehandelen. Bloomberg Technology var blant de få som tittet rundt hjørnet og så seg om etter andre bruksområder.
Selv om den nye teknologien er myntet på kommersielle kundegrupper, har den elementer i seg som ser lovende ut også for forbrukerløsninger, fastslo Bloomberg. Brukt i en smartmobil kan teknologien bidra til sikker identifikasjon av objekter og brukere, uten å måtte ta bilder, slik for eksempel ansiktsgjenkjenning må gjøre i dag. Det bidrar til å minske risikoen for at personlig og privat informasjon kommer på avveie.
I neste omgang kan denne evnen til mye raskere gjenkjenning av objekter enn før gjøre det lettere å holde motivet i fokus når man filmer motiver i rask bevegelse, for eksempel på en sportsarena. Eller når man fotograferer sine kjæledyr, skriver Bloomberg.
Her er man altså inne på en fremtidig bruk av den nye teknologien der den tas bruk på et område som Sony ikke har snakket om ennå, i hvert fall ikke i forbindelse med denne lanseringen, mens som høres besnærende ut for oss kamera- og foto-interesserte. Effektiv følgefokus under både fotografering og videofilming står sentralt i nesten alle kameralanseringer for tiden, og mange av oss er jo imponert over hvor langt kameraprodusentene allerede er kommet på dette området.
Men tross det kan kunstig intelligens – med databehandling direkte på bildebrikken – bety kvantesprang for dette formålet. Det høres unektelig spennende ut. Selv om vi får gjøre som korona-pandemien nettopp har lært oss: Vi må være tålmodige og ikke tro at vaksinen – eller den nye AI-teknologien i dette tilfellet – vil fungere slik vi håper på en god stund ennå.
Tekniske data
Nei da, her kommer det ikke en tabell over tekniske data til et nytt kamera eller objektiv, slik det av og til gjøres her hos Kameranytt. Isteden kommer en kort beskrivelse av noen grunnleggende data om den nye «intelligente» bildebrikken til Sony. Det er en bildebrikke på 1/2,3 tomme, med et diagonalt mål på 7,857 mm. Oppløsningen er oppgitt av Sony til å være 12,3 megapiksler effektivt, eller netto, om man vil.
Høres dette kjent ut?
Sony lager vel ikke særlig mange klassiske kompaktkameraer lenger. Nå går det vel mest i RX 100-serien av avanserte kompaktkameraer med én-tommes bildebrikke. Men høsten 2018 lanserte Sony faktisk sin Cyber-shot DSC-HX99, som er det siste jeg har funnet fra Sony med bildebrikke på 1/2,3 tommer, som altså er en bildebrikke på 6,17 x 4,55 mm. Til sammenligning er fullformat-brikken i Sony a7R IV på 35,7 x 23,8 mm – eller tilnærmet det vi i gamle dager kalte fullformat på 36 x 24 mm.
Så den nye bildebrikken som Sony nå har lansert, er altså egentlig ikke noe annet enn en gammeldags, liten kompakt-kamera/lomme-kamera-bildebrikke?
Riktig, bortsett fra ordet «gammeldags». Det må fjernes. For dette er en brikke med så moderne teknologi som man kan tenke seg.
Et eget intelligens-lag
Den er delt i to lag. Det ene laget er en piksel-brikke, en klassisk bildebrikke som registrerer lys som en kamera-bildebrikke. Det andre laget er en logikkbrikke, og det er naturligvis her det revolusjonerende ligger. Vel, andre får vurdere hvor revolusjonerende dette er – AI/KI er ikke mitt fagområde.
Det andre brikkelaget er i hvert fall utstyrt med Sonys originale signalprosessor dedikert til å prosessere AI-data, og her finner man også lokalt minne for å lagre disse dataene. Løsningen eliminerer behovet for eksternt minne og høyytelses-prosessorer, skriver Sony i pressemeldingen.
Ut fra databehandlingen i brikken blir det trukket ut metadata, noe som reduserer datamengden som må behandles. Systemet er så raskt at det kan gjøres en AI-analyse av hver enkelt bilderute i en videosekvens.
Hva kan den brukes til?
Bruksområdene er mange, ifølge Sony. Hvis brikken er i et overvåkningskamera ved inngangen til en butikk, kan systemet enkelt telle hvor mange som til enhver tid er på vei inn i butikken, og så kan systemet beregne hvor stor kassakø man får litt senere, slik at betjeningen av kassene kan planlegges effektivt i tide.
Hvis man plasserer slike brikker i kameraer ute blant varene, kan systemet varsle om hvilke varer det snart blir tomt for i hyllene. Plassert i taket kan slike kameraer registrere kroppsvarmen til kundene, slik at man kan holde kontroll på hvor det oppstår større ansamlinger av kunder – noe som kanskje kunne ha vært nyttig for å kontrollere sosial distansering i disse korona-tider?
Det som pressemeldingen ikke sier noe om, er om de nye Sony-brikkene kan tenkes å finne veien inn i vanlige kameraer, men det er altså slett ikke utenkelig, ifølge Bloomberg Technology.
