Our portfolio includes companies such as Oben, Pinscreen, and Mirror, among others, that are applying AI to face and voice tracking in the context of communication and entertainment. Arraiy, a Silicon Valley-based startup leveraging machine vision and machine learning to automate visual effects (VFX) for film production (Movies, Television, Ads), is our latest investment at the intersection of AI and media.
_
(Arraiy logo)
_
Arraiy’s main value proposition is to reduce the cost of the traditional manual process and enable more creative freedom in the production workflow. At first they are solving a major problem in the movie industry: video production is extremely complex, time consuming, and expensive. It takes dozens of people, days of manual labor, and tens of thousands of dollars to shoot a scene of even a few seconds that contains visual effects. These high costs are why this type of work is typically reserved for Hollywood studios with high budgets. However, through its cutting-edge technology, Arraiy can accelerate traditional VFX workflows (such as rotoscoping) and significantly lower the cost for movie studios and broadcasters. Arraiy’s tools also enable real-time visualization, allowing the production team to visualize a scene with VFX as it is being shot.
_
(Ethan Rublee, co-founder and CEO of Arraiy)
_
Arraiy demonstrated their technology at SIGGRAPH’s 2017 Computer Animation Festival where they won the Best Real-Time Graphics and Interactivity award for their work with The Mill (a top-tier VFX studio). In this project, Arraiy’s technology enabled replacing a car being filmed on the road by any car model for making car commercials, and rendering it in real-time with all the appropriate geometry, motion, and lighting – something that used to take weeks of manual tracking and editing. Arraiy’s filming process was also used in the Black Eyed Pea’s latest release, Street Living.
_
(Car commercials project of Arraiy)
_
Arraiy is able to achieve these incredible results through the deep technical expertise of the team (the founders are famous in the computer vision world, most notably for creating the widely used OpenCV library) and their partnerships with market leaders in movie production, giving them access to high-quality data which is essential for training machine learning algorithms.
_
(Segmentation technology of Arraiy)
_
The future of the company looks very exciting. Beyond movies, television, and advertisement, Arraiy’s technology can also have a huge impact in gaming, virtual reality, and sports broadcasting. Ultimately, it will become available in the hands of consumers, allowing anyone to record a scene from their smartphone and apply Hollywood-quality VFX to their “stories”. We are proud to welcome the Arraiy team to the SoftBank family!
_
(Tracking technology of Arraiy)
_
[한국어 번역]
어레이(Arraiy) – AI로 구현하는 헐리우드급 비주얼 이펙트
소프트뱅크는 차세대 혁신을 현실로 만들어가며 미래를 여는 기술들에 투자해오고 있습니다. 이에 소프트뱅크벤처스는 인공 지능을 활용한 다양한 산업군에서 변화를 주도하는 유망 초기 단계 스타트업을 발굴하고 있습니다. 특히, 미디어 산업에서 파괴적 혁신을 일으키는 유망한 기업가들에게 적극 투자하고 있습니다.
소프트뱅크벤처스가 투자해온 포트폴리오 중 통신 및 엔터테인먼트 분야에서 인공지능을 활용해 얼굴 및 음성 트래킹 기술을 선보인 대표적인 스타트업들은 Oben, Pinscreen, 그리고 Mirror 이 있습니다. 소프트뱅크벤처스가 새롭게 투자한 어레이(Arraiy)역시 인공지능과 미디어가 만나는 영역에서 활약 중인 실리콘밸리 스타트업으로, 머신 비전과 머신 러닝을 활용해 영상에 비주얼 이펙트 자동 적용을 가능하게 만들었습니다.
영상에 비주얼 이펙트를 적용하는 작업은 과거에는 수작업으로 진행할 수 밖에 없어 많은 인력, 오랜 시간, 고가의 비용이 들어가야만 했는데요, 어레이의 기술은 프로덕션 과정을 이러한 한계들로부터 해방되게 하고 창작 과정에 자유를 가져왔습니다. 어레이는 이렇게 영화 제작 업계의 주요한 문제를 해결해 나가고 있습니다. 영상 프로덕션의 과정은 매우 복잡하고, 작업에 오랜 시간이 소요되며, 고가의 비용이 들어갑니다.
비주얼 이펙트를 적용해 단지 몇 초 정도의 영상을 제작하려고 해도, 수십 명의 인력이 수작업으로 몇 일간을 작업해야 하며 비용도 수만 달러 수준입니다. 이렇게 많은 비용이 소요되므로 제작자들은 헐리우드 스튜디오를 고가에 예약할 수 밖에 없었습니다. 반면, 어레이의 첨단 기술을 활용하면, 로토스코핑(사람의 움직임을 촬영해 프레임 하나 하나를 옮겨 그리는 기법)과 같은 비주얼 이펙트 작업 속도가 비교할 수 없이 빨라지며, 영화 스튜디오와 방송사들이 지불 비용을 크게 낮출 수 있습니다. 어레이의 기술로 실시간 비주얼라이제이션 구현이 가능해, 프로덕션 팀이 촬영하는 순간에 바로 비주얼 이펙트를 적용할 수 있습니다.
어레이는 세계 최대 컴퓨터 그래픽 및 인터렉티브 기술 컨퍼런스인 SIGGRAPH의 컴퓨터 애니메이션 페스티벌 2017에서 이 기술을 선보였고, 탑티어 비주얼 이펙트 스튜디오인 더밀(The Mill)과 진행한 프로젝트로 실시간 그래픽 및 인터렉티비티 부분에서 최우수상을 수상했습니다. 자동차 광고 제작 과정을 보여준 이 프로젝트는 도로 위에서 임의의 자동차를 촬영하고 그 즉시 자동차 형상, 움직임, 조명 등 모든 요소를 실시간으로 렌더링하여 원하는 브랜드의 원하는 자동차 모델 광고로 영상을 완성했습니다. 이러한 영상 제작은 이전까지는 몇 주의 기간에 걸쳐 수작업으로 편집해야만 가능한 것이었습니다. 어레이의 이 기술은 그룹 블랙 아이드 피스의 최신곡 Street Living 뮤직비디오 제작에도 사용되었습니다.
어레이 창업자들은 컴퓨터 비전 분야에서 널리 사용되는 OpenCV 라이브러리 제작에 대한 기술적 전문성을 갖춘 것으로 유명합니다. 또한 어레이 팀은 영화 프로덕션 분야의 주요 리더들과의 파트너십을 맺어왔으며, 머신러닝 알고리즘을 학습하는데 필수적인 고품질 데이터를 확보해 이렇게 훌륭한 성과를 낼 수 있었습니다.
어레이의 기술은 영화, TV, 광고 이외에도 게임, VR, 스포츠중계 영역의 미래에 큰 혁신을 가져올 것으로 기대됩니다. 궁극적으로는 어레이의 기술을 개인들이 직접 사용할 수 있게 되어, 누구나 스마트폰 카메라로 영상을 촬영하고 손쉽게 헐리우드 수준의 비주얼 이펙트를 적용할 수 있게 될 것으로 봅니다. 소프트뱅크벤처스는 어레이 팀이 이루어 나갈 미래의 도전에 함께하게 된 것을 진심으로 기쁘게 생각합니다!
