Hà TÄ©nh xây cầu hÆ¡n 200 tá»· Äá»ng bắc qua sông La
Thực tế mở rộng và hoán đổi khuôn mặt dường như là ứng cử viên nóng cho các ứng dụng di động tiếp theo; Chỉ cần nhìn vào Facebook, mua MSQRD hoặc mua lại Snapchat của Facebook. Nhưng một công ty khởi nghiệp AR có tên là Pinscreen, hiện được hỗ trợ cho giai điệu 1,8 triệu đô la từ Lux Capital và Colopl VR Fund, đang tìm cách làm những điều khác biệt trong lĩnh vực này. Nghịch đảo đã nói riêng với người sáng lập Pinscreen Hao Li về những gì có thể ở phía trước cho công ty bí mật này.
Có thể bạn chưa từng nghe về Hao Li, nhưng bạn có lẽ đã thấy trợ lý giáo sư USC này nghiên cứu hành động trong một số bộ phim bom tấn. Khi làm việc tại studio hiệu ứng hình ảnh Industrial Light & Magic, Li đã giúp phát triển một số công cụ cho phép chụp hiệu suất thời gian thực. Ý tưởng là một diễn viên có thể ngồi trước máy tính với máy quay web, thực hiện một cảnh và sau đó hiệu suất đó sẽ được dịch - trong thời gian thực - thành nhân vật CG.
Li cũng đã thực hiện nghiên cứu sâu rộng trong các lĩnh vực khác, bao gồm cả việc tạo ra các mô hình 3D của người thật trong thời gian thực và nắm bắt các phần quan trọng của sự giống nhau của họ, đặc biệt là khuôn mặt và tóc. Gần đây nhất, Li đã cho thấy nghiên cứu rằng anh ấy và những người khác đã tiến hành ghi lại màn trình diễn từ một người chỉ bằng một chiếc máy ảnh duy nhất và dịch nó sang một nhân vật kỹ thuật số.
Lúc đầu, điều này không có âm thanh mới lạ. Hiện đã có một số giải pháp theo dõi khuôn mặt đang được phát triển, cả cho các ứng dụng di động và các hệ thống phức tạp hơn nhiều như Faceshift (được Apple mua vào năm 2015). Nhưng nhiều trong số này dựa vào các cảm biến độ sâu, điều mà công nghệ Li lệch không yêu cầu. Cách tiếp cận đó, ông nói, rất khác nhau.
Nếu bạn có một cảm biến độ sâu, tất cả những gì bạn cần là tối ưu hóa các tham số của mô hình khuôn mặt để mô hình phù hợp với đầu vào 3D càng gần càng tốt, theo giải thích của Li. Tuy nhiên, trong trường hợp đầu vào RGB thuần túy, toàn bộ thế giới được chiếu lên hình ảnh hai chiều mà không biết các thông số máy ảnh như độ dài tiêu cự. Vì vậy, một mô hình khuôn mặt 3D chính xác cần được suy ra từ hình ảnh được chiếu này và có thể xử lý một loạt các điều kiện ánh sáng cũng như sự xuất hiện của các đối tượng khác nhau.
Do đó tầm quan trọng của nghiên cứu Li khuyết về hình đại diện 3D. Khi lập bản đồ khuôn mặt của con người, rất nhiều chương trình lập bản đồ gặp khó khăn khi xử lý các chướng ngại vật trực quan như tóc và kính. Để tránh vấn đề đó, Pinscreen Street đã xây dựng một mạng lưới thần kinh tích chập sâu có thể học cách phân đoạn một vùng khuôn mặt trong một hình ảnh hoàn toàn không bị giới hạn.
Vì vậy, Pinscreen sử dụng công nghệ tiên tiến điên rồ này để làm gì?
Chúng tôi sẽ là một loại nền tảng truyền thông / truyền thông xã hội mới với một số khả năng AR thú vị, Li Li nói. Đây sẽ không phải là một ứng dụng như ống kính Snapchat hay MSQRD, mà hầu hết mọi người chỉ thú vị trong vài phút.
Vì vậy, hiện tại, đó không phải là nhiều hơn buzzwords. Nhưng, nhìn sâu hơn, công việc trước đây của anh cho thấy rằng họ hy vọng sẽ phát triển khả năng theo dõi khuôn mặt của ai đó bất chấp tóc, kính hay các vật thể khác cản trở tầm nhìn của camera đơn. Thêm vào một số thực tế gia tăng, và bầu trời giới hạn cho phim, phương tiện truyền thông xã hội và trò chơi.
Nghe có vẻ khá đột phá, nhưng điều quan trọng cần lưu ý là Li và nhóm của anh ấy là những người duy nhất nghiên cứu trong lĩnh vực này. Disney gần đây đã trình bày về việc chụp hiệu suất khuôn mặt theo thời gian thực, cũng như một số nhà nghiên cứu khác với một công cụ có tên Face2Face. Có cả Faceshift đã nói ở trên, cùng với Facebook và Snapchat, những người cũng đã bắt đầu trình diễn các sản phẩm của họ.
Vậy điều gì làm cho công nghệ Pinscreen sườn khác biệt? Li gợi ý rằng giải pháp của công ty của anh ấy là mạnh mẽ hơn rất nhiều và có thể suy ra các mô hình 3D chính xác hơn, vì chúng tôi xử lý rõ ràng các khớp.
Sự đổi mới quan trọng nhất của chúng tôi là một công nghệ cho phép chúng tôi xây dựng một mô hình đầu 3D hoàn chỉnh bao gồm tóc từ bất kỳ hình ảnh nào tự động, theo ông. Theo truyền thống, loại nhiệm vụ này đòi hỏi một người lập mô hình CG và người khởi động lành nghề để sản xuất, nhưng chúng ta có thể tạo ra nó hoàn toàn tự động. Các bài báo mới nhất được trình bày tại SIGGRAPH (hội nghị kỹ thuật tương tác và đồ họa máy tính hàng đầu) cũng yêu cầu nhiều hình ảnh đầu vào làm đầu vào - chúng tôi tập trung vào giải pháp với yêu cầu đầu vào tối thiểu, một hình ảnh 2D duy nhất.
Tất nhiên, cho đến khi mọi người nhìn thấy và sử dụng bất kỳ ứng dụng nào từ Pinscreen, ban giám khảo sẽ không biết về khả năng của nó. Tuy nhiên, sự khác biệt ở đây là Li chắc chắn có một lịch sử nghiên cứu và đổi mới vững chắc đằng sau, đặc biệt là trong việc chế tạo các avatar kỹ thuật số.
Li rõ ràng tự tin về khả năng của Pinscreen sườn xám trong không gian truyền thông xã hội. Công nghệ của chúng tôi sẽ dân chủ hóa thế hệ avatar 3D, nó sẽ có các ứng dụng rõ ràng trong các trò chơi, ứng dụng VR / AR để giao tiếp nhập vai, hoặc các tác nhân AI, ông nói, nhưng tôi nghĩ chúng tôi sẽ tự tạo ra ứng dụng tuyệt vời nhất, đó là nền tảng trung gian xã hội chúng tôi đang phát triển.
Quan trọng nhất, anh ấy nói thêm, chúng tôi muốn xây dựng một thứ gì đó cho phép mọi người tạo ra nội dung thực sự thú vị mà không cần đến đường ống VFX đắt tiền ngày nay và có thể sử dụng nội dung AR thực sự thú vị để kết nối với nhau.
Nghe có vẻ như Pinscreen sẽ bao gồm một loạt các công nghệ mà Li và nhóm của ông đã làm việc. Nhưng, ông nói, đó chỉ là một phần của kế hoạch. Bản demo công nghệ thực sự chỉ là một tính năng của những gì chúng tôi dự định sử dụng, anh ấy lưu ý. Màn hình của Ghim sẽ là một cái gì đó lớn hơn nhiều và công nghệ sẽ là một tính năng thú vị ngay từ đầu. Chúng tôi cũng sẽ khá khác biệt so với các nền tảng truyền thông xã hội khác.
Cho đến bây giờ, Pinscreen vẫn còn một chút bí ẩn và có vẻ như chúng ta sẽ phải chờ xem họ có gì trong cửa hàng.