機鋒網>手機>專訪>正文
以技術為源汲取藝術靈感 專訪Keijiro Takahashi高橋啓次郎
2019-05-16 10:49:48 【機鋒網】 作者:廖子涵 責編:王亞南
廖子涵

【機鋒評論】藝術和科技看似是兩個不同領域,但如果深入研究,就能發現兩者可以通過某種“橋梁”,讓兩個不同領域融會貫通。這個橋梁就像《雷神》電影里的彩虹之橋,一邊連接著創意,一頭則通向創意實現后的彼岸。


屏幕快照 2019-05-13 下午2.12.04.jpg


而在筆者來看,Unity就像是這個橋梁,創作者就像是建設者,他們利用Unity引擎工具,造出讓夢想變為現實的橋梁。在這次Unity大會上,Unity日本技術美術總監Keijiro Takahashi就為我們帶來了一場別開生面的主題演講,在這場名為“以技術為源汲取藝術靈感”的主題演講上,通過一系列“增強現實”表演,讓開場充滿了神秘、驚奇感。


屏幕快照 2019-05-14 上午9.46.22.jpg

Unity日本技術美術總監Keijiro Takahashi上臺做主題演講


簡單來講,其通過RealSense深感相機,可以把被拍攝對象影像映射到大屏幕上,之后把記錄下來的數據節點、位置和顏色節點,保存紋理并導入到Visual Effect Graph(VFX Graph)當中,利用Unity物理引擎的諸多特性,讓可視化效果成為可能,在整個演示過程中,給筆者的觀感印象,從不屑一看轉為吃驚的速度非常快,沒想到unity還能這樣“玩兒”。


屏幕快照 2019-05-14 上午9.46.33.jpg

藝術表現形式


其實想實現這種效果,并不難,Keijiro Takahashi也在會場中,為我們做了簡單介紹:其使用的是幾何著色器的效果(整個VFX Graph的演繹過程,離不開各項著色器的相互協調)。首先是需要頂點著色器,其作用是調整控制頂點的著色器,進行坐標轉換或者是一些光照處理。片元著色器是處理像素的著色器,也就是說其會對畫面每個像素進行篩選,這時候就回選取片元著色器,對像素會進行處理或者紋理影射處理等等,片元著色器可以處理像素的著色器,可以使光和顏色發生變化或使其消失。


屏幕快照 2019-05-14 上午9.46.40.jpg

VFX Graph藝術表現形式


但是頂點著色器和片元著色器都無法讓視覺效果得到最大限度表現,這時候就需要幾何著色器。幾何著色器所處理的單位就是三角形,在幾何著色器當中,不僅可以移動三角形的頂點而且可以加入新的三角形,就可以實現新的效果。所以,可以把三角形變成一個四邊形或者加入厚度,使其變成一個立方體。


屏幕快照 2019-05-14 上午9.46.49.jpg

頂點著色器和片元著色器以及幾何著色器


通過現場演示,筆者發現,還可以設置在立方體邊緣上使其發光,讓它展示出更加絢麗的效果,想要發光效果其實也非常簡單,只需要調整片元處理器和幾何著色器即可。

此外,Keijiro Takahashi也為我們介紹了深度學習和視覺效果相結合的相關內容,其表示在多年之前,就希望找到一種方式,把機器學習技術應用到視覺效果上,但是一直沒有找到很好的方向,而Pix2pix的技術出現,則解決了Keijiro遇到的一大問題。


屏幕快照 2019-05-14 上午9.47.00.jpg

Pix2pix技術


簡單來講,Pix2pix技術,就是把一種圖像技術轉化為另外一種圖像的Neural VFX技術,這體現了Unity的高效轉化效率。而在現場,Keijiro Takahashi為我們詳細的演示了采用這項技術的可視效果,例如,Keijiro通過在繪畫板上畫出貓的幾個線條輪廓,就可以在右邊屏幕上,顯示出貓的具體真實外貌。


屏幕快照 2019-05-14 上午9.47.09.jpg

Pix2pix技術


在整個演講過程中,Keijiro著重提到了預測機制,其首先把視頻分成圖像陣列,在把連續兩個幀作為學習材料進行深度學習,“當你給到任意幀之后,可以實時預測出下一幀是什么樣子的。我們可以看到在給到Pix2pix這個具體幀之后會生成下一幀,再同樣返回到Pix2pix里面再實現下一幀,通過不斷反復循環來實現無限循環的影像。”


屏幕快照 2019-05-14 上午9.47.19.jpg

Pix2pix技術 演示


在會后,筆者也對Unity日本技術美術總監Keijiro Takahashi先生進行了采訪,就unity看待動畫藝術發展和其對藝術與科技結合的理念,進行了詳細溝通。


屏幕快照 2019-05-14 上午9.47.29.jpg

Keijiro Takahash對于開發理念的分享


其表示,未來在開發功能時候,也是有意識的去向動畫藝術和電影藝術去發展,unity在動畫領域的應用,特別是亞洲,尤其日本的需求是非常大的,Keijiro Takahashi會圍繞這些功能進行開發。


屏幕快照 2019-05-14 上午9.47.41.jpg

感興趣朋友可以在github進行下載


另外Keijiro Takahashi表示,藝術和技術是不可分割的,是一體化的,比如繪畫領域,出現新的配色方案、藝術流派、表現手法時候,會產生出新的藝術效果,兩者是想通的。在電影領域也是如此,比如拍攝手法和剪輯手段有了新的提升以后,表達電影的手法也會更加多樣,我自己所做的工作就是計算機圖像工作,藝術技術是完全沒辦法分割的。

評論

關注微信公眾號

下載APP客戶端

熱點文章

機鋒網登錄頁

請輸入賬號

請輸入密碼

驗證碼錯誤

忘記密碼? 沒有賬號,立即注冊

機鋒網注冊頁

請輸入賬號

驗證碼錯誤

驗證碼錯誤

兩次密碼輸入錯誤

您還未接受機鋒網用戶協議

已有賬號,

機鋒網找回密碼

手機找回郵箱找回

請輸入賬號

驗證碼錯誤

驗證碼錯誤

請輸入密碼

兩次密碼輸入錯誤

一肖平特图
10.9.94.115