AMeeT
TECHNOLOGY

テクノロジー

プログラミングを用いた映像制作のコツ 第4回 ~生カメエフェクト概論~ 前半文:神田 竜/Kezzardrix(プログラマ/アーティスト)

2021 02 11

コンサート映像やVJなど、多方面で注目を集めている神田 竜/Kezzardrix氏に、映像制作のコツに関する記事をご寄稿いただく本連載。今回は生カメラにエフェクトをかける表現について、前後半に分けて執筆していただく。本記事のために制作した実践的なサンプルプロジェクトを例に、丁寧に解説していただいており、映像制作者にとって参考になることはもちろん、「プログラミングにおけるクリエイティビティとは何か」を考えるためのヒントとしても意義のある内容となっている。

執筆者のプロフィールを読む

筆者は主にプログラミング、俗にクリエイティブコーディング ※1 と言われるツール群を用いた映像表現で、コンサート映像やVJ、MV、サイネージ、アプリ開発などの仕事をしている。最近ではメインツールとしてTouchDesigner ※2 (以下、TD)を使用している。また個人活動以外にも、比嘉了とのHEXPIXELS ※3 など様々なユニットで活動している。

これまでも何度かAMeeTさんで記事を書かせていただいた。こちらも一読して頂ければ幸いである。

本稿では生カメラにエフェクトをかける表現(以下生カメエフェクト)について取り上げる。コンサートであれば複数台のカメラ、クラブイベントではDJの手元や会場全体を映す固定カメラのリアルタイム映像が背後のスクリーンに投影される、という状況が多い。その際、そのまま生の映像を流すのではなく、色が反転する、演奏者の動きに合わせてCGが出る、といった効果を本稿では生カメエフェクトと呼ぶ。筆者はそのようなエフェクトをプログラミング環境で自作してきた。例えばこんな感じだ。

seiho × kezzardrix (played at idleMoments × Hz-records)

既存のVJソフトの中にも生カメラを取り込んでエフェクトをかける機能はあり、人の動きを解析するタイプのエフェクトも搭載されているケースがある。しかし、プログラミング環境であれば、エフェクトを1から自分で作りあげるため、パラメータを音にどうマッピングするか、エフェクトのディティールをどうするか、複数のエフェクトをどういった順番でどれくらいの数をかけるか、などの作りこみが自由になる。コンサートでは、1度目のサビと2度目のサビで同じエフェクトを違うパラメータでかけたい、といったことも頻発する。そういった要件に、プログラミング環境であればフレキシブルに応えやすい。

生カメエフェクトは、演奏者そのものを素材にするため音楽との親和性が高い。何故ならその場で鳴っている音楽をもっともビジュアライズしているのは演奏者だからである。DJやラップトップによる電子音楽など、生楽器を使用しないパフォーマンスの場合であっても同じで、音楽に対してどうやって乗ると楽しいか?の1つの正解例を、観客は演者を通じて見ている。例えば上記で示したSeiho ※4 などは良い例である。

さて、安易に生カメエフェクトを多用すれば良いか、というとそうでもない。エフェクトをかけた絵の方が音楽と「合っている」、という印象を作れなければ蛇足になる。特にコンサートのように各楽曲の長さがあらかじめ決まっている場合、かけるタイミングと内容を精査する必要がある。上述したようにカメラを使った時点でその映像は音楽との親和性が高い。そのため、なんとなくエフェクトをかけていても大きくは外れないが、効果の垂れ流しになってしまうことも多い。

本稿では、エフェクトのサンプル例を交えつつ、どういった場面でそのエフェクトを使うべきか、という筆者の考えも示したい。

なお配信ライブで多く扱われるようになった、グリーンバック ※5 やARシステム ※6 を使った作例については取り上げない。それらに関しては個々に詳細な解説記事があるのに加え、単なるエフェクトというよりも空間設計や、それぞれの配信システムによって演出の正解が違うため、本稿の取り扱う範囲を超えている。今回は、生カメエフェクトの基礎を記述することで、制作の参考や応用に役立つ資料になることを期待している。

まず最初に生カメラエフェクトに使われる定番の機材構成を紹介する。次に記事用に制作したエフェクトのサンプルをTDのファイルと共に紹介する。最後に生カメエフェクトの実例として、筆者が関わった配信ライブの記録を紹介する。

※1 openFrameworks, Max8等のデザイナーやアーティストが使いやすいように設計されたプログラミング環境の総称。

※2 オペレータと呼ばれる箱を繋いでプログラミングする環境。映像やインタラクティブな展示制作等に強い。

※3 TDやゲームエンジン、プログラミングされた映像ミキサーなどを使う映像ユニット。国内外でパフォーマンスを行う。

※4 大阪出身のトラックメーカー / DJ。様々なジャンルを取り入れた音楽性と、特徴的なファッションとパフォーマンスが常に話題を呼ぶ。

※5 人間の肌にはないグリーンを背景に敷いて撮影することで、CG合成をする技術。コロナ禍で、グリーンバックスタジオから配信ライブを行うパフォーマンスが数多く見られるようになった。

※6 Augmented Realityと呼ばれる実写とCGをリアルタイムに組み合わせた表現。実写カメラの動きとCGをどう繋ぐかが肝になる。筆者が関わった例はこちら

PAGE TOP