社員の投稿①
営業から社内ブログの記載依頼が来ました。
趣味についてでもいいという事なので趣味についての記事を書きます。
私の業務とは全く関係ないお話です。
お題は「ProcessingとvvvvとAbletonLiveを使った音に反応する映像の作り方」です。
作り方といっても詳しいことは説明しません。
記事執筆の為に新たにプログラムとパッチを作成しましたが、8年くらい前の知識がベースになっていますので、最近はもっと素敵なソリューションがあるかもしれません。その点は留意ください。
■概要
作成したものは以下の図のような構成になっています。
Processingで手書き風のテクスチャを作成してその映像をvvvvにSpoutを使用して送信、vvvvではAbleton Liveからの音とMIDI信号を受け取り映像と音を連動させています。
■Processing
Processingとは「電子アートとビジュアルデザインのためのプログラミング言語であり、統合開発環境（IDE）」です。
プログラミングで映像を作り出すための仕組みと考えてもらえればいいかと思います。
ProcessingにはJava、Python、JavaScriptなどでのプログラミングが可能な環境がありますが、今回はJavaで実装しています。
ProcessingにはHandyRendererという手書き風に絵を書けるライブラリがあるのでこれを使ってテクスチャを作成しています。
作成した映像はSpoutというツールを使ってvvvvに送ります。
SpoutはMacでいうところのSyphonと同じもので映像を送信するツールでWindows専用です。
ちなみですがネットワーク越しに映像を送る場合は、Spout To NDIというのを使うといいみたいです。使ったことが無いのでどれくらい使えるものなのかは不明ですが。
ソースはこちらです。
■vvvv
vvvvはビジュアルプログラミング言語でノードを線で繋いでプログラミングします。
今回は、最終的に出力する映像の作成と映像のコントローラーに使用しています。
ProcessingからのテクスチャをSpoutを使って受信、Ableton Liveからの音をFFTで受けて
映像の変形に使用しています。
「え？Touch Designerじゃないの？」とか「vvvv gammaはどうした？」とかいう意見も
あろうかと思います。いいんです。今から覚えていたら期限に間に合わないんです。
映像をリアルタイムに加工したりコントロールするなら、Touch DesignerやらMAXやらでも出来ますので好きなソフトを使う事をお勧めします。
■Ableton Live 11 lite
最近、Ed Sheeranにはまってまして。
ルーパーを使ったライブ的な事が出来るようになりたいなと思い立ち先週、LaunchKey MINI MK3を買いました。それにバンドルされていたやつです。
本当はライブで演奏したいところですが、練習しているうちに記事の納期が来てしま
うので今回はMIDIデータの再生ソフトとして使用しています。
さらに言うと、OSCでMIDIデータ（音の方）に合わせて信号を送りたいのですがLiveの
Suiteじゃないと出来ないようなのでこれもあっさり断念しLaunchKeyをvvvv操作のコントローラーと使用しています。
■まとめ
今回の映作成状況はこちらになります。編集はかなり雑です。
プログラミングが出来ると業務で使用できるだけではなく、映像の制御や生成、むしろプログラミングが出来ないと作成できない映像を作り出すことも可能かもしれないという可能性を感じていただけると嬉しいです。
「ProcessingとvvvvとAbletonLiveを使った音に反応する映像の作り方」
ということでそれぞれのツールを連携したリアルタイム映像の作成について説明しました。
正直言って実用的ではないのですが、何かのお役にたつことがあれば幸いです。
