最初の動きから自然なメロディーを作れます。
メジャーペンタトニックは明るく、外れた響きになりにくいため、初めての演奏に向いています。7音のなじみある動きにはメジャー、少し暗い中心にはマイナーを選んでください。ルートを変えると、覚えた手の動きはそのままに、音域全体を別の調へ移せます。
ブラウザで動くライブ楽器 · 登録不要
Gesture Synth手の動きを音楽に変えます。
手を上げ、親指と人差し指を合わせると音が鳴り、空中で動かすと音程と音色が変わります。この無料のGesture Synthは左右の手に別々の声部を割り当てるため、Webカメラだけでメロディー、ハーモニー、ゆっくり変化するドローンを演奏できます。気に入った演奏は15秒のクリップに録画し、ダウンロードまたはシステムの共有メニューへ送れます。
- 入力
- 両手 / マウス
- エンジン
- 端末内 Web Audio
- 出力
- 15秒の共有クリップ
ジェスチャーエンジンを読み込み中…
このページで直接録画
ひとつのポインターでメロディーを描く音を聴いてみましょう。
この15秒の演奏は、パブリックドメインの童謡「きらきら星」の冒頭です。マウスモードでCメジャー、68 BPM、温かい三角波を選び、ひと続きで演奏しました。映像と合成音は上の楽器と同じ端末内レコーダーで作成しており、マイク、ファイルのアップロード、別録りの音源は使っていません。
- 01マウスモードを開く
- 02Cメジャーで冒頭のフレーズを演奏
- 03録画してプレビュー、ダウンロード、または共有
01 / 使い方
カメラの許可から最初の音まで、3つの手順だけです。
Gesture Synthは複雑な音楽ソフトを設定するより、目の前の楽器を手に取る感覚に近いツールです。アカウント、インストール、MIDI接続、空のプロジェクトは必要ありません。手の位置と音の関係を短時間で覚え、そのまま即興演奏を始められるよう操作を絞っています。
- 01
楽器を開始する
「カメラを開始」を押し、ブラウザに表示される許可画面でアクセスを認めてください。現在のブラウザは音を鳴らす前とカメラを使う前にユーザー操作を求めるため、同じクリックからオーディオエンジンも起動します。Webカメラがない場合や許可を出したくない場合は、マウスモードで同じシンセエンジンを演奏できます。
- 02
親指と人差し指を合わせて音を鳴らす
親指と人差し指を近づけると鍵盤を押したように音が始まり、指を離すと止まります。判定には小さな余裕を持たせているので、境界付近で指先が自然に揺れても、同じ音が細かく再発音されにくくなっています。
- 03
動きで音程と音色を整える
手を左右へ動かすと、選んだスケール内で音程が変わります。上へ動かすとフィルターが開いて明るくなり、下へ動かすと柔らかく落ち着いた音色になります。もう一方の手を加えれば、別の操作を覚えずにハーモニー、低音、2声の長い響きを作れます。
02 / ジェスチャー操作
Webカメラの画面が、2次元の演奏スペースになります。
横方向で音程、縦方向でフィルターの明るさを選び、親指と人差し指の距離で音をオン・オフします。左右の手は同じ規則を使います。2本目の声部は別の楽器を覚えるものではなく、同じ空間にもうひとつ動く鍵盤を置く感覚です。
- X / 横方向
- 現在のスケールに含まれる音を選びます。音程はスケール内に固定されているため、大きく動いても半音の間へ迷い込まず、メロディーのまとまりを保てます。
- Y / 縦方向
- ローパスフィルターの開き具合を調整します。手を高くすると輪郭のある明るい音になり、低くすると高域が抑えられて温かく柔らかな音色になります。
- 指先の距離
- 小さなヒステリシスを使って発音と停止を切り替えます。指先がトリガー位置の近くで細かく動いても、長く伸ばした音を安定して保てます。
03 / 自分の音を作る
無数のノブではなく、演奏に役立つ選択だけを残しました。
楽器の輪郭を選びましょう。
サイン波は滑らかで軽く、三角波は少しだけ輪郭が強くなります。ノコギリ波ではフィルターの動きがはっきり聞こえ、矩形波は空洞感のあるゲーム音のような質感になります。同じエンベロープが短い音にも長く伸ばす音にも反応するため、複雑な音作りは必要ありません。
Webカメラがなくても、楽器はそのまま使えます。
マウスモードはカメラモードと同じ音域、スケール、波形、シンセエンジンを使います。ポインターを動かして位置を確かめ、押したまま音を鳴らし、ドラッグしてスケール上のメロディーをつないでください。カメラを許可する前に操作を覚える最も速い方法でもあります。
04 / カメラとプライバシー
Webカメラの映像が、サイトのデータになることはありません。
カメラへのアクセスはとても個人的に感じられるため、処理の境界を明確にしています。Gesture Synthは、ユーザーが「カメラを開始」を押した後にだけ映像を要求します。MediaPipe Hand Landmarkerがブラウザ内でフレームを解析し、手の関節位置を数値として計算します。音楽エンジンが読むのは手の位置と指先の距離であり、顔や背景を保存する必要はありません。
現在のバージョンには、アカウント、アップロード用エンドポイント、クラウド録画、隠れたカメラ保管庫はありません。録画を押すと、ブラウザがプレビュー、ダウンロード、システム共有のためのクリップを端末内で作ります。Gesture Synthはそのクリップをサーバーへ送りません。停止するかページを閉じるとカメラストリームは終了し、カメラを拒否してもマウスモードで完全なオーディオエンジンを利用できます。
- 手のトラッキングはWebAssemblyで端末内実行されます。
- 音の合成はWeb Audio APIで端末内実行されます。
- マイクの許可は要求しません。
- 画像やカメラフレームをアップロードしません。
05 / よくある質問
手をカメラに映す前に、知っておきたいこと。
Gesture Synthとは何ですか？
Gesture Synthは、Webカメラで手を追跡し、その動きを音程、フィルター、独立した2つのシンセ音声へ変える無料のブラウザ楽器です。映像効果だけを見せるフィルターではなく、手の動きで実際の音を演奏し、同じ操作を繰り返せるオーディオツールです。
テルミンと同じ楽器ですか？
同じではありません。一般的なテルミンは電磁界で手の位置を測り、音程を連続的に変化させます。Gesture SynthはWebカメラとブラウザの手のトラッキングを使い、横位置を選択中のスケールの音へ割り当てます。触れずに演奏する点は似ていますが、技術、反応、音程の扱いは異なります。
Synthesizer Vのような歌声合成ソフトですか？
いいえ。Gesture Synthは歌詞や歌声データを入力するボーカル合成ソフトではありません。Webカメラまたはマウスの動きで、その場でシンセサイザーの音程と音色を演奏するライブ楽器です。
MIDIコントローラーやソフトのインストールは必要ですか？
必要ありません。このページを開けば、Webカメラまたはマウスですぐ演奏できます。ドライバー、DAW、MIDIケーブル、専用ハードウェア、ユーザーアカウントは不要です。
Webカメラの映像はサーバーへ送られますか？
いいえ。手の関節認識はブラウザ内で端末上処理されます。Gesture Synthはカメラフレームをアップロード、保存、送信しません。音楽エンジンは指先の位置や指同士の距離など、数値化された座標だけを使います。
Webカメラなしでも演奏できますか？
はい。マウスモードでは横の動きで音程、縦の動きで明るさを調整し、マウスボタンを押すと音が鳴ります。スケール、波形、音量、シンセエンジンはカメラモードと同じです。
どのブラウザで最も安定して動きますか？
パソコン向けの最新ChromeまたはEdgeは、カメラアクセス、WebAssemblyの高速化、低遅延のWeb Audioを比較的安定して同時利用できます。SafariとFirefoxも主要APIに対応していますが、端末やバージョンによって動作が異なる場合があります。
演奏を録画して共有できますか？
はい。カメラまたはマウスモードを開始した後、最大15秒の演奏を録画し、ブラウザ内でプレビューしてダウンロードできます。端末が対応していればシステムの共有メニューも開けます。クリップは端末内で作成され、マイクは使いません。
信号の準備完了