Interactive & Playableインタラクティブ & プレイアブル · Designer & builder
Overview概要
Shout, and your voice bursts into comic-book onomatopoeia on screen — joined by QR, measured on-device, audio never leaves the phone.叫ぶと声が擬音になって画面に弾ける。QR で参加する VJ で、音声は端末から出ない。
My part担当
- Designed a voice-triggered VJ that turns shouts into on-screen onomatopoeia
- Built on-device audio measurement so no audio ever leaves the phone
- Built the QR-join Snap Pair flow and canvas rendering
Koe Baku: Shout-powered party game on the shared screen 声爆（Koe Baku）: 叫んで遊ぶパーティーゲーム
Shout into your phone, and your voice bursts into explosive comic-book onomatopoeia across the shared screen. Volume is measured entirely on-device via the Web Audio API — zero raw audio ever leaves the handset. Paired in seconds via Snap Pair QR codes. 叫ぶと、声が画面の上でマンガの擬音になって弾けます。音量はスマホの中で測っていて、音声が外に出ることはありません。QRコードをスキャンするだけで何台でも参加できる、新感覚のソーシャル音声インタラクション。
- 0
- Audio recordings leaving the phone (100% on-device peak RMS measurement) 外部送信される音声データゼロ（端末内AudioWorkletで音量のみ測定）
- <50ms
- Latency from vocal peak to on-screen typographic explosion 叫び声のピークから画面上の擬音炸裂までのレスポンス
- 10s
- Scan-to-shout join time with no app install or account QRスキャンから参加完了までの所要時間（アプリ・登録一切不要）
- ∞
- Simultaneous voices creating an explosive typographic soundscape 多人数が同時に叫んでも破綻しない分散型パーティクル物理
Private microphone, public explosion. 手元のマイクで叫び、大画面で爆発させる。
Passing a physical microphone around a room induces self-conscious stage fright. Shouting into your own personal smartphone feels intimate, low-stakes, and safe — yet the instant detonation on the giant wall turns hesitation into shared, riotous laughter. 1本のマイクを回して人前で声を出すのは心理的ハードルが高いもの。自分のスマホに向かって叫ぶ体験はプライベートで気兼ねがなく、それが大画面にドカンと現れることで、内気な人でも一瞬で熱狂の輪に巻き込まれます。
On-device RMS metering protects player privacy. オンデバイス測定によるプライバシー保護。
The Web Audio API samples sound levels locally using an AudioWorklet. Only discrete integer volume peaks and timing metadata are transmitted over Snap Pair room channels. Raw audio clips are never captured, buffered, or uploaded to any server. Web Audio APIのAnalyserNodeを用い、端末内で音量RMS値のみをローカルに抽出。ネットワークに送られるのは「いつ、どれくらいの強さで叫んだか」のメタデータのみで、生音声データは端末の外へ一切流出しません。
Manga onomatopoeia as kinetic juice. マンガの擬音を「触感のあるジュース」にする。
Shouts do not render as boring bar graphs; they detonate as dynamic comic sound effects (ドカーン, バーン, ギャー) rendered with kinetic physics, scale expansion, screen shakes, and particle decay, turning noise into tactile visual satisfaction. 音量を退屈なレベルメーターで表すのではなく、「ドカーン」「バーン」「ギャー」といった漫画の書き文字として撃ち出す。タイポグラフィのスケール拡大、画面の揺れ、煙や火花の減衰物理が、声を出す行為に最高の快感を与えます。
Where it belongs 想定される体験シーン
- Party game & icebreaker:パーティーや懇親会のアイスブレイク: Instant crowd energy without controllers, app downloads, or rule explanations. Everyone pulls out their phone and joins. 説明書もコントローラーもアプリインストールも不要。全員が手持ちのスマホをかざすだけで、一気に場の熱量が上がります。
- Interactive concert & VJ stage:ライブステージ・VJとの連動: Audience cheering directly fuels visual stage dynamics, transforming spectator noise into live generative concert graphics. 観客の歓声やコールがリアルタイムにステージ背後のビジュアル演出へと変換され、フロアと演者が一体になる音響体験。
- Classroom & youth workshops:学校・教育現場での声出しワークショップ: High-energy collective participation that ensures 100% audio privacy for children and students in educational settings. 音声録音を行わない厳格なオンデバイス設計により、子どもや教育現場でもプライバシー懸念なく安全に身体表現を楽しめます。
My Contribution 担当領域
- Conceived voice-to-onomatopoeia interaction mechanics and audio-visual reward loops音声から擬音への変換インタラクションおよびゲームフィールの設計
- Built on-device Web Audio RMS peak detection and privacy-first local processingWeb Audio APIによるオンデバイス音量解析とプライバシー保護アーキテクチャの実装
- Engineered Snap Pair multi-phone sync and HTML5 Canvas kinetic particle renderingSnap Pairによるマルチデバイス同期およびCanvas上の動的タイポグラフィ物理演算
Ecosystem エコシステムにおける位置づけ
- A key experiment in the Playable collection exploring non-keyboard bodily inputキーボード以外の身体入力を探求するPlayableコレクションの中核作品
- Reference implementation for Snap Pair multi-device low-latency audio signalingSnap Pairライブラリを活用したリアルタイム多人数参加型デモの実装例