日立は、快適な音環境づくりをめざし、3次元音響伝播モデルに基づいて新たに設計した27chマイクロホンアレイを用いて現場の音環境を収録し、HMD (Head Mounted Display)やマルチチャンネルスピーカなどで高臨場に再生する技術を開発しました。さらに本技術では、収録/再生に加えて、音の到来方向や強さを解析して可視化することができるため、音情報を360度カメラで撮影した全方位映像に重ねることで、どの場所から音が発生しているかなどの現場の状況を視聴覚的に体感することが可能です。今後、本技術と音響シミュレーションを組み合わせた音環境設計技術の開発を進め、都市空間や居住空間などに適用していくことで、例えば、相手の声が聞き取りやすく人とのコミュニケーションが取りやすいといった、人にやさしい快適な生活空間づくりに貢献していきます。

画像: 動画　現場の音環境を視聴覚的に体感できる技術(解説) youtu.be — 動画　現場の音環境を視聴覚的に体感できる技術(解説)
youtu.be

360度動画デモはこちら

画像: 快適な音環境づくりをめざし、現場の音環境を視聴覚的に体感できる技術を開発

背景および取り組んだ課題

「音」は人のコミュニケーション手段の一つであるため、都市空間や居住空間においては、「聞き取りやすさ」や「静かさ」など音環境づくりは重要
音環境づくりを進める上での一般的な評価指標は音圧(音の大きさ)であるが、音圧以外にも、音の到来方向や周囲からの反響などが人が感じる快適さに影響を与えると言われている*1快適な音環境設計に人の主観を取り入れるために、現場の音を高い臨場感で収録・再生する技術に加え、音の到来方向や強さなどの情報を可視化して、視聴覚的に体感する技術が必要

開発した技術

高臨場音響の体験が可能な音環境の収録、再生技術
音環境の物理的な理解を深める音の解析および可視化技術

確認した効果

鉄道車両の車内やプラットフォームなどの音環境を収録し、HMDやマルチチャンネルスピーカなどで再生することで、まるでその場にいるかのような音環境を体験できます。
鉄道車両の主要な音源であるエンジンの位置を、音の到来方向や強さの情報を用いて可視化することで、音環境に存在する音の情報を視覚的に理解することができます。

発表する論文、学会、イベントなど

本成果は2020年8月17日～8月19日にオンライン開催された2020 AES International Conference on Audio for Virtual and Augmented Realityで発表。(タイトル：Tesseral Array for Group Based Spatial Audio Capture and Synthesis)。

謝辞

本成果は、東京藝術大学の亀川徹教授、丸井淳史教授との共同研究により得られたものです。また、ひたちなか海浜鉄道株式会社殿のご協力により、鉄道車両の車内やプラットフォームの音環境を収録しました。

開発した技術の詳細

1. 高臨場感音響の体験が可能な音環境の収録、再生技術

従来、音環境の設計のためには、音の到来方向に対して指向性を持たない全指向性マイクロホン(サウンドレベルメータ)で計測される音圧レベルを評価指標の1つとしていました。しかし、ヒトは指向性を持つ2つの耳で全方位から到来する音を聴取するため、音圧レベルと主観的な音環境の印象が異なるという課題がありました*1。本技術では、ヒトを中心とした3次元の音響伝播モデル*2に基づいて決定した、等軸晶系*3の幾何学配置を持つ26チャンネルの指向性マイクロホンアレイと、アレイ中心に備えられた1チャンネルの全指向性マイクロホンを用いることで、全方位から到来する音を収録する技術を初めて開発しました。これにより、収録した27チャンネルの音をマイクロホンアレイに相似の26.1マルチチャンネルスピーカ*4で直接再生したり、2チャンネルの音に変換してヘッドホンで再生したりすることで、まるでその場にいるかのような高臨場感音響を体験できるようになります。さらに、360度カメラを使って映像も収録することで、遠隔地の音環境を、視覚的情報も含んだ形で主観的に評価できるようになりました。

2. 音環境の物理的な理解を深める音の解析および可視化技術

快適な音環境の実現に向けた施策を講じるためには、音の到来方向や強さなどの音の情報を理解することが不可欠です。しかし、音は目に見えるものではないため、相当に熟練した音の技術者による分析が必要でした。そこで、音の物理的な情報の理解をより簡単に行うため、収録した27チャンネルの音を分析して、音の到来方向と強さを解析し、可視化する技術を開発しました。本技術は、まず、等軸晶系の幾何学配置を持つ指向性マイクロホンアレイが球面状であることを利用して、複数の球面調和関数*5を用いて収録した音を再構成します。つぎに、それぞれの球面調和関数を重み付けし、特定の方向からの音の強さを求める鋭い指向性を構成します。そして、その指向性の方向を変化させて、全方位をスキャンすることで、音の強さを方向別に分解します。このようにして得られた音の強さの大小をカラーマップとして可視化するとともに、収録した360度映像に重ね合わることで、全方位の音の可視化を実現します。これにより、聴覚的な高臨場感音響の体感に加えて、音の到来方向や強さといった情報を視覚的に明らかにして、音環境に存在する音の物理的な情報が容易に理解できるようになりました。

*1　山内源太, 尾本章, “音の到来方向を考慮したラウドネス補正の適用に向けた基礎検討”, 日本音響学会誌 Vol.75, No.5 (2019), pp. 258-260.
*2　Tanabe, Y., et al., "Tesseral Array for Group Based Spatial Audio Capture and Synthesis", Audio Engineering Society Conference：2020 AES
　　International Conference on Audio for Virtual and Augmented Reality. Audio Engineering Society (2020), Paper 2-7.
*3　等軸晶系：結晶系の一つで対称性が最も高いことで知られている。立方晶系とも呼ばれる。
*4　26.1マルチチャンネルスピーカ：等軸晶系の幾何学配置に基づいた26チャンネルのスピーカ(頭上1チャンネル、トップ層8チャンネル、
　　ミドル層8チャンネル、ボトム層8チャンネル、足元1チャンネル)に、低周波再生用途の1チャンネルのスピーカを加えた、26.1チャンネルで構成された、
　　日立独自のマルチチャンネルスピーカシステム。
*5　球面調和関数：球面上での空間的な音圧分布を表すことができる関数。