読者です 読者をやめる 読者になる 読者になる

fresh digitable

セミコロンたちが躍動する おいらのコードを 皆さんに 見せたいね

ExoPlayerのAudioProcessorで頭外音像定位するオーディオプレイヤーを作っている

Androidのメディア再生のためのライブラリであるExoPlayerには、PCMになった音データを受け取って処理できるようにするAudioProcessorというインタフェースがある。これを実装したクラスのインスタンスを、プレーヤーインスタンスを作る時にいい感じに渡してやることでいろんな効果を掛けることができる。これを使って頭外音像定位を実現するオーディオプレイヤーを作っている。

github.com

主に頭外音像定位のデモ用に自分で使うために作ったものであるが、クローンしてビルドしたりその他ごにょごにょすることで手元の環境でも使うことができると思う*1。音量調整に難があり、たまにプチプチ鳴ることがある。手元の開発環境はNexus5X(7.1.2)なのだが、これより動作の遅い端末では再生が難しいかもしれない。

頭外音像定位の原理などについては過去に触れたことがある。

akihito104.hatenablog.com

このアプリではいわゆるステレオ配置のスピーカシステム*2で音楽を聴く状況を再現しようとしている。イヤホンで音楽を聴いているのに、目の前にスピーカーが2つ置いてあってそこから音が聞こえるように感じたらいいな、ということである(弱気)。

デモでは普段イヤホンで音楽を聴くときの聴こえ方(頭内定位)と頭外定位の聴こえ方とを対比して体験してみてほしいので、効果を掛けるかどうかをスイッチで切り替えられるようにしている。

もし体験してみたいという方がいらっしゃれば、リポジトリのソースをビルドしたりその他ごにょごにょしていただいて手元の環境でお試しいただくか、リアルの私を捕まえてください。ちなみに私が持っている音源はアニソンか鼓童です。

*1:この記事を書いている途中で外部ストレージ読み取り権限をもらう処理を全然実装していないことに気がついたりした(小声)

*2:受聴者の正面から左右それぞれ30度(または45度)の位置にスピーカを置いて音を再生するシステム。このアプリでは30度。

VideoViewとその周辺のコードを読んだり調査した #m_android_fcr

今作っているツイッタークライアントが、N(Android 7.0)になった辺りからContextをリークさせるようになってしまったのでいろいろと調査した。

コードーディング会にもお邪魔して集中して取り組んだ。主催者の@operandoOSさん、会場を提供してくださったメルカリさん、ありがとうございました。

mandroidfcr.connpass.com

背景

このあたり

UdonRoad/MediaViewActivity.java at master · akihito104/UdonRoad · GitHub
UdonRoad/VideoMediaFragment.java at master · akihito104/UdonRoad · GitHub

MediaViewActivityViewPagerを持っており、FragmentPagerAdapterを通して動画を再生するためのViewMediaFragementViewPagerにセットする*1ViewMediaFragmentではlayout resourceからViewGroupをinflateしているのだが、ここでinflateしたVideoViewからContextが漏れている様子。leakcanaryのスタックトレースは次の通り。

* GC ROOT android.media.PlayerBase$1.this$0 (anonymous subclass of com.android.internal.app.IAppOpsCallback$Stub)
* references android.media.MediaPlayer.mSubtitleController
* references android.media.SubtitleController.mAnchor
* references android.widget.VideoView.mContext
* leaks com.freshdigitable.udonroad.MediaViewActivity instance
* Retaining: 59KB.

コードを読んで調べたこと

次の順で追いかけると、スタックトレースの3段目にあるSubtitleController.mAnchorVideoView自身であるということがわかる。

Cross Reference: /frameworks/base/core/java/android/widget/VideoView.java
=> Cross Reference: /frameworks/base/media/java/android/media/MediaPlayer.java
=> Cross Reference: /frameworks/base/media/java/android/media/SubtitleController.java

スタックトレースの一番上のやつはPlayerBaseのコンストラクタの中でAppOpsServiceにセットされているのだが、

Cross Reference: /frameworks/base/media/java/android/media/PlayerBase.java

リソースをリリースする時にこれがなぜか解放されないためにリークしているのではないか、と理解した。

Cross Reference: /frameworks/base/media/java/android/media/PlayerBase.java

PlayerBaseはNで追加されたクラスであるようす。

github.com

ぐぐったこと

同じようなリークの現象で困っている人がいたのだが、ButterKnifeのUnbinder.unbind()をしていないからだと指摘されており、これを適用していい感じになったよありがとう!というやりとりで閉じられている。

stackoverflow.com

ここにきて、僕が気づいていないだけで、僕も同じように参照をうまく解放できていないんじゃないかと思い始めてしまいふりだしへ。

その他のVideoView情報

M(Android 6.0)より前のVideoViewAudioManagerContextを掴んで離さない(強参照している)ためにリークする。応急処置のワークアラウンドとしてつぎのようなコードが紹介されている。

Fixes a leak caused by AudioManager using an Activity context, see https://github.com/square/leakcanary/issues/205 · GitHub

Mの間だけは平穏だった様子。

ちなみに7.0以前のコードにもお茶目があったようで、これは7.1で修正された*2。issue trackerをみればわかることだが気が向いた人は探してみてほしい。

まとめ

SurfaceView + ExoPlayerで君だけのVideoViewを作ろう。根本的によくないコードを書いているんじゃないかという気もしていて、単に取り替えただけでは勉強にならないのでもう少し取り組むことにする。何か分かったら続きを書くかもしれない。

*1:この辺がそもそもセンス無いという気もする

*2:これで漏れないのがよくわからない

ViewAnimationUtils.createCircularReveal()にはアニメーションさせたいviewの左上を基準にした座標を渡す

ViewAnimationUtils.createCircularReveal()はcircular reveal animatorのオブジェクトを作成するためのユーティリティクラスで、 API Level 21(Lollipop)で追加された。

ViewAnimationUtils | Android Developers

アニメーションさせたいviewと、円の中心座標、円の最初の半径と最後の半径を渡す。Android公式のチュートリアル(日本語) には

// get the center for the clipping circle
int cx = (myView.getLeft() + myView.getRight()) / 2;
int cy = (myView.getTop() + myView.getBottom()) / 2;

というように親viewの左上を基準にした座標で円の中心(この例ではたまたまmyViewの中心をアニメーションの円の中心としている)を決めているが、これで良かったのはAPI Level 22までのようで、23(Marshmallow)からは

int cx = myView.getWidth() / 2;
int cy = myView.getHeight() / 2;

というようにアニメーションさせたいviewの左上を基準にした円の中心座標を渡さなければならない。ちなみに英語版のチュートリアルこのコミット で修正されたようだが、その他の言語のチュートリアルはそのままになっている様子。