AppFunctions のデモ用に作った、録音して文字起こしするアプリです。実際の録音も音声認識もしません。 UI と、録音・文字起こしのデータを保持する仕組みだけが入っています。
三画面構成です。
| 画面 | 内容 |
|---|---|
一覧画面(RecordingListScreen) |
録音ボタンと、録音済みの一覧。各行に文字起こしの冒頭 2 行を出す |
録音画面(RecordingScreen) |
録音中だけ表示する。経過時間と、停止/破棄 |
文字起こし画面(TranscriptScreen) |
録音 1 件の全文と、日時・長さ。削除もここから |
録音ボタンを押すと録音画面へ切り替わります。「停止して保存」を押すと文字起こしが付いて一覧に追加され、そのままその録音の文字起こし画面が開きます。「破棄」と端末の戻るは、保存せずに一覧へ戻ります。
画面が少ないので、遷移は Navigation ライブラリを使わず state で決めています。
音声認識は実装していません。録音を停止したタイミングで、TranscriptSamples に用意した 20 種類の文面からランダムに 1 つ割り当てています。
app/src/main/kotlin/com/uphyca/recorder/
MainActivity.kt 2 画面の出し分け
data/Recording.kt 録音 1 件と、その文字起こし
data/RecordingRepository.kt メモリ上の保管庫(object)
data/TranscriptSamples.kt 文字起こしの代わりに割り当てる 20 種類の文面
ui/RecordingListScreen.kt 一覧画面
ui/RecordingScreen.kt 録音画面
ui/TranscriptScreen.kt 文字起こし画面
ui/Theme.kt Material 3 のテーマ
ui/Format.kt 経過時間と日時の整形
appfunctions/
BaseRecorderAppFunctionService.kt AI エージェントに公開する関数
RecordingModels.kt 関数の引数と戻り値
RecordingRepository は object にしてあります。AppFunctions のサービスと UI に同じインスタンスを見せるためです。同じプロセスなので、片方の変更がもう片方にそのまま反映されます。
永続化はしません。プロセスが死ぬと消えます。起動時にサンプルの録音が 3 件入っています。
./gradlew :app:assembleDebug
adb install -r app/build/outputs/apk/debug/app-debug.apk
adb shell am start -n com.uphyca.recorder/.MainActivitycompileSdk / targetSdk は 37、minSdk は 26 です。
androidx.appfunctions:appfunctions:1.0.0-beta01 を使い、次の 2 つを AI エージェントに公開しています。
| 関数 | 内容 |
|---|---|
listRecordings |
録音の一覧を新しい順に返す。limit で件数を絞れる。各件に文字起こしの文字数を含む |
getRecording |
識別子を指定して録音 1 件の詳細(名前・録音日時・長さ・文字起こし全文)を返す |
listRecordings が返すのは文字起こしの文字数(transcriptLength)だけで、本文は含めません。一覧の応答が大きくなりすぎないようにし、内容が必要なときだけ getRecording を呼ばせる想定です。その使い分けは res/xml/app_metadata.xml のアプリ説明に書いてあります。
文字数は改行も含めた文字数で、サロゲートペアを 1 文字として数えるため String.length ではなく codePointCount を使っています。
実装は appfunctions/BaseRecorderAppFunctionService.kt と appfunctions/RecordingModels.kt です。KSP が具象クラス RecorderAppFunctionService と assets/recorder_app_function_service.xml を生成します。関数と引数の説明は KDoc がそのまま 生成物に入ります。
implementation("androidx.appfunctions:appfunctions:1.0.0-beta01")
ksp("androidx.appfunctions:appfunctions-compiler:1.0.0-beta01")これだけです。appfunctions-service は足しません(alpha09 で配信が止まっている)。ksp { arg("appfunctions:aggregateAppFunctions", "true") } も設定していませんが、生成物は出ますし動きます。
生成される service はライブラリからマージされないので自分で書きます。android.app.appfunctions.schema プロパティが無いと、インストールしても関数がインデックスされません(list-app-functions に出てこない)。実際に外して確認しました。
| プロパティ | 必要か |
|---|---|
android.app.appfunctions.schema → app_functions_schema.xsd |
必須。 無いと登録されない |
android.app.appfunctions.v2 → 生成 XML のファイル名 |
必須 |
android.app.appfunctions.app_metadata(application 直下) |
任意。アプリ全体の説明 |
android:permission="android.permission.BIND_APP_FUNCTION_SERVICE" は外さないこと。exported="true" と並んでいるので消したくなりますが、これが繋げる相手を OS に限っています。
ドキュメントは alpha10 前提のままで、そのとおりに書くとビルドが通りません。 実際に必要だった読み替えです。
| ドキュメント | beta01 |
|---|---|
@AppFunction |
@AppFunctionDeclaration(alpha13 でリネーム) |
@AppFunctionSerializable(引数省略可) |
isDescribedByKDoc の明示が必須(beta01 でデフォルト値を削除) |
appfn:description(app_metadata) |
appfn:instructions(beta01 でリネーム。MCP の命名に合わせたもの) |
AppFunction という名前は消えておらず、alpha13 から実装インターフェースの名前になっています。そのため @AppFunction を付けたままでも未解決シンボルにならず、KSP が Class must have at least one AppFunction という的外れなエラーを出します。
@AppFunctionSerializable のデータクラスに Kotlin のデフォルト値を書いても、実行時には使われません。 引数を省略すると Int なら 0 が渡ってきます。「指定なし」を区別したい引数は nullable にして、コード側で既定値を当てる必要があります。
data class ListRecordingsParams(val limit: Int? = null)# 登録されたか
adb shell cmd app_function list-app-functions
# 一覧を取る
adb shell "cmd app_function execute-app-function \
--package com.uphyca.recorder \
--function 'com.uphyca.recorder.appfunctions.BaseRecorderAppFunctionService#listRecordings' \
--parameters '{\"params\": {\"limit\": 2}}' --brief-yaml"
# 詳細を取る
adb shell "cmd app_function execute-app-function \
--package com.uphyca.recorder \
--function 'com.uphyca.recorder.appfunctions.BaseRecorderAppFunctionService#getRecording' \
--parameters '{\"params\": {\"recordingId\": \"rec-seed-2\"}}' --brief-yaml"RecordingRepository を object にしてあるので、アプリ側で録音するとその場で listRecordings の結果に出てきます。
Android 16.1(API 36.1)のシステムイメージが必要です。 API 36.0 のイメージは app_function システムサービス自体は持っていて cmd -l にも名前が並びますが、adb shell cmd app_function が No shell command implementation を返すため検証に使えません。
sdkmanager "system-images;android-36.1;google_apis_playstore;arm64-v8a"
avdmanager create avd -n AF_Test_361 \
-k "system-images;android-36.1;google_apis_playstore;arm64-v8a" -d pixel_7なお androidx.appfunctions 自体は API 36 以上が対象です(AppFunctionService が @RequiresApi(36))。