Skip to content

About

No description, website, or topics provided.

Resources

Stars

0 stars

Watchers

0 watching

Forks

Repository files navigation

Recorder

AppFunctions のデモ用に作った、録音して文字起こしするアプリです。実際の録音も音声認識もしません。 UI と、録音・文字起こしのデータを保持する仕組みだけが入っています。

画面

三画面構成です。

画面 内容
一覧画面(RecordingListScreen) 録音ボタンと、録音済みの一覧。各行に文字起こしの冒頭 2 行を出す
録音画面(RecordingScreen) 録音中だけ表示する。経過時間と、停止/破棄
文字起こし画面(TranscriptScreen) 録音 1 件の全文と、日時・長さ。削除もここから

録音ボタンを押すと録音画面へ切り替わります。「停止して保存」を押すと文字起こしが付いて一覧に追加され、そのままその録音の文字起こし画面が開きます。「破棄」と端末の戻るは、保存せずに一覧へ戻ります。

画面が少ないので、遷移は Navigation ライブラリを使わず state で決めています。

文字起こしについて

音声認識は実装していません。録音を停止したタイミングで、TranscriptSamples に用意した 20 種類の文面からランダムに 1 つ割り当てています。

構成

app/src/main/kotlin/com/uphyca/recorder/
  MainActivity.kt              2 画面の出し分け
  data/Recording.kt            録音 1 件と、その文字起こし
  data/RecordingRepository.kt  メモリ上の保管庫(object)
  data/TranscriptSamples.kt    文字起こしの代わりに割り当てる 20 種類の文面
  ui/RecordingListScreen.kt    一覧画面
  ui/RecordingScreen.kt        録音画面
  ui/TranscriptScreen.kt       文字起こし画面
  ui/Theme.kt                  Material 3 のテーマ
  ui/Format.kt                 経過時間と日時の整形
  appfunctions/
    BaseRecorderAppFunctionService.kt  AI エージェントに公開する関数
    RecordingModels.kt                 関数の引数と戻り値

RecordingRepository は object にしてあります。AppFunctions のサービスと UI に同じインスタンスを見せるためです。同じプロセスなので、片方の変更がもう片方にそのまま反映されます。

永続化はしません。プロセスが死ぬと消えます。起動時にサンプルの録音が 3 件入っています。

ビルドと実行

./gradlew :app:assembleDebug
adb install -r app/build/outputs/apk/debug/app-debug.apk
adb shell am start -n com.uphyca.recorder/.MainActivity

compileSdk / targetSdk は 37、minSdk は 26 です。

AppFunctions

androidx.appfunctions:appfunctions:1.0.0-beta01 を使い、次の 2 つを AI エージェントに公開しています。

関数 内容
listRecordings 録音の一覧を新しい順に返す。limit で件数を絞れる。各件に文字起こしの文字数を含む
getRecording 識別子を指定して録音 1 件の詳細(名前・録音日時・長さ・文字起こし全文)を返す

listRecordings が返すのは文字起こしの文字数(transcriptLength)だけで、本文は含めません。一覧の応答が大きくなりすぎないようにし、内容が必要なときだけ getRecording を呼ばせる想定です。その使い分けは res/xml/app_metadata.xml のアプリ説明に書いてあります。

文字数は改行も含めた文字数で、サロゲートペアを 1 文字として数えるため String.length ではなく codePointCount を使っています。

実装は appfunctions/BaseRecorderAppFunctionService.kt と appfunctions/RecordingModels.kt です。KSP が具象クラス RecorderAppFunctionService と assets/recorder_app_function_service.xml を生成します。関数と引数の説明は KDoc がそのまま 生成物に入ります。

依存とビルド設定

implementation("androidx.appfunctions:appfunctions:1.0.0-beta01")
ksp("androidx.appfunctions:appfunctions-compiler:1.0.0-beta01")

これだけです。appfunctions-service は足しません(alpha09 で配信が止まっている)。ksp { arg("appfunctions:aggregateAppFunctions", "true") } も設定していませんが、生成物は出ますし動きます。

マニフェスト

生成される service はライブラリからマージされないので自分で書きます。android.app.appfunctions.schema プロパティが無いと、インストールしても関数がインデックスされません(list-app-functions に出てこない)。実際に外して確認しました。

プロパティ 必要か
android.app.appfunctions.schema → app_functions_schema.xsd 必須。 無いと登録されない
android.app.appfunctions.v2 → 生成 XML のファイル名 必須
android.app.appfunctions.app_metadata(application 直下) 任意。アプリ全体の説明

android:permission="android.permission.BIND_APP_FUNCTION_SERVICE" は外さないこと。exported="true" と並んでいるので消したくなりますが、これが繋げる相手を OS に限っています。

公式ドキュメントとの食い違い

ドキュメントは alpha10 前提のままで、そのとおりに書くとビルドが通りません。 実際に必要だった読み替えです。

ドキュメント beta01
@AppFunction @AppFunctionDeclaration(alpha13 でリネーム)
@AppFunctionSerializable(引数省略可) isDescribedByKDoc の明示が必須(beta01 でデフォルト値を削除)
appfn:description(app_metadata) appfn:instructions(beta01 でリネーム。MCP の命名に合わせたもの)

AppFunction という名前は消えておらず、alpha13 から実装インターフェースの名前になっています。そのため @AppFunction を付けたままでも未解決シンボルにならず、KSP が Class must have at least one AppFunction という的外れなエラーを出します。

引数のデフォルト値は効かない

@AppFunctionSerializable のデータクラスに Kotlin のデフォルト値を書いても、実行時には使われません。 引数を省略すると Int なら 0 が渡ってきます。「指定なし」を区別したい引数は nullable にして、コード側で既定値を当てる必要があります。

data class ListRecordingsParams(val limit: Int? = null)

動作確認

# 登録されたか
adb shell cmd app_function list-app-functions

# 一覧を取る
adb shell "cmd app_function execute-app-function \
  --package com.uphyca.recorder \
  --function 'com.uphyca.recorder.appfunctions.BaseRecorderAppFunctionService#listRecordings' \
  --parameters '{\"params\": {\"limit\": 2}}' --brief-yaml"

# 詳細を取る
adb shell "cmd app_function execute-app-function \
  --package com.uphyca.recorder \
  --function 'com.uphyca.recorder.appfunctions.BaseRecorderAppFunctionService#getRecording' \
  --parameters '{\"params\": {\"recordingId\": \"rec-seed-2\"}}' --brief-yaml"

RecordingRepository を object にしてあるので、アプリ側で録音するとその場で listRecordings の結果に出てきます。

エミュレータでの検証

Android 16.1(API 36.1)のシステムイメージが必要です。 API 36.0 のイメージは app_function システムサービス自体は持っていて cmd -l にも名前が並びますが、adb shell cmd app_function が No shell command implementation を返すため検証に使えません。

sdkmanager "system-images;android-36.1;google_apis_playstore;arm64-v8a"
avdmanager create avd -n AF_Test_361 \
  -k "system-images;android-36.1;google_apis_playstore;arm64-v8a" -d pixel_7

なお androidx.appfunctions 自体は API 36 以上が対象です(AppFunctionService が @RequiresApi(36))。

About

No description, website, or topics provided.

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages