Zapisovat do ALTO, že je textový popisek generovaný AI (a jakou)

[kerschfilip]

Do ATLO by se mělo zapisovat, že popisek je generovaný AI, ideálně i použitá služba a model

Zvažované možnosti ze schůzky 16.1.2026:

• přidat do hlavičky alto konfiguraci annopage nebo nějaké její označení, aby se daly informace dohledat
• využít <mods:recordInfoNote type="model">xxxx</mods:recordInfoNote>

[daliboris]

Aktuální návrh zachycení informací o zpracování ALTO:

1. ukázka metadat k jedné rozpoznané straně:

<Processing ID="OCR_1">
   <processingAgency>NK CZ</processingAgency>
   <processingSoftware>
      <softwareCreator>Project PERO</softwareCreator>
      <softwareName>PERO OCR</softwareName>
      <softwareVersion>v0.1.0</softwareVersion>
   </processingSoftware>
</Processing>

2. ukázka metadat k identifikovanému nextovému objektu

<mods:recordInfo>
    <mods:recordCreationDate>2024-10-21T18:31:43</mods:recordCreationDate>
    <mods:recordContentSource>Orbis Pictus</mods:recordContentSource>
    <mods:descriptionStandard>StandardNDK</mods:descriptionStandard>
    <mods:recordOrigin>machine-generated</mods:recordOrigin>
    <mods:recordInfoNote type="confidence">0.879</mods:recordInfoNote>
    <mods:recordIdentifier source="orbis-pictus">uuid:e41b380b-e1f9-457b-a4c8-50db9a06329a</mods:recordIdentifier>
    <mods:languageOfCataloging>
        <mods:languageTerm authority="iso639-2b">eng</mods:languageTerm>
        <mods:languageTerm authority="iso639-2b">cze</mods:languageTerm>
    </mods:languageOfCataloging>
</mods:recordInfo>

Pro potřeby zpracování metadat z AnnoPage navhuju rozšířit o následující

<Processing ID="OCR_1">
   <processingAgency>NK CZ</processingAgency>
   <processingSoftware>
      <softwareCreator>Project PERO</softwareCreator>
      <softwareName>PERO OCR</softwareName>
      <softwareVersion>v0.1.0</softwareVersion>
   </processingSoftware>
</Processing>

<!-- informace o zpracování pomocí AnnoPage -->
<Processing ID="OCR_2">
   <processingAgency>NK CZ</processingAgency>
   <processingSoftware>
      <softwareCreator>ČVUT</softwareCreator>
      <softwareName>AnnoPage</softwareName>
      <softwareVersion>v2.1.2</softwareVersion>
   </processingSoftware>
</Processing>

<mods:recordInfo>
    <mods:recordCreationDate>2024-10-21T18:31:43</mods:recordCreationDate>
    <mods:recordContentSource>Orbis Pictus</mods:recordContentSource> <!-- AnnoPage ? -->
    <mods:descriptionStandard>StandardNDK</mods:descriptionStandard>
    <mods:recordOrigin>machine-generated</mods:recordOrigin>
    <mods:recordInfoNote type="confidence">0.879</mods:recordInfoNote>
    <mods:recordInfoNote type="model">anno-page-objects-3.0</mods:recordInfoNote> <!-- identifikace použitého modelu pro rozpoznání netextových objektů -->
    <mods:recordInfoNote type="topics-model">anno-page-topics-2.2</mods:recordInfoNote> <!-- identifikace použitého modelu pro identifikaci klíčových slov -->
    <mods:recordIdentifier source="orbis-pictus">uuid:e41b380b-e1f9-457b-a4c8-50db9a06329a</mods:recordIdentifier>
    <mods:languageOfCataloging>
        <mods:languageTerm authority="iso639-2b">eng</mods:languageTerm>
        <mods:languageTerm authority="iso639-2b">cze</mods:languageTerm>
    </mods:languageOfCataloging>
</mods:recordInfo>

Netextové prvky bude identifikovat PeroOCR, nebo AnnoPage?

Je to takto dostatečné a možné?

[ikiss-fit]

Za mě je ta varianta s mods:recordInfoNote OK. Do té hlavičky mi to nepřijde vhodné, protože se míchá dohromady informace o tom, jaký software vyrobil ALTO, s informací o použitých modelech/službách.

Netextové prvky bude detekovat AnnoPage. Momentálně je to tak, že věci týkající se rozpoznání textu dělá PERO-OCR a veškeré věci ohledně netextových elementů dělá AnnoPage.

[daliboris]

Jenom aby bylo jasno: podle mě by záznam typu

<Processing ID="OCR_2">
   <processingAgency>NK CZ</processingAgency>
   <processingSoftware>
      <softwareCreator>ČVUT</softwareCreator>
      <softwareName>AnnoPage</softwareName>
      <softwareVersion>v2.1.2</softwareVersion>
   </processingSoftware>
</Processing>

měl v hlavičce ALTO určitě být (je tam verze softwaru, nikoli modelu), protože AnnoPage bude ALTO modifikovat: kromě vkládání nových elementů <StructureTag>, <LayoutTag> nebo <OtherTag> v hlavičce bude taky modifikovat elementy typu <TextBlock> nebo <String> a vkládat tam atribut @TAGREFS s odkazem na elementy <StructureTag> apod.

[ikiss-fit]

Jasně, ta hlavička tam je a v současné chvíli vypadá takto:

    <Processing ID="AnnoPage">
      <processingDateTime>2026-01-19T11:47:31.779544</processingDateTime>
      <processingSoftware>
        <softwareCreator>Orbis Pictus</softwareCreator>
        <softwareName>AnnoPage</softwareName>
        <softwareVersion>0.0.1</softwareVersion>
      </processingSoftware>
    </Processing>

Samozřejmě, pokud mají ty elementy mít jiný obsah, tak se na něm určitě můžeme domluvit. Tyto hodnoty jsem tam dal pro tuto chvíli.

[daliboris]

Opět (si) v tom chci udělat jasno. Postup tvorby finálního ALTO bude následující:

• software pro OCR vytvoří dokument ALTO (může to být PERO-OCR, ale i FineReader apod.)
  • v rámci rozpoznání se identifikuje text, ale i další netextové části, např. obrázky (obecně, nikoli ve smyslu metodiky Orbis Pictus)
  • software pro OCR v ALTO použije element <Processing ID="OCR_1"> s údaji o sobě jako tvůrci dokumentu
• vytvořené ALTO dostane na vstupu program AnnoPage, který provede podrobnou identifikaci a anotaci netextových elementů
  • v rámci rozpoznání se přetvoří původní ALTO do nové podoby (přibudou nové elementy, změní se obsah některých elementů <String>)
  • software pro OCR v ALTO použije element <Processing ID="AnnoPage"> s údaji o sobě jako dalším tvůrci dokumentu

[daliboris]

Samozřejmě, pokud mají ty elementy mít jiný obsah, tak se na něm určitě můžeme domluvit. Tyto hodnoty jsem tam dal pro tuto chvíli.

Z GitHubu není poznat, kdo je tvůrcem AnnoPage (v licenci zůstávají formulace Copyright (C) <year> <name of author> a <program> Copyright (C) <year> <name of author>), takže nedokážu říct, co má být uvedeno v jednotlivých elementech. Záleží na tom, jak se domluví tvůrci AnnoPage.

Předpokládám, že nyní se údaje berou odsud. Pokud to odpovídá pravdě (a např. verze se průběžně aktualizuje), tak klidně.

[ikiss-fit]

Do AnnoPage jsem přidal ukládání informace o tom, jakým modelem byl daný element zpracovaný. Momentálně je výstup udělaný tak, jak je v ukázce výše:

    <mods:recordInfoNote type="confidence">0.879</mods:recordInfoNote>
    <mods:recordInfoNote type="model">anno-page-objects-3.0</mods:recordInfoNote>
    <mods:recordInfoNote type="topics-model">anno-page-topics-2.2</mods:recordInfoNote> 

Mám s tímto trochu problém v momentě, když chci ty informace z ALTO načíst. V implementovaném modelu dat rozlišuji mezi jistotou a informacemi o použitých modelech. Tím, že jsou všechny tyto informace v recordInfoNote a jediným rozlišením je atribut type, tak bych je musel podle toho obsahu rozlišovat, což není ideální, pokud by se v budoucnu zapisovaly do stejného elementu ještě další informace. Nebylo by možné tam ještě přidat nějaký další atribut, který by určoval, jestli se daný element vztahuje k použitým modelům (tzn. do jaké skupiny element recordInfoNote patří)? Za mě by bylo nejlepší, pokud by se dalo použít něco podobného, jako je například u popisů atribut altRepGroup. V nejhorším případě to opravdu můžu rozlišovat třeba tím, že obsah type obsahuje řetězec model, ale jak jsem psal - nepřijde mi to ideální, hlavně z pohledu rozšířitelnosti.

[ikiss-fit]

Mám ještě jeden dopňující dotaz: v případě, kdy mám obrázek a identifikovaný jeho popisek přímo na stránce (tzn. v ALTO by to byl LayoutTag pro samotný obrázek a připojený StructureTag pro popisek), stačí zapsat všechny použité AI modely do LayoutTag, nebo se modely použité pro identifikaci popisku mají zapisovat až do StructureTag? Jinak řečeno: stačí zapsat všechny použité modely do odpovídajícího LayoutTag, nebo se se mají příslušné modely zapsat do specifických tagů (StructureTag, OtherTag)?