Přidat atrbut TC do ALTO 5.0

[daliboris]

Návrh na rozšíření standardu ALTO

Textace návrhu (zatím v češtině) na nový atribut v další verzi standardu ALTO. Bude se týkat spíše PeopleGatoru, ale ten ještě nejspíš pod LIBCAS nemá repozitář. Tematicky blízký návrh se týká atributů CC, WC a PC.

Add TC attribute (Tag Confidence)

Při postprocessingu dokumentů ALTO je možné pomocí LLM identifikovat pojmenované entity a zachytit je pomocí elementu <NamedEntityTag>. Tyto nástoje dokážou také vypočítat, s jakou mírou jistoty se tato identifikace povedla, obvykle na škále 0–100 procent, popř. 0,0–1,0.

Zároveň může nastávat situace, kdy určení entity nemusí být jednoznačné, např. při výskytu jména Grimm nebo označení bratr se může jednat podle kontextu o Jacoba Grimma, nebo Wilhelma Grimma.

Pro zachycení vztahu mezi pojmenovanou entitou a jejím výskytem v textu se používá atribut @TAGREFS. Pro zachycení míry pravděpodobnosti navrhujeme zavést atribut @TAC (Tag confidence), který by pro každou hodnotu v atributu @TAGREFS uváděl míru pravděpodobnosti správné identifikace. Pokud se hodnota neuvede, předpokládá se 100% jistota rozpoznání.

Díky tomu bude možné zachovat omezený počet jedinečných entit (<NamedEntityTag>) v elementu <Tags>.

Příklad:

<Tags>
 <NamedEntityTag ID="wiki-Q6714" LABEL="Person" DESCRIPTION="Wilhelm Grimm" URI="https://www.wikidata.org/wiki/Q6714" />
 <NamedEntityTag ID="wiki-Q6701" LABEL="Person" DESCRIPTION="Jacob Grimm" URI="https://www.wikidata.org/wiki/Q6701" />
</Tags>
...
<TextLine>
  <String CONTENT="Wilhelm" TAGREFS="wiki-Q6714" />
  <String CONTENT="und" />
  <SP />
  <String CONTENT="Jacob" TAGREFS="wiki-Q6701" />
  <SP />
  <String CONTENT="Grimm" TAGREFS="wiki-Q6714 wiki-Q6701" />
  ...
  <String CONTENT="Bruder" TAGREFS="wiki-Q6714 wiki-Q6701" TC="0.3 0.7" />
</TextLine>

Alternativní přístup (bez změny standardu ALTO) by znamenal vytvořit pro každou entitu rozpoznanou s určitou mírou jistoty samostatný element <NamedEntityTag>, u kterého by se míra jistoty zachytila v elementu <XmlData>. To by vedle k většímu množství identických entit, které by se lišily pouze jedním údajem.

Přéklad:

<Tags>
 <NamedEntityTag ID="wiki-Q6714" LABEL="Person" DESCRIPTION="Wilhelm Grimm" URI="https://www.wikidata.org/wiki/Q6714">
 <XmlData>
   <mods:mods>
     <mods:recordInfo>
       <mods:recordInfoNote type="confidence">1.0</mods:recordInfoNote>     
     </mods:recordInfo>     
   </mods:mods>
 </XmlData>
</NamedEntityTag>

<NamedEntityTag ID="wiki-Q6714-0.3" LABEL="Person" DESCRIPTION="Wilhelm Grimm" URI="https://www.wikidata.org/wiki/Q6714">
 <XmlData>
   <mods:mods>
     <mods:recordInfo>
       <mods:recordInfoNote type="confidence">0.3</mods:recordInfoNote>     
     </mods:recordInfo>     
   </mods:mods>
 </XmlData>
</NamedEntityTag> 

<NamedEntityTag ID="wiki-Q6701" LABEL="Person" DESCRIPTION="Jacob Grimm" URI="https://www.wikidata.org/wiki/Q6701">
 <XmlData>
   <mods:mods>
     <mods:recordInfo>
       <mods:recordInfoNote type="confidence">1.0</mods:recordInfoNote>     
     </mods:recordInfo>     
   </mods:mods>
 </XmlData>
</NamedEntityTag>
  
<NamedEntityTag ID="wiki-Q6701-0.7" LABEL="Person" DESCRIPTION="Jacob Grimm" URI="https://www.wikidata.org/wiki/Q6701">
 <XmlData>
   <mods:mods>
     <mods:recordInfo>
       <mods:recordInfoNote type="confidence">0.7</mods:recordInfoNote>     
     </mods:recordInfo>     
   </mods:mods>
 </XmlData>  
</NamedEntityTag>  
</Tags>
...
<TextLine>
  <String CONTENT="Wilhelm" TAGREFS="wiki-Q6714" />
  <String CONTENT="und" />
  <SP />
  <String CONTENT="Jacob" TAGREFS="wiki-Q6701" />
  <SP />
  <String CONTENT="Grimm" TAGREFS="wiki-Q6714 wiki-Q6701" />
  ...
  <String CONTENT="Bruder" TAGREFS="wiki-Q6714-0.3 wiki-Q6701-0.7" />
</TextLine>