+または*で挟まれたものは github 上には上がっていない
- +で挟まれたディレクトリはダウンロードの必要あり
- *で挟まれたディレクトリ下のファイルはプログラムで自動生成される
.
├── main.cpp
├── enumerate_view.cpp
├── dataset
│ ├── +dbpedia+
│ │ ├── dbpedia_entity.json
│ │ ├── dbpedia_label.json
│ │ └── dbpedia_link.json
│ ├── nell
│ │ ├── nell_entity.json
│ │ ├── nell_label.json
│ │ └── nell_link.json
│ └── testpedia
│ ├── testpedia_entity.json
│ ├── testpedia_label.json
│ ├── testpedia_link.json
│ └── testpedia.pptx
├── query
│ ├── dbpedia
│ │ ├── ath-jpn_ath
│ │ │ ├── context.json
│ │ │ └── target.json
│ │ ├── ath-jpn_pers
│ │ │ ├── context.json
│ │ │ └── target.json
│ │ ├── game-prdc
│ │ │ ├── context.json
│ │ │ └── target.json
│ │ ├── game-prdc-all
│ │ │ ├── context.json
│ │ │ └── target.json
│ │ ├── jpngame
│ │ │ ├── context.json
│ │ │ └── target.json
│ │ ├── jpop-mscartist
│ │ │ ├── context.json
│ │ │ └── target.json
│ │ └── queries.json
│ ├── nell
│ │ ├── ath-all-all
│ │ │ ├── context.json
│ │ │ └── target.json
│ │ ├── mscartist-all-all
│ │ │ ├── context.json
│ │ │ └── target.json
│ │ ├── scitist-all
│ │ │ ├── context.json
│ │ │ └── target.json
│ │ └── queries.json
│ └── testpedia
│ ├──pers-all
│ │ ├── context.json
│ │ └── target.json
│ ├──pers-all-all
│ │ ├── context.json
│ │ └── target.json
│ └── queries.json
├── *enumerate*
│ ├── dbpedia
│ │ ├── CombinationEnumerate.json
│ │ ├── EntityEnumerate.json
│ │ └── LinkEnumerate.json
│ ├── nell
│ │ ├── CombinationEnumerate.json
│ │ ├── EntityEnumerate.json
│ │ └── LinkEnumerate.json
│ └── testpedia
│ ├── CombinationEnumerate.json
│ ├── EntityEnumerate.json
│ └── LinkEnumerate.json
├── *index*
│ ├── dbpedia
│ │ └── index.json
│ ├── nell
│ │ └── index.json
│ └── testpedia
│ └── index.json
├── config
│ └── outlier.json
└── +rapidjson+
└── ...
- rapidjson: ここからダウンロード
- dataset/dbpedia: ここからダウンロード(データサイズが大きいため Google Drive にアップロード)
- enumerate, index 中のファイル: main.cpp で生成
- 例外検出を行う
g++ -o main main.cppでコンパイル- まず,
./main -d <データセット> -f 1でインデックスや一覧ファイルを生成 - 次に,
./main -d <データセット> -q <クエリ> -k <出力トリプル数> -s <スコアの種類> -o <探索方法> -f 0で例外検出 - 実行例
./main -d dbpedia -f 1./main -d dbpedia -q queries -k 100 -s dist -o 0 -f 0
各パラメータ
d
- データセット名
- "dbpedia"か"nell"か"testpedia"を指定
q
- クエリファイル名
- query/<データセット名> 中にある,クエリディレクトリ名を列挙したJSONファイルを読み込み
k
- 表示するトリプル数
- 省略すると100で実行
s
- スコアの種類
- "dist"で分布の偏りベース,"freq"で頻度ベースのスコアを使用
- 省略またはそれ以外の入力の場合は"dist"で実行
o
- 探索方法
- 0で枝刈りを用いた提案手法,1で全探索手法,2でコンテキストにマッチするパターンの集計のみを行う
- 省略またはそれ以外の入力の場合は0で実行
f
- 最初の実行かどうか
- 0で例外検出の実行,1でインデックスや一覧ファイルの生成
- 省略すると1で実行
- context.json にコンテキスト情報, target.json にターゲット情報を入力し,それらを1つのディレクトリにまとめる
- このディレクトリ名をqで指定したクエリファイル名にJSON形式で列挙
- ワイルドカードの指定の際には, f=0 での実行時に
RG wildcard ≧ nが表示されるので,このn以上の数値を入れることで指定可能
コンテキスト
[
{
"Entity":[
{"EntityID":<エンティティラベルまたはエンティティID>, "EntityKind":<エンティティラベルならtrue,エンティティならfalse>},
...,
{<他のエンティティ情報>}
],
"Link":[
{"HeadID":<headが何番目のエンティティか>, "LinkID":<linkのID>, "TailID":<tailが何番目のエンティティか>},
...,
{<他のトリプル情報}}
]
},
...,
{<他のコンテキスト情報>}
]
ターゲット
[
{
"HeadID":<headのエンティティラベルまたはエンティティID>,
"HeadKind":<headがエンティティラベルかどうか>,
"LinkID":<linkのID>,
"TailID":<tailのエンティティラベルまたはエンティティID>,
"TailKind":<tailがエンティティラベルかどうか>
},
...,
{<他のターゲット情報>}
]
- enumerate中のファイルを読み込み,エンティティ,エンティティラベル,リンクのID等を表示し,コンテキスト・ターゲット入力の手助けをする
g++ -o ev enumerate_view.cppでコンパイル- 事前に
./main -d <データセット> -f 1でインデックスや一覧ファイルを生成 - その後,
./enumerate_view -d <データセット>で例外検出 - 実行例
./enumerate_view -d dbpedia
各パラメータ
d
- データセット名
- "dbpedia"か"nell"か"testpedia"を指定
コマンド入力
e <ID>で,IDがのエンティティの名前とそのエンティティラベルを出力e <エンティティ名>で,<エンティティ名>を名前に含むエンティティのIDとそのエンティティラベルを出力el <ID>で,IDがのエンティティラベルの名前とそれにマッチするエンティティを出力el 0で,全てのエンティティラベルIDとエンティティラベル名を出力el <ラベル名>で,<ラベル名>を名前に含むエンティティラベルのIDを出力r <ID>で,IDがのリンクの名前を出力r <リンク名>で,<リンク名>を名前に含むリンクのIDを出力c <ID>で,IDがのエンティティラベルの名前とそれにマッチするエンティティの隣接情報を出力
利用例
| 状況 | コマンド |
|---|---|
| エンティティID=3のエンティティ情報を調べたい | e 3 |
| japanを名前に含むエンティティのIDを調べたい | e japan |
| エンティティラベルID=3のエンティティ情報を調べたい | el 3 |
| 全てのエンティティラベルのID対応を調べたい | el 0 |
| musicを名前に含むエンティティラベルのIDを調べたい | el music |
| リンクID=3のエンティティ情報を調べたい | r 3 |
| childを名前に含むリンクのIDを調べたい | r child |
| エンティティラベルID=3のエンティティがどのようなリンク・エンティティラベルと隣接してるか調べたい | c 3 |