Skip to content

Oscar HW5 inference #2

New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Open
Oscar707 wants to merge 1 commit into
base: main
Choose a base branch
from
Open

Oscar HW5 inference #2

Show file tree
Hide file tree
Changes from all commits
Commits
Show all changes
1 commit
Select commit
File filter

Filter by extension

Filter by extension
Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
41 changes: 41 additions & 0 deletions README.md
View file
Open in desktop
Original file line number Diff line number Diff line change
@@ -0,0 +1,41 @@
# Week 5: Hybrid Retrieval System

## Overview
This project implements a hybrid retrieval system combining FAISS (vector search)
and SQLite FTS5 (keyword search) with Reciprocal Rank Fusion (RRF).

## Quick Start

### 1. Install Dependencies
```bash
pip install -r requirements.txt
```

### 2. Build Index (if not included)
```bash
python hybrid_indexer.py
```

### 3. Run API Server
```bash
python main.py
# Visit http://localhost:8000/docs
```

### 4. View Evaluation
```bash
jupyter notebook hw5.ipynb
```

## Key Results
- **Hybrid (RRF)**: 76.4% Recall@3, 100% Hit Rate@3
- **Vector-Only**: 72.2% Recall@3, 83.3% Hit Rate@3
- **Keyword-Only**: 66.7% Recall@3, 83.3% Hit Rate@3

RRF outperforms both individual methods and weighted fusion.

## Files
- `hybrid_indexer.py` - Hybrid index builder
- `main.py` - FastAPI server
- `hw5.ipynb` - Evaluation notebook
- `hybrid_evaluation_report.json` - Metrics
3,338 changes: 3,338 additions & 0 deletions arxiv_clean.json
View file
Open in desktop

Large diffs are not rendered by default.

Binary file added evaluation_comparison.png
View file
Open in desktop
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file added faiss_index.bin
View file
Open in desktop
Binary file not shown.
503 changes: 503 additions & 0 deletions hw5.ipynb
View file
Open in desktop

Large diffs are not rendered by default.

352 changes: 352 additions & 0 deletions hybrid_evaluation_report.json
View file
Open in desktop
Original file line number Diff line number Diff line change
@@ -0,0 +1,352 @@
{
"summary": {
"vector_only": {
"avg_recall@3": 0.7222222222222222,
"avg_hit_rate@3": 0.8333333333333334,
"avg_precision@3": 0.4166666666666667
},
"keyword_only": {
"avg_recall@3": 0.6666666666666666,
"avg_hit_rate@3": 0.8333333333333334,
"avg_precision@3": 0.3611111111111111
},
"hybrid_weighted": {
"avg_recall@3": 0.6527777777777777,
"avg_hit_rate@3": 0.8333333333333334,
"avg_precision@3": 0.3611111111111111,
"alpha": 0.6,
"fusion_method": "weighted"
},
"hybrid_rrf": {
"avg_recall@3": 0.7638888888888888,
"avg_hit_rate@3": 1.0,
"avg_precision@3": 0.4166666666666666,
"fusion_method": "rrf"
}
},
"per_query_results": [
{
"query": "attention mechanisms in transformers",
"vector": {
"recall@3": 0.0,
"hit_rate@3": 0.0,
"precision@3": 0.0
},
"keyword": {
"recall@3": 1.0,
"hit_rate@3": 1.0,
"precision@3": 0.3333333333333333
},
"hybrid_weighted": {
"recall@3": 0.0,
"hit_rate@3": 0.0,
"precision@3": 0.0
},
"hybrid_rrf": {
"recall@3": 1.0,
"hit_rate@3": 1.0,
"precision@3": 0.3333333333333333
},
"expected_papers": [
"2511.13126"
]
},
{
"query": "reinforcement learning from human feedback",
"vector": {
"recall@3": 1.0,
"hit_rate@3": 1.0,
"precision@3": 0.6666666666666666
},
"keyword": {
"recall@3": 1.0,
"hit_rate@3": 1.0,
"precision@3": 0.6666666666666666
},
"hybrid_weighted": {
"recall@3": 1.0,
"hit_rate@3": 1.0,
"precision@3": 0.6666666666666666
},
"hybrid_rrf": {
"recall@3": 1.0,
"hit_rate@3": 1.0,
"precision@3": 0.6666666666666666
},
"expected_papers": [
"2511.12573",
"2511.12861"
]
},
{
"query": "language models few-shot learning",
"vector": {
"recall@3": 0.0,
"hit_rate@3": 0.0,
"precision@3": 0.0
},
"keyword": {
"recall@3": 0.3333333333333333,
"hit_rate@3": 1.0,
"precision@3": 0.3333333333333333
},
"hybrid_weighted": {
"recall@3": 0.0,
"hit_rate@3": 0.0,
"precision@3": 0.0
},
"hybrid_rrf": {
"recall@3": 0.3333333333333333,
"hit_rate@3": 1.0,
"precision@3": 0.3333333333333333
},
"expected_papers": [
"2511.12728",
"2511.13107",
"2511.13118"
]
},
{
"query": "neural network architecture",
"vector": {
"recall@3": 1.0,
"hit_rate@3": 1.0,
"precision@3": 0.3333333333333333
},
"keyword": {
"recall@3": 1.0,
"hit_rate@3": 1.0,
"precision@3": 0.3333333333333333
},
"hybrid_weighted": {
"recall@3": 1.0,
"hit_rate@3": 1.0,
"precision@3": 0.3333333333333333
},
"hybrid_rrf": {
"recall@3": 1.0,
"hit_rate@3": 1.0,
"precision@3": 0.3333333333333333
},
"expected_papers": [
"2511.12851"
]
},
{
"query": "machine translation",
"vector": {
"recall@3": 1.0,
"hit_rate@3": 1.0,
"precision@3": 0.3333333333333333
},
"keyword": {
"recall@3": 1.0,
"hit_rate@3": 1.0,
"precision@3": 0.3333333333333333
},
"hybrid_weighted": {
"recall@3": 1.0,
"hit_rate@3": 1.0,
"precision@3": 0.3333333333333333
},
"hybrid_rrf": {
"recall@3": 1.0,
"hit_rate@3": 1.0,
"precision@3": 0.3333333333333333
},
"expected_papers": [
"2511.13180"
]
},
{
"query": "natural language processing",
"vector": {
"recall@3": 1.0,
"hit_rate@3": 1.0,
"precision@3": 0.3333333333333333
},
"keyword": {
"recall@3": 1.0,
"hit_rate@3": 1.0,
"precision@3": 0.3333333333333333
},
"hybrid_weighted": {
"recall@3": 1.0,
"hit_rate@3": 1.0,
"precision@3": 0.3333333333333333
},
"hybrid_rrf": {
"recall@3": 1.0,
"hit_rate@3": 1.0,
"precision@3": 0.3333333333333333
},
"expected_papers": [
"2511.13095"
]
},
{
"query": "transformer model",
"vector": {
"recall@3": 0.6666666666666666,
"hit_rate@3": 1.0,
"precision@3": 0.6666666666666666
},
"keyword": {
"recall@3": 0.3333333333333333,
"hit_rate@3": 1.0,
"precision@3": 0.3333333333333333
},
"hybrid_weighted": {
"recall@3": 0.6666666666666666,
"hit_rate@3": 1.0,
"precision@3": 0.6666666666666666
},
"hybrid_rrf": {
"recall@3": 0.6666666666666666,
"hit_rate@3": 1.0,
"precision@3": 0.6666666666666666
},
"expected_papers": [
"2511.13126",
"2511.12874",
"2511.12768"
]
},
{
"query": "deep learning optimization",
"vector": {
"recall@3": 1.0,
"hit_rate@3": 1.0,
"precision@3": 0.3333333333333333
},
"keyword": {
"recall@3": 0.0,
"hit_rate@3": 0.0,
"precision@3": 0.0
},
"hybrid_weighted": {
"recall@3": 1.0,
"hit_rate@3": 1.0,
"precision@3": 0.3333333333333333
},
"hybrid_rrf": {
"recall@3": 1.0,
"hit_rate@3": 1.0,
"precision@3": 0.3333333333333333
},
"expected_papers": [
"2511.12661"
]
},
{
"query": "text generation",
"vector": {
"recall@3": 0.3333333333333333,
"hit_rate@3": 1.0,
"precision@3": 0.3333333333333333
},
"keyword": {
"recall@3": 0.3333333333333333,
"hit_rate@3": 1.0,
"precision@3": 0.3333333333333333
},
"hybrid_weighted": {
"recall@3": 0.3333333333333333,
"hit_rate@3": 1.0,
"precision@3": 0.3333333333333333
},
"hybrid_rrf": {
"recall@3": 0.3333333333333333,
"hit_rate@3": 1.0,
"precision@3": 0.3333333333333333
},
"expected_papers": [
"2511.13593",
"2511.12832",
"2511.12609"
]
},
{
"query": "semantic similarity",
"vector": {
"recall@3": 1.0,
"hit_rate@3": 1.0,
"precision@3": 0.6666666666666666
},
"keyword": {
"recall@3": 1.0,
"hit_rate@3": 1.0,
"precision@3": 0.6666666666666666
},
"hybrid_weighted": {
"recall@3": 1.0,
"hit_rate@3": 1.0,
"precision@3": 0.6666666666666666
},
"hybrid_rrf": {
"recall@3": 1.0,
"hit_rate@3": 1.0,
"precision@3": 0.6666666666666666
},
"expected_papers": [
"2511.12784",
"2511.12928"
]
},
{
"query": "pre-training language models",
"vector": {
"recall@3": 0.6666666666666666,
"hit_rate@3": 1.0,
"precision@3": 0.6666666666666666
},
"keyword": {
"recall@3": 0.0,
"hit_rate@3": 0.0,
"precision@3": 0.0
},
"hybrid_weighted": {
"recall@3": 0.3333333333333333,
"hit_rate@3": 1.0,
"precision@3": 0.3333333333333333
},
"hybrid_rrf": {
"recall@3": 0.3333333333333333,
"hit_rate@3": 1.0,
"precision@3": 0.3333333333333333
},
"expected_papers": [
"2511.13107",
"2511.13159",
"2511.12690"
]
},
{
"query": "zero-shot learning",
"vector": {
"recall@3": 1.0,
"hit_rate@3": 1.0,
"precision@3": 0.6666666666666666
},
"keyword": {
"recall@3": 1.0,
"hit_rate@3": 1.0,
"precision@3": 0.6666666666666666
},
"hybrid_weighted": {
"recall@3": 0.5,
"hit_rate@3": 1.0,
"precision@3": 0.3333333333333333
},
"hybrid_rrf": {
"recall@3": 0.5,
"hit_rate@3": 1.0,
"precision@3": 0.3333333333333333
},
"expected_papers": [
"2511.12630",
"2511.13152"
]
}
]
}
Binary file added hybrid_index.db
View file
Open in desktop
Binary file not shown.
Loading