Skip to content
@Jnaa-ri-yee

Jña'a ri y'ë'ë


  Stack tecnológico



MediaPipe YOLO Railway


  Índice

01  Sobre el proyecto
02  Misión, visión y valores
03  La problemática
04  Arquitectura del sistema
05  Pipeline de reconocimiento
06  Estado actual del desarrollo
07  Objetivos específicos

08  Dataset
09  Resultados del modelo
10  Equipo
11  Hoja de ruta
12  Cómo colaborar
13  Contacto

  01 · Sobre el proyecto

Jña'a = hablar  ·  Ri = modo indicativo  ·  Y'ë'ë = mano

Jña'a Ri Y'ë'ë es un sistema de inteligencia artificial que interpreta y enseña Lengua de Señas Mexicana (LSM) desde un teléfono móvil, sin depender de internet ni de un intérprete disponible en el momento exacto en que se necesita.

El nombre viene de la lengua mazahua (jñatjo), hablada en comunidades del norte y centro del Estado de México. No es un detalle decorativo: es una declaración de principios sobre a quién está dirigido el proyecto — dos lenguas históricamente marginadas, nombrando juntas una misma herramienta de inclusión.


  02 · Misión, visión y valores

  Misión

Desarrollar un sistema inteligente que interprete y enseñe LSM de forma accesible, reduciendo las barreras de comunicación entre personas sordas y oyentes en México.

  Visión

Convertirse en la plataforma de referencia en México para la inclusión y enseñanza de LSM mediante IA, capaz de operar sin conexión y escalar hacia nuevas lenguas de señas.
Ícono Valor
Innovación — IA, visión por computadora y desarrollo móvil con propósito social
Inclusión — la tecnología une, no reemplaza al intérprete humano
Ciencia y educación — exploración continua + documentación abierta del proceso

  03 · La problemática

20.8 M personas con discapacidad o limitación en México
~5.1 M con dificultad para escuchar
~700 mil personas con sordera severa
40–42 intérpretes certificados en todo el país
1 : 127,616 proporción intérprete / persona sorda

Fuente: INEGI, Censo 2020

Una encuesta propia a 302 personas confirmó el diagnóstico:

Dificultades reales para comunicarse con una persona sorda
█████████████████████████████████████░░░░░░░░░░  56.0%

Cree que una app así mejoraría la inclusión social
██████████████████████████████████████████░░░░░  87.7%

Usaría una app móvil para aprender LSM
████████████████████████████████████████████░░░  88.4%

Barrera principal = falta de conocimiento de la LSM
██████████████████████████████░░░░░░░░░░░░░░░░░░  52.6%

La barrera principal no es la falta de tecnología ni de intérpretes: es el desconocimiento social de la LSM. Por eso el sistema combina interpretación y aprendizaje en un mismo lugar.


  04 · Arquitectura del sistema


  05 · Pipeline de reconocimiento

Corre a ~30 cuadros/segundo, 100% local, sin conexión a internet. El deletreo es manual: la persona confirma cada letra antes de pasar a la siguiente.


  06 · Estado actual del desarrollo

Pipeline nativo en                ██████████████░░░░░░
App móvil — Flutter               ███████████░░░░░░░░░
Estudio de campo y validación     ████████████████████
Letras dinámicas (J,K,Ñ,Q,X,Z)    █████░░░░░░░░░░░░░░░

  Pipeline nativo

  • ✔ seguimiento/ — tracking de keypoints, One Euro Filter o Kalman 2D simplificado (RastreadorKeypoints)
  • ✔ features/ — distancias euclidianas, ángulos vía atan2, normalización anclada en la muñeca
  • ✔ Compilado como jnaa_riyee.ax, 23 pruebas pasando (make test)

  App móvil (Flutter)

  • ✔ Pipeline de inferencia validado contra referencia en Python
  • ✔ Isolate persistente (InferenceWorkerClient), sin bloqueos de interfaz
  • ◐ Pendiente: compuerta adaptativa de confianza de keypoints

 Investigación en curso: parámetros fonológicos de la LSM para la siguiente fase del pipeline en C++.


  07 · Objetivos específicos

Ver los 10 objetivos específicos (OE1–OE10)
# Área Objetivo
OE1 IA Detectar la mano y estimar keypoints en tiempo real
OE2 IA Clasificar el abecedario de LSM con un modelo de fusión, inferencia local
OE3 IA Optimizar tamaño y velocidad para operar sin internet
OE4 Dataset Construir un dataset diverso en tono de piel, tamaño de mano, ángulo e iluminación
OE5 Dataset Esquema de base de datos trazable para datasets, etiquetas y versiones
OE6 Backend API REST que conecte app, web y base de datos
OE7 Web Plataforma que documente el proyecto y permita una demo en vivo
OE8 App móvil Interpretar señas en tiempo real, sin internet
OE9 App móvil Módulo de academia con lecciones estructuradas por nivel
OE10 App móvil Accesibilidad de interfaz para distintas edades y capacidades

Alcance: interpretación cámara → texto/voz · academia LSM con progreso y gamificación · plataforma web de difusión · funcionamiento local del núcleo, sin internet.


  08 · Dataset

Imágenes Letras

Pendientes por requerir movimiento: J · K · Ñ · Q · X · Z

Diversidad priorizada en la recolección: tono de piel · ángulo y distancia de captura · condiciones de iluminación y fondo · tamaño de mano representativo de distintas edades.


  09 · Resultados del modelo

Arquitectura Accuracy
CNN sola 5.3%
Keypoints (KP) solos 99.0%
Fusión (gating) 99.9%
Tamaño del modelo local 13.76 MB — 100% offline

  10 · Equipo

Integrante Módulo Responsabilidad
Anahí Figueroa González App móvil / dirección estratégica Visión general, arquitectura de la app, UX
Axel Eduardo Urbina Secundino Modelos de IA / dirección técnica Pipeline de reconocimiento, entrenamiento, exportación
Carlos Ramírez Zepeda Web — Frontend Componentes del sitio, diseño responsivo
María Fernanda de Jesús Casimiro Base de datos / dataset Versionado de datos, esquema de base de datos
Yoatzin Marelly Jiménez Hipólito Base de datos / dataset Preparación y etiquetado de imágenes

  11 · Hoja de ruta

En el corto plazo:

  • Cerrar la decisión sobre la compuerta adaptativa de confianza en Flutter
  • Ampliar el pipeline en C++ con reglas de parámetros fonológicos de la LSM
  • Reconocer las 6 letras dinámicas restantes del abecedario
  • Publicar el trabajo y conseguir respaldo de organizaciones de la comunidad Sorda, como paso previo a explorar colaboración con Google DeepMind — cuyo anuncio de SL2T no incluye cobertura de LSM

  12 · Cómo colaborar

Perfil Cómo sumar
Estudiantes Desarrollo, diseño UX/UI, investigación en IA/ML, gestión de proyecto
Instituciones educativas Colaboración académica, asesoría técnica, espacios de trabajo
Comunidad Sorda Validación de funcionalidades, contribución de datos, feedback
Empresas Mentoría técnica, donación de equipo, difusión

  13 · Contacto

Email Web GitHub Instagram

"cada seña reconocida es una barrera menos para alguien que depende de la LSM para comunicarse"

Pinned Loading

  1. Jnaa_Ri_Yee Jnaa_Ri_Yee Public

    Jña'a Ri Y'ë'ë es una plataforama inclusiva de lengua de señas que combina Flutter, visión por computadora y machine learning. Proyecto en desarrollo activo con arquitectura modular y enfoque socia…

    1

Repositories

Showing 2 of 2 repositories

Top languages

Loading…

Most used topics

Loading…