Logo de Think²Think²
Entrar

Guías

Un resultado que repite tus palabras puede no resolver tu pregunta

Buscas cómo evitar un cobro repetido y aparece una imagen titulada ‘evitar cobros repetidos’. Coincide el título, pero no contiene el procedimiento. Antes de elegir una búsqueda por palabras o por significado, define qué documento sí resolvería el trabajo y comprueba qué devolvió realmente cada ruta.

Lista de espera; no garantiza acceso inmediato ni plan gratuito.

Situaciones para revisar

Q1: ‘evitar cobros repetidos’. Necesidad: encontrar un procedimiento para no duplicar una operación al repetirla.

Etiquetamos D1 como relevante antes del ensayo. El baseline de intersección de palabras devuelve D2, cuyo título coincide, pero cuyo texto aclara que solo identifica un borrador de imagen. La selección del ayudante devuelve D1, que pide consultar si el cargo ya ocurrió antes de reintentar.

La coincidencia de tres palabras en D2 no basta para responder el pedido. Esta muestra permite detectar el falso encaje; no demuestra que todos los buscadores léxicos fallen ni que Think² evite pagos duplicados.

Q2: ‘no entro después de cambiar la contraseña’. Necesidad: revisar acceso y sesiones tras cambiar credenciales.

D3 y D4 quedaron relevantes. El baseline devuelve D1 y D2 por empates de puntuación resueltos por ID; D4 también puntúa 2, pero queda fuera de sus dos primeros lugares. El ayudante selecciona D3 y D4.

Hay que conservar reglas de desempate y puntuaciones completas: una lista final sin ellas ocultaría por qué se perdió D4. No probamos un índice comercial, recuperación con sinónimos ni permisos de acceso.

Q3: ‘preparar informe con monedas distintas y datos faltantes’.

Solo D5 quedó relevante. El baseline devuelve D5 y D6; el ayudante devuelve solo D5. Ambos recuperan el único relevante, pero el primer conjunto incluye un aviso sin importes ni instrucciones útiles.

Recuperar todo lo relevante no equivale a que todo lo recuperado sea útil. Con la definición de esta muestra, precisión@2 es 0,5 en ambas rutas: siempre dividimos por dos, incluso si se devuelve un solo documento. Mostrar el denominador evita interpretar mal el resultado.

Lista de espera; no garantiza acceso inmediato ni plan gratuito.

Cómo evaluar el trabajo

  1. Define primero la necesidad y los documentos que podrían resolverla. Usa una referencia previa por consulta; distingue documento relevante de uno que solo menciona las palabras. En esta muestra la relevancia es juicio propio, no evaluación independiente ni verdad universal. Las entradas son seis textos ficticios creados para exhibir coincidencias engañosas, no una muestra representativa de una empresa.
  2. Corpus literal ES; traducción EN no ensayada. D1 | Antes de reintentar un cargo incierto, consulta en el destino si la operación ya ocurrió. D2 | El título ‘evitar cobros repetidos’ identifica un borrador de imagen, no un procedimiento de pagos. D3 | Acceso deshabilitado tras renovar credenciales: revisa si se invalidó la sesión, sin compartir secretos.

    D4 | Un cambio de contraseña requiere revisar qué sesiones siguen válidas y pedir entrada por el canal autorizado. D5 | Para preparar un informe financiero, separa USD y COP y conserva las celdas vacías como datos faltantes. D6 | El aviso ‘informe de gastos listo’ no contiene importes ni instrucciones para comprobar monedas. Consultas y etiquetas previas: Q1 | evitar cobros repetidos | D1 Q2 | no entro después de cambiar la contraseña | D3,D4 Q3 | preparar informe con monedas distintas y datos faltantes | D5

  3. Método léxico ejecutado en Python: normalización Unicode NFKC, minúsculas y conjuntos de tokens alfanuméricos; puntuación igual al número de tokens distintos compartidos por consulta y documento. Sin IDF, eliminación de palabras comunes, frecuencias ni stemming. Orden descendente por puntuación, empates por ID ascendente; se excluye puntuación 0 y se toman hasta dos resultados. Es un baseline deliberadamente sencillo, no la definición ni el rendimiento de toda búsqueda léxica.
  4. Selección por necesidad observada: un ayudante recibió los seis textos, las tres consultas y además el propósito explícito de cada una. No recibió las etiquetas de relevancia; produjo una salida sin herramientas ni reintentos. El baseline usó solo el texto de la consulta, no ese propósito adicional: las condiciones no son equivalentes. El protocolo decía ‘misma información’ pero también explicitaba esta diferencia; esa expresión no convierte las entradas en equivalentes. No usamos embeddings ni ejecutamos un motor de búsqueda semántica, y no identificamos una versión de modelo para generalizar su comportamiento.
  5. Resultados observados; P@2 y R@2 según rúbrica propia. query | lexical IDs | P@2 | R@2 | assistant IDs | P@2 | R@2 Q1 | D2 | 0.0 | 0.0 | D1 | 0.5 | 1.0 Q2 | D1,D2 | 0.0 | 0.0 | D3,D4 | 1.0 | 1.0 Q3 | D5,D6 | 0.5 | 1.0 | D5 | 0.5 | 1.0
  6. Para una comparación operativa más justa, prepara consultas representativas de tu trabajo y entrega el mismo texto de consulta y corpus autorizado a las rutas que quieras contrastar. Fija antes qué cuenta como relevante, desempates y cuántos resultados revisarás. Conserva también los casos sin respuesta, los documentos equivocados y las restricciones de acceso. Una revisión independiente y una muestra distinta de la usada para ajustar el método ayudarían a reducir sesgo; no se realizaron aquí.
  7. La documentación oficial de Elastic describe la búsqueda semántica como recuperación por significado y explica vías como semantic_text y una configuración de inferencia. Eso orienta qué evaluar, no acredita calidad en tu corpus ni demuestra una integración con Think². Si necesitas un identificador exacto, revisa que el resultado conserve ese identificador; si tus usuarios describen el mismo problema con palabras diferentes, incluye esas paráfrasis en tu evaluación. No elegimos un ganador universal ni medimos latencia, coste o escalabilidad.
  8. Ficha de evaluación: consulta literal; necesidad por resolver; corpus y versión; etiquetas previas; configuración y entradas de cada ruta; resultados ordenados y razones; relevante recuperado, omitido o falso encaje; denominadores; limitaciones; siguiente revisión. Think² permite organizar colaboradores, contexto y revisión con modelos compatibles y herramientas autorizadas, con computador opcional por colaborador. Aquí no probamos su búsqueda, un índice documental, acceso automático a archivos ni una ejecución de este flujo dentro del producto.

Descarga la evidencia

Preguntas frecuentes

¿Este ensayo prueba que la búsqueda semántica es mejor?

No. Contrasta un baseline léxico básico con una selección de un ayudante que recibió propósito adicional. No hay motor semántico, igualdad de entradas, muestra representativa ni comparación de productos. Los resultados ilustran cómo inspeccionar relevancia y errores.

¿Por qué una sola respuesta correcta tiene precisión@2 de 0,5?

Porque fijamos dos posiciones como denominador, aunque una quede vacía. Para Q1 y Q3 el ayudante recupera 1 relevante en hasta 2 posiciones: 1/2. El recall@2 es 1/1. Si prefieres precisión sobre respuestas devueltas, declárala como otra métrica; no cambies la definición después de ver los resultados.

¿Puedo repetir la generación del ayudante con la descarga?

No con el cotejo incluido: recalcula el baseline y las métricas a partir del corpus y la salida guardada. Incluye el prompt para inspección, pero no llama a un modelo ni promete reproducir una nueva generación. Tampoco configura un buscador comercial.

Fuentes y alcance

  • Elastic — Semantic search — Documentación de recuperación por significado y configuración; no prueba de Think² ni calidad medida sobre este corpus.

Sigue explorando

    Lista de espera; no garantiza acceso inmediato ni plan gratuito.