Resumen extractivo o generado: conservar palabras no basta
Copiar una frase puede conservar su texto y perder la advertencia que venía después. Reescribir puede cubrir más asuntos y aun así transformar lo que dice una nota en una afirmación directa. Probamos ambas rutas en una única fuente ficticia: no para elegir un ganador universal, sino para mostrar qué revisar antes de usar un resumen.
Lista de espera; no garantiza acceso inmediato ni plan gratuito.
Situaciones para revisar
Necesitas un extracto literal y sabes qué líneas debes conservar.
El baseline seleccionó L1 y L2 sin reescritura. Es una selección determinista de las primeras dos líneas, no un extractor optimizado. Conservó subtotal y propuesta de fecha, pero dejó fuera las condiciones posteriores.
La literalidad de las frases no demuestra cobertura del contexto. Un extracto puede ser fiel a las líneas seleccionadas y omitir advertencias necesarias para la decisión.
Necesitas una síntesis de varios puntos con referencias.
Un ayudante recibió la fuente y una instrucción de máximo 60 palabras con citas. Su salida real usó 53 palabras al excluir etiquetas de cita; cubrió subtotal/total pendiente, propuesta/no confirmación y autorización no registrada.
En cancelación perdió la atribución a una nota. Las referencias L5–L6 son pertinentes, pero no restituyen el matiz omitido. No corregimos la salida original para presentar un éxito perfecto.
Vas a usar el resumen para decidir si se despacha un pedido.
Comprueba por separado subtotal, propuesta frente a confirmación, cancelación y autorización. En la muestra no consta autorización; esto no permite inferir el estado de un pedido fuera del documento.
Ninguno de los dos textos es una orden de despacho. Pide la evidencia faltante y la autorización aplicable antes de cualquier acción; la calidad de redacción y una cita no conceden permiso.
Lista de espera; no garantiza acceso inmediato ni plan gratuito.
Cómo evaluar el trabajo
- Fija antes del ensayo propósito, fuente/versiones, instrucción y rúbrica. Aquí C1 exige subtotal y total no determinado; C2 propuesta y no confirmación de dirección/fecha; C3 atribución de la solicitud a una nota y aceptación no registrada; C4 autorización no registrada en esta fuente. El protocolo descargable se guardó antes de solicitar la salida generada.
Fuente y salidas literales en inglés, idioma del ensayo. Se conservan sin traducir para permitir cotejo; no son un pedido real. [L1] The draft order lists two items at USD 90 each, a known subtotal of USD 180. [L2] Operations proposed dispatch on 20 November 2026. [L3] The customer has not confirmed the delivery address or dispatch date. [L4] Taxes and shipping costs are missing, so the final total is undetermined. [L5] A note says cancellation was requested, but no accepted cancellation is recorded. [L6] No dispatch authorization is recorded in this source.
EXTRACTIVE The draft order lists two items at USD 90 each, a known subtotal of USD 180. [L1] Operations proposed dispatch on 20 November 2026. [L2] GENERATED The draft lists two items at USD 90 each, with a USD 180 subtotal [L1]. Operations proposed dispatch on 20 November 2026, but the customer has not confirmed the address or date [L2–L3]. Taxes and shipping are missing, so the final total is undetermined [L4].
Cancellation was requested, but acceptance and dispatch authorization are not recorded [L5–L6].
- Revisión manual propia sobre cuatro criterios: extractivo 0 completos,2 parciales y2 omitidos; generado 3completos y1 parcial. No detectamos una contradicción directa bajo esta rúbrica, pero el parcial C3 del generado eleva la fuerza de la fuente: ‘una nota dice’ no equivale a solicitud acreditada directamente. Las citas son pertinentes, no prueba de verdad externa. No se agrega todo en una puntuación ni se presenta como exactitud de un sistema. Fuente única, baseline de 23 palabras frente a salida de 53, una generación y cero reintentos: los presupuestos no son equivalentes y el baseline no fue optimizado. Se excluyen etiquetas de cita y puntuación aislada del conteo.
- Plantilla de revisión: afirmación; línea/versiones; literalidad o paráfrasis; contexto/calificador; criterio cubierto/parcial/omitido/contradicho; evidencia faltante; decisión/responsable. Think² puede organizar el encargo con colaboradores, grupos/contexto, modelos compatibles y herramientas autorizadas; el computador de cada colaborador es opcional. Este ensayo no prueba una función de resumen Think² ni conectores. Si tu flujo actual ya conserva fuentes y revisión suficiente, no añadas otra capa por defecto. La versión corregida sería una nueva propuesta revisada, no la salida original medida.
Descarga la evidencia
- Salidas y métricas de la prueba · JSON · SHA256: d7e81b09e9128bc2a80479eab971962618e7b82ed7b697fe6adaf7d34ad4ccb5
- Protocolo original y fuente · JSON · SHA256: d790a78f77e3402a1d5bce84b4b7f0978b2f92e92b27a3ae27c1fba3db84e1b4
Preguntas frecuentes
¿Un resumen extractivo no puede equivocarse porque copia?
Puede conservar literalmente las líneas elegidas y omitir contexto decisivo. Aquí copiar L1–L2 deja fuera impuestos/envío, falta de confirmación y autorización. Eso no demuestra que todo método extractivo falle: señala qué no cubrió este baseline.
¿Un resumen con citas ya es fiel?
No por tenerlas. Hay que revisar si cada referencia respalda la afirmación y sus matices, y si faltan puntos necesarios. La cita L5 acompaña una frase que perdió ‘una nota dice’; pertinencia de la referencia no equivale a fidelidad completa ni a verdad fuera de la fuente.
¿Este ejemplo prueba qué modelo o formato conviene siempre?
No. Una fuente sintética en inglés, una salida generada y una selección literal no optimizada no permiten comparar motores ni generalizar precisión. No medimos tiempos, costes, otros idiomas o resultados de clientes; no ejecutamos un flujo de producto Think².
Fuentes y alcance
- On Faithfulness and Factuality in Abstractive Summarization — Abstract y bibliografía consultados; no metodología completa ni resultados extrapolados a esta prueba.
Sigue explorando
Lista de espera; no garantiza acceso inmediato ni plan gratuito.