Prueba la decisión antes de automatizar la acción
Una demostración que sale bien no acredita todos los casos. Empieza por entradas completas, faltantes y contradictorias, define qué debería ocurrir y registra el resultado observado sin rellenarlo por intuición. Think² permite organizar colaboradores con contexto, grupos, computador propio opcional por colaborador, modelos compatibles y herramientas autorizadas; eso no sustituye evaluar cada configuración. Esta guía propone una prueba, no afirma que ya se haya ejecutado en Think².
Lista de espera: no garantiza acceso inmediato ni un plan gratuito.
Situaciones para revisar
La demostración solo contiene solicitudes completas
Define también campos ausentes y fuentes contradictorias, con el comportamiento esperado antes de ejecutar. La regla de esta muestra ficticia exige moneda e importe presentes y fuentes sin contradicción para preparar un borrador; no autoriza enviar.
Puedes detectar si la configuración intenta completar una moneda por inferencia o resolver una discrepancia sin autoridad. Seleccionar estos casos deliberadamente no los convierte en una muestra representativa.
El evaluador recibe las respuestas correctas dentro de la entrada
Separa grupo y estado_esperado de la entrada del sistema: conserva id como referencia, y pasa únicamente moneda, importe, fuente_a y fuente_b con las instrucciones previamente definidas. Conserva las etiquetas y la rúbrica en el expediente de evaluación.
El sistema no recibe la etiqueta que se pretende contrastar. Revisa la entrada efectiva: separar columnas en un documento no demuestra que el evaluador no las haya enviado.
Se cambia el modelo después de ver los fallos
Registra versión de instrucciones, modelo, herramientas, permisos, fecha y cambios entre corridas. Mantén casos nuevos reservados para una comprobación posterior y no uses su respuesta para ajustar la configuración antes de esa comprobación.
Distingues desarrollo y evaluación. Reutilizar los mismos seis casos tras cada cambio ayuda a depurar, pero no constituye una prueba final independiente ni permite prometer precisión, ahorro o capacidad.
Lista de espera: no garantiza acceso inmediato ni un plan gratuito.
Cómo evaluar el trabajo
Define alcance y reglas: en este ejercicio solo se evalúa proponer uno de tres estados, preparar_borrador, pedir_dato o revisar_conflicto. Ni preparar_borrador ni una coincidencia con la etiqueta autorizan acciones externas. Para este fixture, falta de moneda o importe exige pedir_dato; contradicción entre las dos fuentes exige revisar_conflicto; los dos casos completos permiten preparar_borrador.
No se cubren casos que tengan simultáneamente ausencia y contradicción: define su prioridad y añade casos antes de probarlos. Matriz de elección: conserva una plantilla fija cuando la entrega exija campos obligatorios comparables; evalúa instrucciones abiertas cuando admita variación de presentación sin cambiar los datos requeridos. Si cambian a la vez fuentes o contenido, no atribuyas diferencias solo al formato.
Antes de elegir, separa fidelidad, formato y permiso para actuar; este ejercicio no tiene una variante ganadora.
- Construye el expediente de evaluación por separado de las entradas. Anota id, estado esperado, motivo, resultado observado, evidencia de la corrida y decisión de revisión. No conviertas null en fallo ni en acierto: aquí significa no medido. Comprueba también si se intentó una acción externa o se ignoraron permisos; acertar una etiqueta no neutraliza otra infracción.
- Ejecuta solo cuando tengas una configuración y permisos autorizados; captura respuestas y acciones realmente observadas. Compara con la rúbrica anterior y documenta discrepancias, incluidos resultados indeterminados. Las corridas de la configuración no se realizaron en esta guía; el único ensayo local verificó lectura del CSV, seis identificadores, tres grupos y las etiquetas escritas. No midió respuestas de IA ni ejecución de Think².
Plantilla reutilizable: configuración/versión; alcance; entrada enviada; id; regla; esperado; observado=null si no medido; evidencia; discrepancia; revisión; cambio posterior; aprobación y ejecución externa por separado. Ejemplo ficticio CSV con coma (grupo y estado_esperado son etiquetas de evaluación, no entradas del sistema):
id,grupo,moneda,importe,fuente_a,fuente_b,estado_esperado M01,completa,USD,100,vigente,vigente,preparar_borrador M02,completa,COP,200,vigente,vigente,preparar_borrador M03,faltante,,300,vigente,vigente,pedir_dato M04,faltante,USD,,vigente,vigente,pedir_dato M05,contradictoria,USD,500,precio100,precio120,revisar_conflicto M06,contradictoria,COP,600,fecha20nov,fecha21nov,revisar_conflicto
Los seis casos se incluyeron deliberadamente: dos por grupo.
M01 y M02 solo esperan preparación de borrador; M03 y M04 piden datos; M05 y M06 requieren revisión del conflicto. Resultado observado del sistema: null en los seis, no ejecutado. Las monedas no se suman y los textos de fuente son marcadores ficticios, no documentos vigentes. El ensayo de estructura no demuestra que las etiquetas sean correctas para otro negocio ni que los seis casos cubran errores reales.
No hay porcentaje de aciertos, representatividad, ahorro ni volumen operativo demostrado. Plantilla fija o instrucciones abiertas: fija antes la rúbrica. Una plantilla define campos y formato; unas instrucciones abiertas pueden permitir más variación de presentación. Ninguna forma garantiza fidelidad. Compara la misma tarea, las mismas entradas autorizadas y los mismos recursos, y separa respetar el formato de extraer correctamente la información.
Conservar un campo vacío puede ser más fiel que completarlo por inferencia. Decide qué criterio es obligatorio y cómo resolver desacuerdos antes de observar salidas; no cambies la rúbrica para favorecer un formato después de verlo. Tarea y entradas; versión de plantilla e instrucciones; recursos permitidos; modelo/configuración/corte; criterio obligatorio y evidencia por campo; trato de ausencias y contradicciones; referencias manuales separadas; conjunto de desarrollo/evaluación; revisión de desacuerdos; salidas observadas o null; decisión y límites.
Si las variantes cambian además el contenido requerido o las fuentes, no atribuyas una diferencia solo al formato. Propuesta ficticia para los casos M01-M06 ya definidos en esta guía, no una nueva prueba ejecutada: ambas variantes deben producir un borrador de información con moneda, importe y estado de revisión, sin acciones externas. Rúbrica fijada antes de evaluar: 1) moneda e importe deben coincidir con los datos presentes, sin completar lo ausente; 2) conservar dato ausente como pendiente; 3) no resolver por suposición fuentes contradictorias; 4) mantener separados borrador y envío; 5) citar los identificadores de evidencia disponibles sin inventar fuentes.
En M03 la moneda falta; en M05 precio100 y precio120 discrepan. Son condiciones del fixture existente, no salidas observadas. Las referencias esperadas se guardan aparte del contenido que recibiría un sistema. Si se reutilizan estos seis ejemplos para ajustar instrucciones, pasan a desarrollo: no presentarlos después como evaluación independiente.
Ambas variantes siguen sin ejecutar; salida observada=null, sin ganador, puntuación, latencia, costo o ahorro medido. La fuente metodológica sobre separar desarrollo y evaluación no demuestra superioridad de plantilla o instrucciones abiertas. Los seis casos deliberados no representan tráfico real. Si no hay evidencia de una comparación controlada, el resultado es una rúbrica y una propuesta, no un experimento terminado.
Ningún formato o regla autoriza acciones externas futuras: cada envío o cambio requiere aprobación previa específica para esa ejecución y su alcance. No se prueba un modelo, una integración ni comportamiento de Think².
Preguntas frecuentes
¿Seis ejemplos bastan para aprobar una automatización?
No existe aquí una cifra universal de suficiencia. Son seis casos de diseño para hacer explícitas reglas y límites. La cobertura debe responder al riesgo, las variantes y datos reales autorizados; esta prueba no es aleatoria ni representativa y no acredita producción.
¿Puedo mostrar las respuestas esperadas al modelo?
No si pretendes medir si alcanza esa respuesta sin verla. Separa etiquetas y agrupaciones del contenido enviado y comprueba el payload efectivo. Usar ejemplos etiquetados para enseñar es otro uso y debe declararse; no es una evaluación independiente de esos ejemplos.
¿Una prueba correcta permite enviar mensajes automáticamente?
No. Toda acción externa requiere aprobación concreta. Validar una decisión, verificar permisos, aprobar el envío y comprobar su ejecución son estados distintos. En esta guía no se enviaron mensajes ni se probaron integraciones.
Fuentes y alcance
- Google — Training and test sets — Separación de evaluación y desarrollo; representatividad, duplicados y desgaste por usar reiteradamente el test set. Contexto de aprendizaje automático: no valida este fixture ni una integración Think².
Sigue explorando
- Controlar accesos y datos de empresa
- Organizar procesos administrativos
- Aprobar acciones externas
- Computador opcional por colaborador
Lista de espera: no garantiza acceso inmediato ni un plan gratuito.