Introducción

La investigación en psicoterapia nos proporciona conocimiento con el cual podemos mejorar los resultados de nuestras intervenciones. Sabemos que la psicoterapia es una intervención eficaz y efectiva para personas con problemas psicológicos, pero también sabemos que no funciona para todos (McAleavey et al., 2017). Dos grandes líneas de investigación, entre otras, son las que brindan esos aportes. Los que sostienen que los tratamientos psicológicos son similares a los tratamientos médicos, focalizados en las intervenciones que dependen de modelos teóricos específicos y aquellos que sostienen que los principios activos del cambio psicológico son los factores comunes que comparten los distintos modelos teóricos. No es el objetivo del texto explayarnos en el tema, para el lector interesado se recomienda la lectura de El gran debate en psicoterapia (Wampold & Imel, 2015). Si bien, estas dos líneas de investigación han arrojado evidencia sobre los efectos beneficiosos en los pacientes, estos resultados han permanecidos, en general relativamente planos, casi sin grandes cambios desde la década del 70, o se han sobreestimado (Cuijpers, Smit, Bohlmeijer, Hollon & Andersson, 2010; Wampold, Mondin, Moody, Stich, Benson & Ahn, 1997).

A su vez, podemos distinguir entre estudios de eficacia, lo que se denomina el paradigma Práctica Basada en la Evidencia y los estudios de efectividad, el paradigma denominado Evidencia Basada en la Práctica (Barkham, Delgadillo, Firth & Saxon, 2018). Los primeros con el objetivo de encontrar la relación causal entre dos variables, controlando la mayor cantidad posible de ellas mediante distintos tipos de mecanismos. Este tipo de investigación nos dice si un tratamiento funciona o no, para un paciente con determinado tipo de trastorno o problema. Desde esta metodología lo que se gana en seguridad respecto a la validez interna, de estar seguro si una variable, en este caso el tratamiento, tiene un efecto sobre el trastorno o problema que tenga el paciente; se pierde en generalización de esos resultados al resto de los pacientes que no participaron del estudio. Los estudios de efectividad buscan generalizar los resultados de los estudios de eficacia recurriendo a un menor control de las variables que entran en juego.

La evidencia basada en la práctica significa integrar la experiencia clínica individual con la mejor evidencia disponible extraída de la actividad de investigación rigurosa llevada a cabo en entornos clínicos de rutina. Sus bases residen en lo que hacen los clínicos en la práctica cotidiana de rutina. En esencia, se basa en el uso rutinario de un sistema de medición de síntomas. Esta evaluación puede hacerse en cualquier momento del proceso terapéutico (Barkham, Delgadillo, Firth & Saxon, 2018). Con este nuevo paradigma, se paso de poner énfasis en identificar "mejores tratamientos" para trastornos específicos a determinar si un tratamiento dado funcionaba para determinado paciente (Barkham, Hardy & Mellor-Clark, 2010). Los investigadores que adoptaron este nuevo enfoque comenzaron a desarrollar medidas que los profesionales podrían usar en tiempo real para evaluar el resultado con cada paciente (Miller, Hubble, Chow, & Seidel, 2013). Independientemente de la medida utilizada, esta línea de investigación ofreció la oportunidad de mejorar la efectividad general de la psicoterapia al identificar a los pacientes con riesgo de un resultado de tratamiento deficiente. El concepto de evidencia basada en la práctica incluye la idea de que las preguntas de investigación se basan en el contexto de la práctica y, por esta razón, deben ser relevantes para los profesionales y la prestación de servicios de rutina en entornos particulares (Lambert, 2010). Este paradigma incluye distintos enfoques, uno de ellos es la investigación centrada en el paciente.

La investigación centrada en el paciente

Castonguay y col. (2013) diferencian la investigación orientada por la práctica dentro de la psicoterapia en tres enfoques principales: investigación centrada en el paciente, evidencia basada en la práctica y practicar redes de investigación.

Una alternativa a los estudios de eficacia y efectividad es la investigación centrada en el paciente, la cual implica el monitoreo del progreso de estos a lo largo del tratamiento (Prescott, Maeschalck & Miller, 2017). A diferencia de los estudios de eficacia y efectividad cuyo objetivo es ponderar el efecto promedio de un nuevo tratamiento, el objetivo de la investigación centrada en el paciente es monitorear el progreso real durante el curso del tratamiento y proporcionar retroalimentación "en tiempo real" de esta información a los psicoterapeutas.

Este tipo de investigación está dirigida a mejorar el tratamiento de manera continua en tiempo real. Tiene varias características distintivas. La primera es que el sujeto de interés es el paciente individual. Esta investigación se basa en gran medida en la respuesta del paciente al tratamiento y en el concepto de cambio clínicamente significativo aplicado a pacientes específicos. Una segunda característica importante es la evaluación repetida de la salud mental del paciente durante el curso de la atención. La evaluación de resultados dentro de la investigación centrada en el paciente requiere modificaciones significativas a los procedimientos de ponderación que se consideran estándar en los estudios de eficacia y efectividad, es decir, dichas evaluaciones no pueden ser extensas o largas. Una tercera característica importante es la confianza en las técnicas analíticas de datos longitudinales para modelar la respuesta esperada al tratamiento del paciente (o métodos comparables) y alertar a los terapeutas de que el paciente no responde al tratamiento según lo previsto. Los informes se generan para el uso de clínicos, pacientes y supervisores. La atención se centra en el progreso del paciente y la modificación del progreso deficiente en tiempo real. La evidencia basada en la práctica y la investigación centrada en el paciente ofrecen estrategias que pueden ser más relevantes para garantizar la mejor atención al consultante. Independientemente del tratamiento que reciba un paciente y del tipo de proveedor de tratamiento, es importante monitorear los efectos del tratamiento (Lambert, 2010).

En la investigación centrada en el paciente, la evaluación de resultados se lleva a cabo con el propósito de mejorar el tratamiento continuo al proporcionar retroalimentación a los clínicos. En los estudios de evidencia basados ​​en la práctica, las evaluaciones que de este modo se recopilan, se resumen en grupos de pacientes con el fin de mejorar la atención a nivel general (Lambert, 2010).

Los profesionales brindan tratamiento y recopilan datos para evaluar el progreso de los pacientes durante la terapia. Esto les permite a los investigadores ir armando bases de datos en continuo crecimiento que identifican patrones de cambio de los pacientes. Así, los investigadores han utilizado esta información para desarrollar herramientas para apoyar la toma de decisiones clínicas para la práctica clínica en tiempo real. El progreso empírico o la información de cambio se retroalimenta directamente a los terapeutas y pacientes tan pronto como esté disponible (Lutz et al., 2015). De ese modo, la investigación centrada en el paciente establece un intercambio permanente entre la investigación y la práctica.

La psicoterapia informada por retroalimentación

Los sistemas de retroalimentación basados ​​en datos psicométricos se han utilizado tanto en pacientes hospitalizados como ambulatorios (De Jong et al., 2014; Delgadillo et al., 2018; Strauss et al., 2015; Whipple et al., 2003). Han tenido un impacto significativo en el campo de la investigación en psicoterapia y han demostrado su potencial para mejorar los resultados del tratamiento, especialmente para pacientes con un mayor riesgo de fracaso (Lutz, De Jong & Rubel, 2015).

La psicoterapia informada por retroalimentación (PIR) es un enfoque panteórico para evaluar, mejorar la calidad y la eficacia de los servicios de salud mental. No exige que se desechen modelos y técnicas que funcionen con pacientes específicos, pero da lugar a ver esos enfoques de manera diferente y repensar las prácticas que no producen beneficios. La PIR implica la utilización de medidas válidas y confiables para evaluar de manera rutinaria y formal la alianza terapéutica y el progreso del tratamiento, utilizando los comentarios de los pacientes respecto de las evaluaciones para adaptar la prestación de la psicoterapia a lo que nos va diciendo el paciente (Bertolino & Miller, 2013).

El monitoreo de rutina y la retroalimentación ha tenido resultados inconsistentes en el campo de la investigación. Algunos estudios han encontrado que la retroalimentación tiene un efecto global positivo (Amble et al., 2015; Delgadillo, 2018; Hawkins et al., 2004). Otros estudios no han demostrado este efecto (Probst et al., 2014; Schöttke, Unrath, & Uhlmann, 2019; Strauss et al., 2015) o encontraron un efecto más pequeño, (De Jong et al., 2014; Simon et al., 2012; Whipple et al., 2003). Otra revisión sistemática reciente concluyó que actualmente no se puede probar un efecto global beneficioso para los sistemas de retroalimentación aplicados de manera rutinaria, pero también estableció un efecto favorable diferencial para los pacientes que no progresaban (Kendrick et al., 2016). Lambert y col. (2018) en una revisión sistemática encontraron que el efecto diferencial de la retroalimentación es pequeño (tamaño del efecto d = 0.33).

Modelos basados en medidas de rutina.

Sabemos del sesgo de autoevaluación de los psicoterapeutas, se ha encontrado que los terapeutas tienden a predecir en exceso la mejora de sus pacientes y no reconocen aquellos que pueden empeoran durante la terapia (Hannan, et al., 2005; Walfish, Mcalister, O’Donnell & lambert, 2012). Somos malos evaluadores de nuestro propio desempeño y malos pronosticadores de los resultados de nuestros pacientes, la utilización del monitoreo de rutina ayudaría a mejorar esto.

Se han desarrollado varios sistemas de medición de resultados para rastrear la respuesta al tratamiento del paciente y proporcionar información sobre la salud mental de este. En un artículo de hace unos años, Lyon y col. (2016) identificaron 49 sistemas de retroalimentación, marcando que una de las limitaciones de su trabajo es que no incluyeron todos los existentes. A continuación se desarrollaran cuatro de los modelos más representativos.

COMPASS

En 1986, los investigadores Howard, Kopta, kraus y Orlinksy demostraron que el cambio en la terapia seguía una trayectoria altamente predecible, conocida como “dosis-respuesta”, destacando la relación entre el progreso en el tratamiento y la cantidad de sesiones. Al examinar miles de sesiones y una veintena de estudios previos, los autores encontraron que la mayor parte del cambio se produce en las primeras sesiones. Esta evidencia podría ser usada para mejorar los tratamientos al marcar cuando deja de haber mejoría y poder hacer la revisión clínica correspondiente. Así, Howard y col. (1992) crean el primer sistema de seguimiento de evaluación de pacientes “The Integra Outpatient Tracking Assessment”. Este sistema permitiría determinar cuando el curso de progreso de un paciente se desvía significativamente de los casos que habían logrado un resultado exitoso (Howard, Moras, Brill, Martinovich & Lutz, 1996). Este sistema, luego, paso a llamarse comPass (Lueger, 2012). Está compuesto por 68 ítems distribuidos ​​en tres escalas: Bienestar actual, Síntomas actuales y Funcionamiento actual. Las mismas se suman y dan un índice de salud mental. Cuenta con escalas de apoyo que evalúan el vínculo terapéutico, problemas del paciente y calificaciones de los profesionales. Los pacientes y los profesionales deben completar las medidas de manera mensual a lo largo del tratamiento. Usando una variedad de técnicas de modelado estadístico, este sistema de retroalimentación proporciona una respuesta de tratamiento esperada. Se modela para cada paciente en función del grado de alteración inicial y varias variables del paciente, como la cronicidad de los problemas. Las desviaciones negativas significativas de la respuesta esperada de tratamiento se utilizan para alertar a los terapeutas sobre un posible fracaso del tratamiento. Además, el modelo de respuesta esperado de tratamiento utiliza varios indicadores de resultados deficientes. Como ventaja, el COMPASS proporciona la recopilación de datos tanto del clínico como del paciente. Las desventajas de este sistema implican la cantidad de tiempo requerido por los terapeutas y los pacientes para completar los formularios y la necesidad de enviar evaluaciones a un tercero para la calificación e interpretación.

Las investigaciones pioneras de Lambert

Casi mediada la década del 90 se publica el OQ-45 (Lambert, Lunnen, Umphress, Hansen & Burlingame, 1994) una escala para evaluar resultados de tratamientos, fácil de administrar, puntuar y con posibilidad de ser usada en todas las sesiones. Se la ha utilizado mayormente en diversos procedimientos dirigidos a reducir las tasas de deterioro y mejorar los resultados en pacientes con pronóstico de psicoterapia negativo.

Lambert, y col. (2001) fueron los primeros en investigar si los terapeutas que trabajaban con retroalimentación continua realmente tenían mejores resultados. En los tratamientos con mayor riesgo de fracaso, la retroalimentación resultó en una mayor retención, mejores resultados y tasas más reducidas de deterioro. Los pacientes que se beneficiaron de la atención terminaron el tratamiento antes y sin ningún impacto negativo en el resultado general. Al año siguiente, Lambert y col. (2002) replicaron estos hallazgos iniciales además de identificar la importancia en los resultados, de la disponibilidad por parte del terapeuta a utilizar la retroalimentación, la frecuencia con que se realiza y la inmediatez de la de la misma. En la misma línea, se encontró que los comentarios, respecto de las evaluaciones, entregados en el momento de la atención tuvieron un impacto considerablemente mayor en los resultados que los comentarios retrasados ​​en 2 semanas (Slade, Lambert, Harmon, Smart & Bailey, 2008). Esto se sumaba a que compartir los resultados con los pacientes e involucrarlos en una discusión sobre su progreso mejoró aún más su impacto (Hawkins, Lambert, Vermeersch, Slade & Tuttle, 2004).

Aunque la retroalimentación tenía un efecto sobre los resultados, algunos pacientes no se beneficiaban. Para estos había que hacer algo más aparte de la retroalimentación que recibía el terapeuta, lo que faltaba era información práctica para alterar el curso del tratamiento. Whipple y sus colegas (2003) desarrollaron y probaron un paquete de herramientas de apoyo clínico (HAC) diseñadas para complementar la retroalimentación. Cuando un caso se consideraba "fuera de lugar", es decir, que los resultados no eran los esperados, los terapeutas recibían información de cuestionarios completados por el paciente con respecto a la fuerza de la alianza de trabajo, la red de apoyo social existente y la disposición para el cambio. Esta información adicional produjo muy buenos efectos. Los pacientes de los terapeutas, que recibieron los datos de HAC, eran mucho más propensos a experimentar un buen resultado, logrando estos beneficios en menos sesiones y, además eran mucho menos propensos a deteriorarse.

Desde la perspectiva de Lambert se evalúa de manera rutinaria a los pacientes para identificar aquellos que no progresan, se trabaja con un árbol de decisiones y se hacen sugerencias de intervención para abordar las áreas problemáticas, buscar supervisión y posiblemente hacer cambios radicales en el proceso psicoterapéutico. Es importante destacar, que en Argentina contamos con una adaptación del OQ 45.2 (Maristany & Fernández Álvarez, 2010) que ha permitido lograr avances en la producción del conocimiento científico en el campo de la psicoterapia en el contexto nacional.

CORE

Barkham y sus colegas (2001) crearon el sistema de resultados clínicos en la evaluación de rutina (CORE). El CORE consta de tres herramientas independientes. La Medida de Resultado CORE (CORE-OM) es un cuestionario de autoinforme de 34 ítems, que contesta el paciente, y se administra antes y después de la terapia. También existen versiones más breves para usar con más frecuencia. Proporciona una puntuación que indica la angustia psicológica actual. La segunda herramienta, un Formulario de evaluación de la terapia, es completada por los profesionales para presentar un perfil al paciente, presentando inquietudes y un camino hacia el tratamiento. El profesional también completa un formulario de fin de terapia. Resalta el proceso durante la terapia, la terminación y las impresiones subjetivas del resultado. Cada vez que el CORE-OM se vuelve a administrar, otra herramienta (CORE-PC) puede mostrar qué casos se han deteriorado, no han cambiado o han ingresado en los rangos de funcionamiento normal. El progreso se supervisa y la información se transmite a los clínicos. Sin embargo, la fortaleza del sistema reside principalmente en los datos que proporciona a los administradores y gerentes de los sistemas de prestación de servicios.

PCOMS

El sistema de gestión de resultados de Partners for Change (PCOMS; Miller, Duncan, Sorrell y Brown, 2005). El PCOMS utiliza dos escalas de 4 ítems (analógicas visuales), una que se enfoca en el resultado la Escala de Calificación de Resultados (ORS) (Miller & Duncan, 2004) y la otra para evaluar la alianza terapéutica, la Escala de Calificación de Sesión (SRS) (Duncan et al., 2003). Cuenta con versiones para adultos, niños y niñas pequeños, así como una versión para uso en terapia de grupo.

El ORS se administra al comienzo de la sesión, se les pide a los pacientes que reflexionen sobre la semana anterior (o desde la Primera entrevista) y coloque una marca en cuatro líneas, cada una representando un área de funcionamiento diferente (bienestar individual, interpersonal, social y general). El SRS, por el contrario, se completa al final de cada entrevista. Aquí nuevamente, el consultante coloca una marca en cuatro líneas, que hacen referencia a la alianza terapéutica (calidad del vínculo; objetivos y tareas; enfoque y método; y en general). En ambas medidas, las líneas son de 10 centímetros de longitud. La puntuación es una cuestión simple de determinar la distancia en centímetros (al milímetro más cercano) entre el polo izquierdo y la marca realizada por el paciente en cada línea por separado y luego sumar los cuatro números para obtener la puntuación total. Las escalas están disponibles en varios idiomas en http://scottdmiller.com/performance-metrics. (Prescott, Maeschalck & Miller, 2017). En el mismo sitio WEB se encuentra una traducción de las escalas al español realizado por el autor de este artículo y la Lic. Sol Bohé.

La escala ORS correlaciona modestamente con otras medidas de resultados como el SCL-90-R (.57), el CORE-34 (.67) y el OQ-45 (.58) (Duncan y Miller, 2008). Debido a su brevedad, esta escala proporciona una descripción más general del cambio (calificación global) en lugar de los síntomas específicos más usuales que proporcionan las escalas más extensas. Tiene la ventaja de involucrar directamente tanto al clínico como al paciente en el proceso de medir y discutir tanto el progreso como la relación de trabajo. En cada sesión, el terapeuta proporciona la escala al paciente. Además, como la puntuación se lleva a cabo en la sesión, la retroalimentación es inmediata.

Si bien el modelo de Barkham y el de Lambert cuentan con medidas breves, el PCOMS es el más breve de todas y permite utilizar las escalas en todas las sesiones sin que lleve más de dos minutos contestarlas. Es una alternativa a la evaluación extensa que tan poco les gusta a los clínicos. La gran mayoría de estos no quieren dedicarle tanto tiempo a las evaluaciones de rutina.

Tanto el OQ – 45, el ORS y SRS figuran en el registro nacional de Programas y Prácticas basadas en la evidencia de la administración de servicios de abuso de sustancias y salud mental (https://www.samhsa.gov/nrepp) de EEUU.

Todos los modelos desarrollados en este apartado cuentan con un número creciente de aplicaciones basadas en computadora disponibles que pueden simplificar y acelerar el proceso de administración, puntaje, interpretación y agregación de datos. Tienen la ventaja adicional de proporcionar un cálculo en tiempo real de los resultados del proveedor y del programa, así como una comparación normativa para juzgar el progreso de cada paciente y determinar el riesgo.

La retroalimentación como primer paso para ser más efectivo

El uso de la retroalimentación no implica lograr siempre mejores resultados. Hay variabilidad en los mismos. De hecho, algunos utilizan los modelos de retroalimentación con un efecto considerable, mientras que otros experimentan poca mejora en los resultados de los pacientes (DeJong, Van Sluis, Nugter, Heiser & Spinhoven, 2012; Sapyta, Riemer & Bickman, 2005). Pareciera ser que esta variabilidad depende de los psicoterapeutas.

Se describieron tres pasos que ayudaban a los terapeutas a ser más efectivos (Miller, Hubble & Duncan, 2007; Rousmaniere, Goodyear, Miller & Wampold, 2017) determinar un nivel básico de efectividad, obtener retroalimentación sistemática y continua, y realizar práctica deliberada. DeJong y col. (2012) demostraron que los terapeutas que evaluaban a sus pacientes pero que no utilizaban esa información tenían menores resultados que aquellos terapeutas que si utilizaban la información para corregir el tratamiento. Así, para obtener todo el potencial de medición y retroalimentación, según estos autores, se requiere el tercer paso: la práctica deliberada. Esta implica un experto o supervisor que evalúe el nivel actual de desempeño e identifique el próximo objetivo a alcanzar para cada psicoterapeuta y ayudarlo a participar en una actividad de capacitación que permita alcanzar el objetivo propuesto. Para llevar a cabo la práctica deliberada con éxito entre las reuniones con el experto, se debe programar la práctica y monitorearla para ir haciendo los ajustes necesarios para lograr los objetivos planteados (Ericsson, 2018). En síntesis, reservar un tiempo para reflexionar sobre el desempeño de uno, recibir orientación sobre cómo mejorar aspectos específicos de la práctica terapéutica, practicar y monitorear lo que se práctica mejora la efectividad.

Chow y col. (2015) publicaron el primer estudio sobre el papel de la práctica deliberada en el desarrollo de terapeutas altamente efectivos. Encontraron que no había relación entre el resultado de la psicoterapia y una variedad de variables de los profesionales, incluidos datos demográficos, prácticas laborales, participación en actividades de desarrollo profesional, creencias sobre aprendizaje y desarrollo y evaluaciones personales de la eficacia terapéutica, pero si encontraron como un predictor de buenos resultados la cantidad de tiempo que los terapeutas dedicaron a actividades destinadas a mejorar su capacidad. Recientemente Anderson y col. (2019) llegaron a resultados similares.

El modelo de PIR de Prestcott, Maeschalck y Miller

Es un modelo basado en la utilización del ORS y SRS y sus derivados. La utilización de las escalas se ha relacionado con una reducción de las tasas de terminación prematura, mayor participación de los pacientes en el proceso terapéutico, menor duración del tratamiento y una mejora significativa en los resultados de los pacientes (Miller y Schuckard, 2014). El monitoreo de rutina de los resultados y las puntuaciones de la alianza ofrece a los terapeutas la oportunidad de identificar cuándo su trabajo con los pacientes es efectivo, incierto o inefectivo. Cuando los comentarios de los pacientes indican una falta de progreso o problemas con la alianza terapéutica, los terapeutas tienen la oportunidad de considerar cambiar su enfoque para mejorar la probabilidad de ayudar a los pacientes a lograr el progreso que desean. Comprender el progreso del consultante en función de los comentarios obtenidos a través de la administración de estas escalas, amplía la utilidad clínica de la PIR y maximiza el potencial de resultados positivos de la terapia en una variedad de modalidades y configuraciones de tratamiento. Obtener y utilizar la retroalimentación de los pacientes para informar las decisiones de tratamiento puede conducir a mejores resultados para estos y el uso de estos datos puede informar sobre posibles estrategias de desarrollo del terapeuta al señalar fortalezas y áreas de mejora. Dirigirse al desarrollo profesional y monitorear el impacto de las estrategias de mejora en la efectividad del clínico en un proceso de "práctica deliberada" puede ayudar a los terapeutas a adaptar sus esfuerzos de desempeño a medida que se dirigen hacia mejores resultados clínicos (Prescott, Maeschalck & Miller, 2017).

Cuatro áreas principales de competencia en PIR:

1. Fundamentos de la investigación: incluye conocimientos de la investigación sobre la alianza terapéutica, los resultados de la atención que se brinda y la investigación general sobre el desempeño de expertos y su aplicación a la práctica clínica. Esta área de competencia también incluye familiaridad con las medidas de alianza y resultados que sean válidas y confiables.

2. Implementación: integración de los datos sobre el progreso del tratamiento y el proceso, informados por los pacientes garantizando una atención en función de las preferencias y valores de estos.

3. Medición e informe: documentar de forma rutinaria los datos de la alianza terapéutica y los resultados de los servicios clínicos. También implica proporcionar detalles en los informes de los resultados para evaluar la precisión y la generalización de los mismos.

4. Mejora profesional continua: los profesionales deben determinar su nivel básico de desempeño; comparando su nivel de desempeño con las mejores normas, estándares o puntos de referencia disponibles; y desarrollar y ejecutar un plan para mejorar del mismo. Lo que implica, desarrollar y ejecutar un plan de práctica deliberada para lograr un rendimiento superior.

Entre las razones para trabajar con PIR es que si se utiliza de manera adecuada mejora los resultados del paciente que tenemos enfrente, identifica áreas donde los clínicos pueden mejorar su desempeño y detecta los casos en riesgo de empeorar o abandonar el tratamiento. Los obstáculos para utilizar la retroalimentación son la adherencia a un modelo teórico particular, creer que ya está utilizando esa información y en realidad estar haciéndolo de manera intuitiva y pensar que usar este sistema lentifica el tratamiento (Prescott, Maeschalck & Miller, 2017).

Cultura de la retroalimentación

Uno de los pilares básicos del modelo es establecer una cultura de la retroalimentación en la que los pacientes se sientan seguros para proporcionar comentarios honestos sobre la terapia.

Crear una cultura de la retroalimentación implica una actitud genuina de apertura y receptividad, tomarse el tiempo para introducir medidas de resultados y alianzas a los pacientes de una manera exhaustiva y reflexiva. Proporcionar una justificación para usar las herramientas es fundamental, ya que describe cómo se usará la retroalimentación para guiar el proceso psicoterapéutico (por ejemplo, lo que permite al terapeuta detectar y reparar las rupturas de la alianza, evitar el abandono, corregir las desviaciones de las experiencias de tratamiento óptimas). Además, es importante que el paciente entienda que el terapeuta no se va a ofender ni a ponerse a la defensiva en respuesta a la retroalimentación. Además, los terapeutas deben tomar con seriedad las preocupaciones de los pacientes con respecto al proceso de tratamiento y evitar la tentación de interpretar clínicamente la retroalimentación (Prescott, Maeschalck & Miller, 2017).

No es fácil obtener una verdadera "cultura de retroalimentación". Los terapeutas deben trabajar para desarrollar una relación transparente y de confianza desde el punto de vista de sus pacientes y deben ser sensibles y adaptarse a los distintos niveles de comodidad de ellos para proporcionar comentarios. Comprender por qué está haciendo algo puede facilitar el abordaje. Proporcionar una justificación a los pacientes acerca de por qué su retroalimentación honesta es importante para ayudarlos a lograr sus objetivos abre la puerta para obtener retroalimentación honesta y útil. Uno puede establecer el escenario para una cultura de retroalimentación recordando a los pacientes que la terapia está destinada a ayudarlos a sentirse mejor y asegurarles que su retroalimentación es la única manera de ayudar a adaptar los servicios con precisión para satisfacer mejor sus necesidades si las cosas no funcionan. Si los pacientes sienten que su terapeuta no se siente cómodo con la retroalimentación, es probable que afecte la cantidad y el tipo de retroalimentación que van a brindar, y no se expresarán sobre su experiencia de terapia.

Los terapeutas deben ser conscientes de lo que sienten y deben ser transparentes con los pacientes, haciéndoles saber que no se tomará ninguna ofensa de los comentarios negativos. Demostrar apertura a la retroalimentación con el tiempo contribuirá a que los consultantes se sientan seguros para compartir sus pensamientos y sentimientos sobre la terapia. A menudo, recordarles que no se tomarán comentarios personalmente y que incluso las cosas más pequeñas, que pueden parecer triviales, pueden ayudar a facilitar la comodidad al proporcionar comentarios. Los terapeutas que buscan crear una verdadera cultura de retroalimentación deben reflexionar sobre sus propios sentimientos y reacciones a la retroalimentación, tanto positiva como negativa. Cuando surgen respuestas humanas naturales a la retroalimentación, ser transparente puede aumentar la conexión dentro de la relación terapéutica.

El equilibrio en esta estrategia es ser transparente, al tiempo que se presenta la respuesta de una manera que demuestre claramente que el comentario inicial se puede resolver o trabajar. Buscar supervisión y apoyo clínico también puede ser útil en este proceso. A medida que los terapeutas trabajan arduamente para crear un ambiente seguro y trabajan para administrar sus experiencias y obtener comentarios de los pacientes, también deben enfocarse en obtener comentarios valiosos y útiles. Hacer las preguntas correctas es probable que provoque comentarios sobre los que se pueda trabajar. Las preguntas centradas en tareas pueden reducir las posibilidades de que los pacientes proporcionen comentarios de evaluación vagos y ayuden a generar comentarios específicos sobre los que se pueda realizar (Prescott, Maeschalck & Miller, 2017).

En función de la evaluación de miles de pacientes, Miller y col. (2004) identificaron distintos patrones de tratamiento a los cuales denominaron respuestas esperadas de tratamiento. Estos patrones tienen sus características y sus recomendaciones para trabajar. Entre ellos nombran el Sangrado, cuando los niveles de angustia suben constantemente; Inmersión, cuando las puntuaciones aumentan pero luego disminuyen abruptamente; Balanceo o Fluctuación, ciclo constante de altibajos en las puntuaciones; Puntuaciones de mesetas, cuando los pacientes han progresado y el funcionamiento ha mejorado, las puntuaciones de los resultados a menudo se estancan con pocos cambios que ocurren de una sesión a otra (Prescott, Maeschalck & Miller, 2017).

Existe evidencia de que las alianzas mejoran más durante el curso del tratamiento para pacientes que reciben tratamiento con monitoreo de rutina de resultados y comentarios de la alianza; que para aquellos que reciben tratamiento sin monitoreo (Janse, De Jong, Van Dijk, Hutschemaekers & Verbraak, 2017; McClintock, Perlman, McCarrick, Anderson & Himawan, 2017). Hay razones para creer que el monitoreo de rutina podría influir en la calidad de la alianza. Es decir, al prestar mucha atención a si la terapia es útil para el paciente, y tomar medidas inmediatas cuando este no sea el caso, es probable que facilite y desarrolle una relación de trabajo colaborativa. (Brattland, H., Koksvik, J. M., Burkeland, O., Klöckner, C. A., Lara-Cabrera, M. L., Miller, S. D. & Iversen, V. C. 2019).

La PIR ofrece oportunidades para mejorar los resultados del paciente, paciente a paciente, prestando atención a los comentarios de estos y ajustando el ejercicio de la psicoterapia en consecuencia. De hecho, los resultados del uso de PIR están bien documentados en la reducción de abandonos y mejores resultados.

Supervisión informada por retroalimentación y práctica deliberada

Tenemos evidencia de que la supervisión orientada en la retroalimentación favorece mejores resultados. Reese et al. (2009) realizó un estudio controlado de 19 psicoterapeutas que trabajaron con 115 casos durante un año. En el estudio, compararon el efecto de la supervisión mediante la retroalimentación de resultados de rutina con el efecto de la supervisión sin retroalimentación de resultados de rutina. Los terapeutas en el grupo de retroalimentación tuvieron resultados significativamente mejores que los terapeutas en el grupo sin retroalimentación. Esto implica que el efecto de la supervisión aumenta al incluir la retroalimentación de los pacientes en la supervisión.

La supervisión de la PIR está guiada por los comentarios de la alianza y los resultados proporcionados por los pacientes. Es un enfoque metateórico que se puede aplicar en distintas modalidades terapéuticas. Tiene dos objetivos generales: garantizar que la psicoterapia tenga un impacto positivo y mejorar la efectividad del clínico (Bargmann, 2017). Es decir, mejorar las competencias terapéuticas provocando un efecto en el profesional y favorecer mejores resultados en los pacientes.

Se trabaja sobre los casos en los que la retroalimentación indica un motivo de preocupación y se desarrollan ideas para trabajar con el paciente de una manera más útil. Trabajando con los datos de la retroalimentación de la alianza y de los resultados de los pacientes, la supervisión se puede usar para identificar áreas específicas de mejora para el psicoterapeuta y desarrollar un plan para la práctica deliberada (Bargmann, 2017).

Para crear un entorno propicio para el aprendizaje y el desarrollo de nuevas ideas y estrategias, es importante crear una cultura que esté centrada en los errores, lo que significa que los errores se valoren como oportunidades de aprendizaje. Como parte de la creación de esta cultura, es importante tener un diálogo abierto y transparente sobre las dificultades, así como sobre los éxitos, además se debe solicitar la opinión continua de los supervisados ​​sobre el proceso de supervisión. Una parte crucial de la creación de un clima de supervisión es establecer pautas para la comunicación en la sesión de supervisión. La comunicación debe ser clara, respetuosa y basada en el reconocimiento del otro. El supervisor puede actuar como un modelo a seguir, compartiendo como aprendió de sus propios errores, demostrando cómo usar PIR en la práctica, u ofreciendo hacer una "entrevista en vivo" con un paciente para demostrar cómo trabajar con PIR en la práctica. Para proporcionar el apoyo necesario, es importante que los supervisores utilicen PIR en su propio trabajo clínico y estén bien versados ​​en la investigación y los principios que respaldan el modelo. El supervisor se enfoca en asegurarse de que la retroalimentación se esté utilizando activamente al discutir y planificar el tratamiento de un paciente.

En la supervisión de la PIR, el supervisor está equilibrando dos "roles" o perspectivas, al mismo tiempo: una perspectiva administrativa y una clínica. Estas perspectivas requieren diferentes acciones del supervisor. Desde una perspectiva administrativa, la atención se centra en cómo y con qué medida se recopilan y utilizan los comentarios formales de los pacientes sobre el progreso y la alianza terapéutica. En la segunda, la perspectiva clínica, el enfoque está en trabajar con los psicoterapeutas sobre casos clínicos específicos y en desarrollar ideas y sugerencias sobre cómo el supervisado puede avanzar con un paciente en particular. Parte de la supervisión clínica puede incluir trabajar sobre cómo crear una cultura de retroalimentación con los pacientes, es decir, cómo se introducen las medidas de retroalimentación y cómo se utiliza la retroalimentación en la sesión con el paciente. El objetivo principal es facilitar el manejo de la retroalimentación e integrarla con el paciente en el trabajo clínico. Es importante que la supervisión se centre en trabajar con "casos de riesgo", es decir, pacientes en riesgo de deserción, deterioro, o tratamiento ineficaz. La supervisión de la PIR se puede aplicar en formatos de supervisión individual o grupal (Bargmann, 2017).

Este modelo de supervisión está compuesto por tres pasos: Presentación básica del paciente utilizando un formato específico, explorar los gráficos o resultados la de retroalimentación centrados en la alianza terapéutica, y las reflexiones (ya sea del supervisor o del grupo de supervisados).

La presentación del caso debe ser breve así se evita que el clínico comparta demasiadas de sus ideas sobre el caso con el supervisor y el equipo, permitiendo una reflexión más libre permitiendo brindar nuevas perspectivas sobre el caso.

El paso dos, explorar los gráficos o resultados la de retroalimentación centrados en la alianza terapéutica. Implica revisar y comprender la alianza terapéutica e identificar que es lo que el paciente necesita en términos de la Alianza. Desde este modelo se utiliza la alianza terapéutica como el centro de la supervisión. Cuando el tratamiento no avanza, el primer lugar para hacer ajustes es la colaboración entre el terapeuta y el paciente, explorando e intentando comprender mejor lo que el paciente quiere en términos de la alianza terapéutica. Esto se puede hacer hablando específicamente sobre las áreas de la alianza, explorando los movimientos de los gráficos de retroalimentación e investigando las explicaciones del paciente y la retroalimentación de las sesiones.

La reflexión es el paso tres. En la supervisión individual, la reflexión se realizará cuando el supervisor comparte sus pensamientos e ideas sobre el caso. Las reflexiones se centran específicamente en el gráfico o los resultados de la alianza terapéutica y la retroalimentación. El objetivo es proporcionar tantas ideas y reflexiones como sea posible, dando al psicoterapeuta la oportunidad de obtener nuevas ideas y ayudar a cambiar la forma en que está trabajando con el paciente. Las reflexiones del supervisor sobre "lo que debe suceder ahora" también están influenciadas por la duración del tratamiento. Se puede proporcionar el significado de las trayectorias predictivas (la zona verde, cuando todo va bien y la roja, cuando hay riesgo, en el gráfico) que dan una predicción de cuánto cambio es necesario para considerar que el tratamiento está bien encaminado. El supervisor también puede hacer referencia a la investigación sobre qué tan rápido ocurre un cambio en un tratamiento exitoso, mostrando que si el cambio no ha ocurrido dentro de las primeras ocho sesiones o semanas, entonces existe el riesgo de cambio de tratamiento. Las recomendaciones para tratar los casos que no progresan son las siguientes:

*Después de una a tres sesiones o semanas: Considere cambios o ajustes más pequeños a la alianza (por ejemplo, los objetivos, los medios o los métodos, o de relación).

*Después de seis o siete sesiones o semanas: considere cambios más grandes, como agregar elementos al tratamiento (por ejemplo, un tratamiento más intensivo, un tratamiento grupal, consultar a un psiquiatra).

* Después de nueve o 10 sesiones o semanas: Considere cambiar el tratamiento o el profesional.

En la supervisión de grupo, el equipo reunido debe crear tantas reflexiones sobre el caso como sea posible, centrándose en el gráfico de retroalimentación y la alianza terapéutica. El objetivo es crear un diálogo grupal que pueda generar un gran número de hipótesis e ideas para brindar al clínico nuevas perspectivas e ideas sobre cómo trabajar con sus pacientes.

El objetivo es ayudar al clínico a tomar conciencia de los elementos de la alianza que tal vez no entiendan completamente (es decir, las preferencias o el propósito del paciente para buscar tratamiento) o aclarar qué preguntas necesita hacer al paciente para entender completamente lo que quiere.

Es importante que el supervisor se asegure de que el psicólogo no se sienta criticado por las reflexiones o sienta la necesidad de descartar o discutir las reflexiones con el equipo. Esto se puede hacer asegurándose de que las reflexiones se centren específicamente en los datos de retroalimentación y la alianza y que se hagan de manera abierta, hipotética y validando las intervenciones del psicoterapeuta. Además se debe resguardar que el clínico comprenda que puede tomar las ideas que son útiles y no tener en cuenta a las demás. Durante las reflexiones, el supervisor debe mantener el proceso en marcha. Las reflexiones pueden derivar fácilmente en reflexiones más "tradicionales" que son más técnicas, teóricas o de diagnóstico. Estas reflexiones no son congruentes con la perspectiva de la PIR, que es metateórica y se enfoca en entender la alianza en lugar de entendimientos teóricos específicos. Si se mencionan estas reflexiones, el supervisor debe ayudar al equipo reafirmando el enfoque de la supervisión de PIR y redirigiendo la atención a los elementos de la alianza. Al iniciar una cultura de supervisión de PIR, el supervisor necesita crear activamente un contexto de supervisión seguro, de reconocimiento y útil para los supervisados (Bargmann, 2017).

Como se menciono anteriormente la supervisión de la PIR está orientada al desarrollo profesional continuo. El proceso de trabajo de desarrollo profesional debe ser enfocado y deliberado, especificando las áreas de mejora y, al mismo tiempo, realizar un seguimiento del impacto de la práctica en el resultado del clínico. Este desarrollo puede lograrse mediante la práctica deliberada. (Bargmann, 2017). Con la ayuda del monitoreo de rutina de los resultados, puede realizarse un plan ejecutable para la práctica deliberada para lograr que los profesionales avancen más allá de su capacidad actual. Esta tipo de práctica tiene cuatro componentes, objetivos de aprendizaje individualizados, un supervisor, retroalimentación inmediata sobre el desempeño y refinamiento sucesivo (Chow, 2017).

Investigación reciente (Anderson, Perlman, McCarrick & McClintock, 2019) indica que la práctica modelada, que incluyo ver videos de pacientes, ver intervenciones “buenas” y “malas” y practicar las más adecuadas, tiene un efecto de mejora en las habilidades interpersonales de facilitación. Los efectos de la práctica modelada se produjeron incluso sin ningún comentario didáctico específico.

Convertirse en un profesional más efectivo requiere un paso adicional más allá de la simple recopilación de comentarios de nuestros pacientes, requiere participar en prácticas deliberadas.

Variables moduladoras de la retroalimentación

No todos los pacientes con los cuales se trabaja con retroalimentación mejoran. Hay variabilidad en los resultados. Se ha empezado a estudiar cuales son las variables que pueden modular los efectos de este tipo de proceso.

La Teoría de intervención de retroalimentación contextual sostiene que la provisión de retroalimentación precisa es un factor crítico en la mejora del proceso de autorregulación. El modelo tiene como elementos relevantes el compromiso con los objetivos, que implica el interés que una persona tiene en lograr una meta. Las teorías de la autorregulación proponen que la discrepancia entre un estado de meta deseado y el estado de meta actual real provocan que una persona ajuste su comportamiento. Una persona debe estar comprometida con el objetivo y ser consciente de una discrepancia para estar motivada para cambiar el comportamiento. Otro componente del modelo es el Feedback, los psicoterapeutas también deben ser conscientes de que no se ha logrado un objetivo. Esta es la función de la retroalimentación. La retroalimentación le da a los profesionales conocimiento acerca de cuán cerca o lejos están de lograr el objetivo. Además sostienen que son varios los factores que influyen sobre la retroalimentación, como la fuente, el contenido, si es positiva o negativa y el formato. Todos estos factores afectan la cantidad de atención que un clínico prestará a los comentarios y la probabilidad de que los acepte como precisos (Sapyta, Riemer & Bickman, 2005).

La teoría de intervención de retroalimentación contextual postula que proporcionar a los terapeutas retroalimentación negativa (es decir, información sobre una discrepancia entre su desempeño actual y alguna meta deseada, como ayudar al paciente a mejorar) motiva la acción correctiva. Se cree que esto es especialmente cierto si la retroalimentación es directa, específica a los comportamientos de los terapeutas, prontamente entregada y proviene de una fuente creíble (Sapyta, Riemer & Bickman, 2005). Como tal, se teoriza que los sistemas basados en la retroalimentación funcionan a través de la corrección de sesgos cognitivos que evitan que los terapeutas detecten los fracasos del tratamiento (Macdonald & Mellor-Clark, 2015).

También se ha demostrado que la actitud o el compromiso personal del terapeuta es un factor modulador significativo (Ioannidis et al., 2014; Lutz et al., 2015) de los resultados.

En reciente estudio (Brattland, H., Koksvik, J. M., Burkeland, O., Klöckner, C. A., Lara-Cabrera, M. L., Miller, S. D. & Iversen, V. C., 2019) comparando el uso de la psicoterapia con y sin retroalimentación se encontró que las puntuaciones de la alianza de los pacientes aumentaron más cuando se uso la retroalimentación, que en la condición de tratamiento habitual, y más aumento de la alianza predijo menor deterioro posterior al tratamiento. Por lo tanto, la alianza funcionó como mediador del efecto de la evaluación de rutina y la retroalimentación.

Conclusiones

La razón básica detrás del concepto de proporcionar retroalimentación se basa en el sentido común. Si los terapeutas obtienen información sobre lo que funciona, y tal vez y más importante aún, lo que no funciona, su rendimiento mejorará (Lambert, 2010). Y mejorará más si hacemos algo con esa información como modificar el tratamiento o crear planes de práctica deliberada para refinar nuestras competencias.

Para que los psicoterapeutas aprendan de la experiencia, necesitan conocer los resultados del paciente, es decir, saber cómo se siente a partir de pruebas objetivas. Necesitamos saber cuáles son las consecuencias de nuestras acciones de boca de los consultantes. Esto permite mejorar el rendimiento, siempre y cuando tomemos en cuenta los comentarios y realicemos algún plan para mejorar en tal sentido. Si queremos, por ejemplo, aprender hacer kitesurf, ¿Cómo aprenderíamos? Podemos aprender con un instructor o solos (esta última no es muy aconsejable para el aprendizaje del kitesurf) por ensayo y error. En principio, estas dos maneras de aprendizaje tienen retroalimentación, una, lo que nos va diciendo el instructor, la otra, lo que nos va diciendo la experiencia. En las dos maneras tenemos que observar los resultados. Ahora, si usted aprende solo y con los ojos vendados (aparte de ser catastrófico) no se enterará si mejora o no. Lo mismo sucede si contrata un instructor y se venda los ojos. Sintetizando debemos conocer los resultados de nuestras acciones para saber si vamos mejorando. Lamentablemente, la situación inusual de aprender a hacer kitesurf con los ojos vendados, no es tan inusual cuando se aprende a ser psicoterapeuta, mayormente “aprendemos” sin pruebas objetivas sobre los resultados.

Para que la retroalimentación funcione tiene que tener sentido para el paciente, este tiene que saber para que se utiliza. A partir de una revisión de estudios cualitativos Solstad, Castonguay y Moltu (2019) sobre como los pacientes evalúan los procesos de distintos modelos de feedback, encontraron que estos pueden ser útiles u obstaculizar las terapias psicológicas. Los autores hallaron que los pacientes pueden experimentar la PIR como sospechosa y limitada en su capacidad de capturar la complejidad de sus vidas y sus necesidades. Cuando los pacientes tienen que responder cuestionarios obligatoriamente, sin una justificación adecuada, o sin ver los resultados, la PIR puede ser un proceso obstaculizador, o ser tomado como algo burocrático. En consecuencia, un paso para abordar las limitaciones de los sistemas basados en feedback actuales es involucrar a los usuarios del servicio en la construcción o modificación de las medidas de resultado (en términos de su responsabilidad y formato), decidir cuándo y cómo usarlos, fomentando la propiedad de las medidas y los datos, y asegurando que las medidas se apliquen en un "contexto compartido de toma de decisiones" (Wolpert et al., 2016). Además, debemos asegurarnos de que los pacientes sepan para qué se utilizarán los datos, y tener en cuenta que es posible que necesiten asegurarse de que estos no se utilizarán para reducir o negar el acceso a los servicios. Alentarles que, cuando se aplica para empoderar a los pacientes y fomentar la práctica de colaboración, la PIR puede convertirse en un proceso útil. Dentro del contexto de un buen vínculo terapéutico, la PIR se puede utilizar para estimular la reflexión y la conversación, mejorar la comunicación y proporcionar a los pacientes retroalimentación sobre su progreso, así como permitirles participar en la toma de decisiones y "criticar" los servicios que están recibiendo (Happell, 2008). Como sostienen Boswell y col. (2015) la PIR debe aplicarse de manera flexible, transparente y no jerárquica.

De todo este cuerpo acumulativo de conocimiento podemos decir que el monitoreo de rutina de los resultados y la retroalimentación correspondiente tienen un doble efecto. Por un lado sobre nuestros pacientes y, por otro, sobre los psicoterapeutas. Sabemos que retroalimentación es efectiva, especialmente para pacientes en riesgo de fracaso, que los efectos de la retroalimentación se pueden mejorar mediante el uso de herramientas de apoyo para la toma de decisión, que incluyen sugerencias clínicas para adaptar o mejorar los tratamientos. Es decir, tiene un impacto sobre los resultados de los procesos psicoterapéuticos, sobre nuestros pacientes. Además, la evaluación de resultados de rutina permite identificar áreas de desarrollo personal, al brindar información para crear planes de práctica deliberada para mejorar competencias terapéuticas.

Para obtener mejores resultados necesitamos lograr que nuestros pacientes sepan para que y por qué se utiliza la evaluación de rutina y la retroalimentación. Esto se debería lograr en un espacio flexible, de transparencia y de respeto por las preferencias de nuestros pacientes, que en definitiva es por ellos que hacemos lo que hacemos. Como sostienen Fernández-Álvarez, Fernández-Alvarez y Castonguay (2018) aquellos que deberían beneficiarse más de estos desarrollos no somos nosotros los investigadores ni nosotros los clínicos, sino los pacientes que sufren y buscan ayuda. En última instancia, ellos son quienes darán el veredicto sobre el valor y la utilidad de nuestra tarea.

Referencias

Anderson, T., Perlman, M. R., McCarrick, S. M., & McClintock, A. S. (2019). Modeling therapist responses with structured practice enhances facilitative interpersonal skills. Journal of Clinical Psychology.

Amble, I., Gude, T., Stubdal, S., Andersen, B. J., & Wampold, B. E. (2015). The effect of implementing the Outcome Questionnaire-45.2 feedback system in Norway: A multisite randomized clinical trial in a naturalistic setting. Psychotherapy Research, 25(6), 669-677.

Barkham, M., Delgadillo, J., Firth, N., & Saxon, D. (2018). La evidencia basada en la práctica y la ley de la variabilidad en el tratamiento psicológico. Revista Argentina de Clínica Psicológica, 27(2), 115-135.

Barkham, M., Hardy, G., & Mellor-Clark, J. (eds.). (2010). Developing and delivering practice-based evidence. http://dx.doi.org/10.1002/9780470687994

Barkham, M., Margison, F., Leach, C., Lucock, M., Mellor-Clark, J., Evans, C., . . .McGrath, G. (2001). Service profiling and outcomes benchmarking using the Core-OM: Toward practice-based evidence in the psychological therapies. Journal of Consulting and Clinical Psychology, 69, 184–196.

Bargmann, S. (2017). Achieving Excellence through Feedback-Informed Supervision. En Prescott, D. S., Maeschalck, C. L., & Miller, S. D. Feedback-informed treatment in clinical practice: Reaching for excellence. American Psychological Association.

Bertolino, B., & Miller, S. D. (Eds.). (2013). The ICCE feedback-informed treatment manuals (vols. 1–6). Chicago, IL: International Center for Clinical Excellence.

Boswell, J. F., Kraus, D. R., Miller, S. D., & Lambert, M. J. (2015). Implementing routine outcome monitoring in clinical practice: Benefits, challenges, and solutions. Psychotherapy Research, 25(1), 6–19. doi:10.1080/10503307.2013.817696

Brattland, H., Koksvik, J. M., Burkeland, O., Klöckner, C. A., Lara-Cabrera, M. L., Miller, S. D. & Iversen, V. C. (2019). Does the working alliance mediate the effect of routine outcome monitoring (ROM) and alliance feedback on psychotherapy outcomes? A secondary analysis from a randomized clinical trial. Journal of counseling psychology, 66(2), 234.

Castonguay, L., Barkham, M., Lutz, W., & McAleavy, A. (2013). Practice-oriented research: Approaches and applications. En Lambert M. L. (Ed.), Bergin and Garfield’s handbook of psychotherapy and behavior change, (6th ed., pp. 85–133). New York, NY: Wiley & Sons.

Chow, D. (2017). The practice and the practical: Pushing Your clinical Performance to the next level. En Prescott, D. S., Maeschalck, C. L., & Miller, S. D. Feedback-informed treatment in clinical practice: Reaching for excellence. American Psychological Association.

Chow, D. I., Miller, S. D., Seidel, J. A., kane, R. T., Thornton, J. A., & Andrews, W . P. (2015). The role of deliberate practice in the development of highly effective psychotherapists. Psychotherapy, 52, 337–345. http://dx.doi.org/10.1037/ pst0000015

Cuijpers, P., Smit, F., Bohlmeijer, E., Hollon, S. D., & Andersson, G. (2010). Efficacy of cognitive–behavioural therapy and other psychological treatments for adult depression: meta-analytic study of publication bias. The British Journal of Psychiatry, 196, 173–178. http://dx.doi.org/10.1192/bjp.bp.109.066001

De Jong, k., Van Sluis, P., Nugter, M. A., Heiser, W. J., & Spinhoven, P. (2012). understanding the differential impact of outcome monitoring: Therapist variables that moderate feedback effects in a randomized clinical trial. Psychotherapy Research, 22, 464–474. http://dx.doi.org/10.1080/10503307.2012.673023

De Jong, K., Timman, R. Hakkaart-Van Roijen L., Vermeulen P., Kooiman K., Passchier J., et al. (2014) The effect of outcome monitoring feedback to clinicians and patients in short and longterm psychotherapy: a randomized controlled trial. Psychotherapy Research. 24(6): 629– 39.

Delgadillo J., De Jong K., Lucock M., Lutz W., Rubel J., Gilbody S., et al. (2018) Feedback-informed treatment versus usual psychological treatment for depression and anxiety: a multisite, open-label, cluster randomised controlled trial. Lancet Psychiatry. Jul; 5(7): 564–72.

Duncan, B. l., Miller, S. D., Sparks, J. A., Claud, D. A., Beach, P., Reynolds, l. R., & Johnson, l. d. (2003). The session rating scale: Preliminary psychometric properties of a “working” alliance measure. Journal of Brief Therapy, 3, 3–12.

Ericsson, K. A. (2018) The Differential Influence of Experience, Practice, and Deliberate Practice on the Development of Superior Individual Performance of Experts, cap. 38.

Fernández-Álvarez, J., Fernández-Álvarez, H., & Castonguay, L. G. (2018). Resumiendo los nuevos esfuerzos para integrar la práctica y la investigación desde la perspectiva de la investigación orientada por la práctica. Revista Argentina de Clínica Psicológica, 27(2), 353-362.

Hannan, C., Lambert, M. J., Harmon, C., Nielsen, S. l., Smart, D. W., Shimokawa, K., & Sutton, S. W. (2005). A lab test and algorithms for identifying clients at risk for treatment failure. Journal of Clinical Psychology, 61, 155–163. http://dx.doi. org/10.1002/jclp.20108

Happell, B. (2008). Meaningful information or a bureaucratic exercise? Exploring the value of routine outcome measurement in mental health. Issues in Mental Health Nursing, 29(10), 1098– 1114. doi:10.1080/01612840802319852

Hawkins, E. J., Lambert, M. J., Vermeersch, D. A., Slade, K., & Tuttle, K. (2004). The effects of providing patient progress information to therapists and patients. Psychotherapy Research, 14, 308–327.

Howard, K. 1., Kopta, SM, Krause, MS, & Orlinsky, DE (1986). The dose-effect relationship in psychotherapy. American Psychologist, 41(2), 159-164.

Howard, k. I., Brill, P., Lueger, R. J., & O’mahoney, M. (1992). The Integra Outpatient Tracking Assessment. Radnor, Pa: Integra.

Howard, k. I., Moras, k., Brill, P. l., Martinovich, Z., & lutz, W. (1996). Evaluation of psychotherapy: efficacy, effectiveness, and patient progress. American Psychologist, 51, 1059–1064. http://dx.doi.org/10.1037/0003-066X.51.10.1059

Ioannidis, J. P., Greenland, S., Hlatky, M. A., Khoury, M. J., Macleod, M. R., Moher, D., ... & Tibshirani, R. (2014). Increasing value and reducing waste in research design, conduct, and analysis. The Lancet, 383(9912), 166-175.

Janse, P. D., De Jong, K., Van Dijk, M. K., Hutschemaekers, G. J. M., & Verbraak, M. J. P. M. (2017). Improving the efficiency of cognitivebehavioural therapy by using formal client feedback. Psychotherapy Research, 27, 525–538. http://dx.doi.org/10.1080/10503307.2016 .1152408

Kendrick, T., El‐Gohary, M., Stuart, B., Gilbody, S., Churchill, R., Aiken, L., ... & Moore, M. (2016). Routine use of patient reported outcome measures (PROMs) for improving treatment of common mental health disorders in adults. Cochrane Database of Systematic Reviews, (7).

Lambert, M. J. (2010). Prevention of treatment failure: The use of measuring, monitoring, and feedback in clinical practice. American Psychological Association.

Lambert, M. J., Lunnen, k., Umphress, V., Hansen, N., & Burlingame, G. M. (1994). Administration and scoring manual for the Outcome Questionnaire (OQ–45.1). Salt Lake City, uT: Ihc center for behavioral healthcare efficacy.

Lambert, M. J., Whipple, J. L., & Kleinstäuber, M. (2018). Collecting and delivering progress feedback: A meta-analysis of routine outcome monitoring. Psychotherapy, 55(4), 520.

Lambert, M. J., Whipple, J. L., Smart, D. W., Vermeersch, D. A., Nielsen, S. L., & Hawkins, E. J. (2001). The effects of providing therapists with feedback on patient progress during psychotherapy: Are outcomes enhanced? Psychotherapy Research, 11, 49–68.

Lambert, M. J., Whipple, J. L., Vermeersch, D. A., Smart, D. W., Hawkins, E. J., Nielsen, S. L., & Goates, M. K. (2002). Enhancing psychotherapy outcomes via providing feedback on client progress: A replication. Clinical Psychology & Psychotherapy, 9, 91–103.

Lyon, A. R., Lewis, C. C., Boyd, M. R., Hendrix, E., & Liu, F. (2016). Capabilities and characteristics of digital measurement feedback systems: Results from a comprehensive review. Administration and Policy in Mental Health and Mental Health Services Research, 43(3), 441-466.

Lueger, R. J. (2012). The Integra/comPass tracking assessment system. Integrating Science and Practice, 2, 20–23.

Lutz, W., De Jong, K., & Rubel, J. (2015). Patient-focused and feedback research in psychotherapy: Where are we and where do we want to go?.

Macdonald, J., & Mellor‐Clark, J. (2015). Correcting psychotherapists' blindsidedness: Formal feedback as a means of overcoming the natural limitations of therapists. Clinical Psychology & Psychotherapy, 22(3), 249-257.

Maristany, M. y Fernández-Álvarez, H. (2010). Evaluación de resultados en psicoterapia. Estudio de las propiedades psicométricas del OQ-45.2 en Argentina (Fundación Aiglé, Manuscrito no publicado).

McAleavey, A. A., Youn, S. J., Xiao, H., Castonguay, L. G., Hayes, J. A., & Locke, B. D. (2017). Effectiveness of routine psychotherapy: Method matters. Psychotherapy Research. Advance online publication. doi:10.1080/10503307.2017.1395921

McClintock, A. S., Perlman, M. R., McCarrick, S. M., Anderson, T., & Himawan, L. (2017). Enhancing psychotherapy process with common factors feedback: A randomized, clinical trial. Journal of Counseling Psychology, 64, 247–260. http://dx.doi.org/10.1037/cou0000188

Miller, S. D., & Duncan, B. L. (2004). The Outcome and Sessions Rating Scales: Scoring and administration manual (Rev. ed.). Chicago, IL: The Institute for the Study of Therapeutic Change.

Miller, S. D., Duncan, B. L., Brown, J., Sparks, J. A., & Claud, D. A. (2003). The outcome rating scale: a preliminary study of the reliability, validity, and feasibility of a brief visual analog measure. Journal of Brief Therapy, 2, 91–100.

Miller, S. D., Duncan, B. L., Sorrell, R., & Brown, G. S. (2005). The partners for change outcome management system. Journal of clinical psychology, 61(2), 199-208.

Miller, S. D., Hubble, M. A., & Duncan, B. L. (2007). Supershrinks. Psychotherapy Networker, 31, 26–35, 56.

Miller, S. D., Hubble, M. A., Chow, D. L., & Seidel, J. A. (2013). The outcome of psychotherapy: yesterday, today, and tomorrow. Psychotherapy, 50, 88–97. http:// dx.doi.org/10.1037/a0031097

Miller, S. D., & Schuckard, E. (2014). Psychometrics of the ORS and SRS. Results from RCT’s and meta-analyses of routine outcome monitoring and feedback: The available evidence. Retrieved from http://www.slideshare.net/scottdmiller/measures-andfeedback-miller-schuckard-2014

Prescott, D. S., Maeschalck, C. L., & Miller, S. D. (2017). Feedback-informed treatment in clinical practice: Reaching for excellence. American Psychological Association.

Probst, T., Lambert, M. J., Dahlbender, R. W., Loew, T. H., & Tritt, K. (2014). Providing patient progress feedback and clinical support tools to therapists: Is the therapeutic process of patients on-track to recovery enhanced in psychosomatic in-patient therapy under the conditions of routine practice?. Journal of psychosomatic research, 76(6), 477-484.

Reese, R. J., Usher, E. L., Bowman, D. C., Norsworthy, L. A., Halstead, J. L., Rowlands, S. R. & Chisholm, R. R. (2009). Using client feedback in psychotherapy training: An analysis of its influence on supervision and counselor self-efficacy. Training and Education in Professional Psychology, 3, 157–168. http://dx.doi.org/10.1037/ a0015673

Rousmaniere, T., Goodyear, R. K., Miller, S. D., & Wampold, B. E. (Eds.). (2017). The cycle of excellence: Using deliberate practice to improve supervision and training. John Wiley & Sons. Cap. 1.

Sapyta, J., Riemer, M. & Bickman, L. (2005). Feedback to clinicians: Theory, research, and practice. Journal of Clinical Psychology, 61, 145–153. http://dx.doi. org/10.1002/jclp.20107

Schöttke, H., Unrath, M., & Uhlmann, C. (2019). The Effect of Patient Progress Feedback on Psychotherapy Outcome. Verhaltenstherapie, 1-11.

Simon, W., Lambert, M. J., Harris, M. W., Busath, G., & Vazquez, A. (2012). Providing patient progress information and clinical support tools to therapists: Effects on patients at risk of treatment failure. Psychotherapy research, 22(6), 638-647.

Slade, K., Lambert, M. J., Harmon, S. C., Smart, D. W., & Bailey, R. (2008). Improving psychotherapy outcome: The use of immediate electronic feedback and revised clinical support tools. Clinical Psychology & Psychotherapy, 15, 287–303.

Solstad, S. M., Castonguay, L. G., & Moltu, C. (2019). Patients’ experiences with routine outcome monitoring and clinical feedback systems: A systematic review and synthesis of qualitative empirical literature. Psychotherapy Research, 29(2), 157-170.

Strauss, B. M., Lutz, W., Steffanowski, A., Wittmann, W. W., Boehnke, J. R., Rubel, J., ... & Steyer, R. (2015). Benefits and challenges in practice-oriented psychotherapy research in Germany: The TK and the QS-PSY-BAY projects of quality assurance in outpatient psychotherapy. Psychotherapy Research, 25(1), 32-51.

Walfish, S., Mcalister, B., O’Donnell, P., & Lambert, M. J. (2012). An investigation of self-assessment bias in mental health providers. Psychological Reports, 110, 639–644. http://dx.doi.org/10.2466/02.07.17.Pr0.110.2.639-644

Wampold, B. E., & Imel, Z. E. (2015). The great psychotherapy debate: The evidence for what makes psychotherapy work. Routledge.

Wampold, B. E., Mondin, G. W., Moody, M., Stich, F., Benson, K., & Ahn, H. N. (1997). A meta-analysis of outcome studies comparing bona fide psychotherapies: Empiricially," all must have prizes.". Psychological bulletin, 122(3), 203.

Whipple, J. L., Lambert, M. J., Vermeersch, D. A., Smart, D. W., Nielsen, S. L., & Hawkins, E. J. (2003). Improving the effects of psychotherapy: The use of early identification of treatment failure and problem-solving strategies in routine practice. Journal of Counseling Psychology, 58, 59–68.

Wolpert, M., Curtis-Tyler, K., & Edbrooke-Childs, J. (2016). A qualitative exploration of patient and clinician views on patient reported outcome measures in child mental health and diabetes services. Administration and Policy in Mental Health and Mental Health Services Research, 43(3), 309–315. doi:10. 1007/s10488-014-0586-9