Journal Search Engine
Search Advanced Search Adode Reader(link)
Download PDF Export Citaion korean bibliography PMC previewer
ISSN : 1226-0134(Print)
ISSN : 2671-4450(Online)
Korean Journal of Occupational Therapy Vol.27 No.2 pp.79-92
DOI : https://doi.org/10.14519/kjot.2019.27.2.07

A Study on the Improvement of Inter-Rater Reliability and Agreement of K-MBI Based on Activity Analysis and Process Mapping

Young-Jin Song*, Min-Kyung Choi**, Jong-Sung Kim***, Jeong-Hoon Lee****, Byoung-Lock Jeong*****
*Asan Medical Center, Occupational Therapist
**Parkside Rehabilitation Hospital, Occupational Therapist
***Myongji Choonhey Hospital, Occupational Therapist
****Catholic University of Korea, Eunpyeong St. Mary’s Hospital, Occupational Therapist
*****Dept. of Occupational Therapy, Sangji Youngseo University, Professor

Corresponding author: Jyeong, Byoung-Lock (bljeong@gmail.com/Dept. of Occupational Therapy, Sangji Youngseo University)
30/10/2018 24/04/2019 07/05/2019

Abstract

Objective:

The purpose of this study was to verify the content validity and inter-rater reliability by producing the Korean version of Modified Barthel Index(K-MBI) guidebook based on activity analysis and processing mapping.


Methods:

This study developed the K-MBI guidebook based on activity analysis and process mapping. The developed the K-MBI guidebook was also investigated and revised to produce the final version of K-MBI guidebook. To verify the content validity was measured in forty occupational therapy. The daily activities of five patients were recorded to investigate reliability and agreement. In order to examine reliability and agreement, 84 occupational therapists evaluated five patients in the same video pre and post the K-MBI guidebook training.


Results:

The content validity results showed a high level of validity with a CVI score of .93 or higher in all the K-MBI items. ICCs showed high levels of confidence. The change in the correct rate was improved from 48.37% prior to education to 69.48% after education, and the agreement was improved in all categories except for dressing.


Conclusions:

The results of this study confirm that the K-MBI guidebook, based on activity analysis and process mapping, improves the reliability and agreement of inter-rater.



활동분석과 프로세스 맵핑을 기반으로 한 K-MBI의 평가자 간 신뢰도 및 일치도 향상을 위한 연구

송 영진*, 최 민경**, 김 종성***, 이 정훈****, 정 병록*****
*서울아산병원 작업치료사
**파크사이드 재활의학병원 작업치료사
***명지춘혜병원 작업치료사
****가톨릭대학교 은평성모병원 작업치료사
*****상지영서대학교 작업치료과 교수

초록

목적 :

본 연구의 목적은 활동분석과 프로세스 맵핑을 기반으로 한 Korean version of Modified Barthel Index(K-MBI) 가이드북을 제작하여 내용 타당도와 평가자 간 신뢰도 및 일치도를 확인하고자 하였다.


연구 방법 :

본 연구에서는 활동분석과 프로세스 맵핑을 기반으로 한 K-MBI 가이드북을 개발하였다. 개발 된 K-MBI 가이드북에 대한 이해도 조사 및 수정을 하여 최종 가이드북을 제작하여 40명의 작업치료 전문가 집단에 내용 타당도를 검증하였다. 평가자 간 신뢰도 및 일치도 조사를 위해 기존의 K-MBI 검 사 지침에 근거하여 총 5명의 환자의 일상생활활동 동영상을 촬영하였다. 평가자 간 신뢰도와 일치도 조 사는 84명의 작업치료사가 교육 전과 후에 동일하게 동영상 속의 5명의 환자를 평가하여 확인하였다.


결과 :

내용 타당도 검증 결과는 개발된 K-MBI 가이드북 11개의 모든 항목에서 CVI 점수가 .93 이상으 로 높은 수준의 타당도를 나타내었다. 평가자 간 신뢰도에서는 ICC가 교육 전 .983, 교육 후에 .982로 교육 전과 후 모두 높은 수준의 신뢰도를 보였다. 정답률의 변화는 교육 전 48.37%에서 교육 후에 69.48%로 향상되었고, 평가자 간 일치도는 옷 입고 벗기 항목을 제외한 모든 항목에서 일치도가 향상 된 것으로 나타났다.


결론 :

본 연구의 결과를 통해 활동분석 및 프로세스 맵핑을 기반으로 한 K-MBI 가이드북은 일상생활활 동 평가에서 평가자 간의 신뢰도와 일치도를 향상되게 시키는 것으로 확인되었다.



    Ⅰ. 서 론

    뇌졸중 재활치료에서 객관적인 결과측정은 필수적인 요소이며 초기 질병의 심각도 뿐 아니라 이어지는 재활 경과를 객관적으로 측정하도록 촉진되어야 한다(Sangha et al., 2005). 특히 일반 생활환경에서 환자의 능력을 정량화한 일상생활활동(Activities of Daily living; ADLs)의 평가는 뇌졸중 환자의 기능을 측정하는 데 반 드시 포함되어야 한다(Prodinger, O’Connor, Stucki, & Tennant, 2017). 뇌졸중 환자를 대상으로 한 연구에서 장애를 측정하는데 사용되는 ADLs 평가도구로는 Barthel Index(BI)와 Functional Independent Measure(FIM) 가 가장 일반적으로 사용되고 있으며, 특히 세계적으로 는 BI가 사용 빈도와 인용 건수가 많은 것으로 보고되고 있다(Sangha et al., 2005). 국내 작업치료사들의 평가 도구 사용실태 연구에서도 일상생활 평가도구로 가장 많 은 사용 빈도를 보이는 것은 FIM과 수정바델지수 (Modified Barthel Index; MBI)이며 이어서 척수 독립 성 지수(Spinal Cord Independence Measure; SCIM) 와 Assessment of Motor and Process skill(AMPS) 로 보고된 바 있다(Park & Yoo, 2002).

    BI는 Mahoney와 Barthel(1965)이 일상생활활동의 독립 정도를 평가하기 위해 개발한 도구로 10개의 기본 적인 일상생활활동 항목으로 구성되어 있고 이후 세계 여러 나라에서 다양한 버전으로 수정 보완하여 사용하고 있다(Mahoney & Barthel, 1965;Quinn, Langhorne, & Stott, 2011). Shah, Vanclay와 Cooper(1989)가 뇌 졸중 환자를 대상으로 5점 척도로 수정한 MBI는 다양한 연구들에서 신뢰도와 타당도가 입증되었다(Hocking, Williams, Broad, & Baskett, 1999;Hsueh et al., 2002;Sangha et al., 2005;Shah et al., 1989;Sulter, Steen, & De Keyser, 1999;Quinn et al., 2011). 국내 에서는 대한뇌신경재활연구회에서 Shah 등(1989)의 MBI를 번안하고 문화간 교차 및 표준화 연구를 통해 한 국판 수정바델지수(Korean version of Modified Barthel Index; K-MBI)를 보고하였다(Jung et al., 2007). 현재 K-MBI는 국내 작업치료 분야에서 가장 보 편적으로 사용되는 ADLs 평가도구이다(Jung et al., 2007;Park & Yoo, 2002). 보건복지 분야에서는 뇌병 변장애인의 장애 등급을 판정하는 기준 중 하나로 평가 결과가 대상자의 경제적 혜택과도 연결될 수 있기에 검 사 지침에 따라 정확하게 평가하는 것과 검사자 간 일치 도는 매우 중요하다(Ministry of Health and Welfare, 2018). 또한, K-MBI는 재활환자 분류체계에서도 간이 정신상태검사, 도수 근력검사, 관절가동범위검사와 함께 장애의 정도를 측정하는 중요한 기준으로 사용되고 있다 (Han, 2017). 최근에는 정부에서 시행하고 있는 재활의 료기관 지정 시범사업에서 회복기 환자의 통합재활 기능 평가 도구에도 포함되어 본 사업 시행 시 평가점수 변화 로 회복 여부를 판별하고, 치료 지속 여부와 재원 기간을 판정할 때 중요한 기준이 되기 때문에 기관별, 기관 내에 서 검사기준에 맞게 정확하게 평가하는 것이 요구된다 (Noh et al., 2007;§2018-151).

    FIM의 경우에는 신체적 도움을 제공하는 수준에 따라 최소 25%, 중둥도 50%, 최대 75% 등 일관적인 기준을 적용하여 양적으로 수치화하고 있고, SCIM의 자기관리 항목의 채점 기준에서도 신체적 도움과 감독을 등급별로 분류하여 일관적인 점수 기준을 제공하고 있다(Itzkovich et al., 2007;Ottenbacher, Hsu, Granger, & Fiedler, 1996). 그러나 K-MBI 검사 지침은 평가 시에 혼선을 주는 몇 가지 측면이 있다. 첫째, 항목 점수의 등급 기준 이 되는 완전 도움/최대 도움/중등도 도움/최소 도움이라 는 용어가 항목별 채점 기준에서 도움을 제공하는 정도 가 서로 다른 기준으로 점수에 반영하게 되어 있다. 예를 들어 ‘최소 도움’의 기준을 항목별로 보면 개인위생에서 는 세팅을 해주었을 때, 옷 입기의 경우는 최소한의 신체 적 도움을 주었을 때, 목욕하기의 경우 보호자의 감독이 필요한 경우로 등급 기준을 일관되게 적용하기 어렵다. 둘째, 일상생활에서 연계되는 다른 항목의 수행력이 점 수에 영향을 미치는 예도 있다(Lee et al., 2011). 그 예 로 괄약근 조절에는 용변처리의 수행 정도를 반영하고, 용변처리의 경우 이동(변기로 다가가기)과 개인위생 과 제인 손 씻기의 수행 정도가 반영되는 점 등을 평가할 시 고려해야 한다. 셋째, K-MBI는 FIM과 같이 인지항목이 분리된 점수체계는 아니지만, 항목에 따라 인지기능을 점수에 반영해야 하는 항목들이 있다. 예를 들면 상황과 목적에 맞는 옷을 선택해서 가져오기, 수도사용 시 안전 을 위해 온도 조절하기, 보행 시 50m 이상 독립적으로 걷는 능력을 보는 것이 아니라 50m 이상의 목적지를 안 전하게 찾아가는지를 고려하여 검사하여야 한다. 이러한 검사지침상의 혼란을 주는 요인들은 임상 현장에서 빠르 게 평가를 시행해야 하는 상황에서 검사 지침을 확인하 며 복잡한 세부기준을 모두 적용하기에는 어려움이 있다.

    K-MBI의 제한점을 보완하기 위해 Lee 등(2011)의 연구에서는 체크리스트 형식의 한글판 수정바델지수를 고안하여 평가자 간 신뢰도를 높이고자 하였지만, 많은 항목을 표시해야 하는 것이 오히려 평가자에게 혼선을 주어 신뢰도를 저하할 수 있어서 개선점이 필요하다고 보고하였다.

    이러한 제한점을 해결하고자, 본 연구에서는 K-MBI 검사 지침에 포함된 활동들을 구체적인 세부과제로 분석 하고, 도움의 수준별로 수행 가능한 활동들을 분류한 활 동분석과 도움을 받는 수준에 따라 점수를 측정하는 의 사결정 나무(decision tree)기법을 활용하여 프로세스 맵핑을 적용한 K-MBI 가이드북을 제작하고 타당도를 확인하고자 한다(Owczarzak, 2003). 또한, 활동분석과 프로세스 맵핑에 기반을 둔 K-MBI의 평가의 신뢰도와 일치도에 대한 효과성을 검증하고자 한다. Figure 1

    Ⅱ. 연구 방법

    1. 연구 대상자

    본 연구에서는 현재 대학병원, 병원, 재활병원, 요양병 원 등의 기관에서 K-MBI 검사를 시행하고 있는 작업치 료사 90명이 평가자로 참여하였다. 이 중 평가 항목에 누락이 있었던 6명을 제외한 84명을 대상으로 자료 분석 을 하였다. 모든 연구 대상자는 연구에 대한 충분한 설명 을 듣고, 서면으로 동의하였다. 연구 대상자의 일반적 특 성은 Table 1과 같다.

    2. 연구 도구

    1) Korean version of Modified Barthel Index (K-MBI)

    K-MBI는 Shah 등(1989)이 수정 보완한 수정바델 지수를 기반으로 Jung 등(2007)이 한국 실정에 맞게 번 안하고 표준화한 평가도구이다. K-MBI는 기본적인 일 상생활 활동인 개인위생, 목욕하기, 식사하기, 용변처리, 계단 오르내리기, 옷 입고 벗기, 배변조절, 배뇨조절, 보 행 또는 휠체어, 의자-침대 이동의 10개 항목으로 구성 되어 있다. 각 항목은 과제를 수행할 수 없는 경우, 최대 의 도움이 필요한 경우, 중등도의 도움이 필요한 경우, 최소의 도움이나 감독이 필요한 경우, 완전히 독립적인 경우의 5단계로 구분되어 있으며, 전 대상 항목에 대해 수행을 전혀 할 수 없는 경우 0점, 독립적으로 완전히 수 행할 수 있는 경우 100점이 된다. K-MBI의 평가자 내 신뢰도는 모든 항목에서 .87 이상이었으며, 평가자 간 신 뢰도는 .93 이상으로서 높은 신뢰도를 보인다(Jung et al., 2007).

    3. 연구 과정

    본 연구에서는 활동분석과 프로세스 맵핑에 기반을 둔 K-MBI 채점 기준을 개발하고 가이드북을 제작하여 타 당도 검증을 하였다. 이후 검사자 간 일치도를 검증하기 위해 샘플 동영상을 이용해 기존 K-MBI 검사와 활동분 석과 프로세스 맵핑에 기반을 둔 K-MBI 평가를 시행하 였다.

    1) 활동분석과 프로세스 맵핑에 기반을 둔 K-MBI 가이드북 개발

    활동분석과 프로세스 맵핑에 기반을 둔 K-MBI 가이 드북의 개발은 2017년 11월부터 2018년 5월까지 진행 하였다. 개발팀은 국내 종합병원에서 20년 이상 MBI를 사용한 작업치료사 1인, 10년 이상 임상경력의 작업치료 사 1인, 재활시범사업기관에 근무하는 작업치료 팀장 2 인, 작업치료학과 교수 1인, 총 5인으로 구성되었다.

    (1) K-MBI와 MBI 검사 지침을 기반으로 한 활동분석 개발

    활동분석은 K-MBI 검사 지침을 근거로 하여 11개의 MBI 항목에 대해 분석되었다. 또한, K-MBI에서 해석의 오류나 단어의 이해가 어려운 경우 MBI 원문과 비교 분 석하여 결정하였다. 세부적인 진행 과정은 다음과 같다 (Shah et al., 1989).

    • 가. 개별항목별로 검사 지침의 점수 기준에 언급된 과 제를 분류하였다.

    • 나. 과제별로 수행되는 활동들을 분석하여 과제의 세 부 활동으로 분류하였다. 임의로 활동을 추가하지 않고 K-MBI의 검사 지침에 제시된 활동들이 모 두 포함하도록 하였다.

    • 다. 수행과정에 맞게 개별항목의 과제와 세부 활동들 을 차례대로 정리하였다.

    • 라. 개별항목 수행 시 중요한 점수 기준에 해당하는 과 정을 주요활동(main activity)으로 구분하여 표시 하였다(Figure 2).

    • 마. 주요활동 하단에는 점수 기준에 관한 내용을 정리 하여 삽입하였다. 도움의 단계에 따른 점수 가중치 와 주요활동의 기준이 되는 점수단계를 표시하여, 다음 단계인 프로세스 맵핑에서 평가가 진행되기 전에 전반적인 채점 기준 정보를 제공하였다.

    (2) 의사결정 나무기법을 이용한 프로세스 맵핑 개발

    프로세스 맵핑은 FIM 검사 지침에서 제시한 의사결 정 나무(yes or no decision tree)기법을 이용하였다 (Owczarzak, 2003).

    • 가. 보조자 영역을 표시하여 활동 수행 시 보조자의 유 무를 1차로 선택하도록 하였다.

    • 나. 보조자가 있는 경우 도움을 받는 정도에 따른 단계 를 기준으로 프로세스를 통해 점수가 결정되도록 하였다.

    • 다. 점수등급에 따라 주요활동의 수행상태와 점수 기 준에 대한 설명을 통해 객관적으로 의사결정을 하 여 환자의 수행에 대한 최종 점수를 도출할 수 있 도록 하였다(Figure 3).

    (3) 활동분석과 프로세스 맵핑을 이용한 평가 방법

    가이드북에서는 활동분석과 프로세스 맵핑을 한눈에 확인할 수 있도록 구성하였다. 우선 활동분석 부분에서 는 과제별로 평가해야 하는 세부 활동들이 빠지지 않도 록 인식하게 하고, 전반적인 점수 기준과 가중치를 확인 하도록 한다. 그 이후에는 프로세스 맵핑을 따라 데이터 를 마이닝 하여 간단하고 효율적으로 평가할 수 있도록 순서화하였다.

    2) 개발된 K-MBI 가이드북에 대한 이해도 조사 및 수정

    (1) K-MBI 검사 지침에 기반을 둔 환자 동영상 제작 과정

    비디오 평가 기법은 여러 명의 평가자가 한 지점에서 수행력을 평가함으로써 신뢰성에 대한 조사를 가능하게 해서 일상생활활동 평가에서 사용되어 왔다(Ohura, Hase, Nakajima, & Nakayama, 2017). 개발된 가이드 북의 이해도 및 오류 점검과 통계적인 검증을 위해 총 8 명의 뇌졸중 환자를 대상으로 MBI 항목에 따라 일상생 활활동 수행하는 과정을 영상으로 촬영하였다. 사전에 환자 혹은 환자 가족에게 모든 과정에 대해 충분히 설명 하였고, 촬영에 대한 동의서에 서명을 받았다. 영상은 Shah 등(1989)에 의해 수정된 5점 척도를 기반으로 대 한뇌신경재활학회에서 번역한 K-MBI 점수 기준을 참 고하여 촬영하였다. 이는 과제를 수행할 수 없는 경우(1 단계), 최대의 도움이 필요한 경우(2단계), 중등도의 도 움이 필요한 경우(3단계), 최소의 도움이나 감시가 필요 한 경우(4단계), 완전히 독립적인 경우(5단계) 중 점수 기준이 확연하여 검사 지침 적용이 적은 1단계와 5단계 를 제외하고, 2~4단계 해당하는 일상생활활동 수행력을 가진 환자를 대상으로 하였다. 영상의 오류 발생을 최대 한 줄이기 위해 시간 지연으로 수행과정이 긴 영상 또는 대화가 포함된 영상은 편집과 자막을 사용하여 영상을 보완하였다. 이 중 3편은 편집 과정에서 영상처리가 부실 하거나 환자가 수행과정 중에 활동을 중단한 경우로 인 해 삭제하였다. 촬영된 영상은 항목마다 필요한 수행과 정을 거치고 있는지 또는 환자의 현 상태가 객관적으로 영상에 나타나는지, 비디오가 기능평가에 필요한 정보를 충분히 포함하는지를 검토하였다. 평가자들의 평가결과 와 비교할 수 있는 기준을 마련하기 위하여 연구자 3명이 한자리에 모여서 피검자들에게 제공한 것과 같은 비디오 를 보면서 가이드북에 따라 채점을 하도록 하였고 최종 적인 기준은 3명 중 2명이 동의하는 것으로 하였다.

    (2) 이해도 조사 및 수정

    활동분석과 프로세스 맵핑에 기반을 둔 K-MBI 가이 드북의 이해도와 비디오 영상 오류 점검을 위해 사전에 3회에 걸쳐 총 200명의 작업치료사를 대상으로 교육 후 동영상 채점을 실습하도록 하였다. 동영상 채점 결과를 통해 검사 지침에 대한 이해도가 부족하거나 점수 기준 과 맞지 않게 채점된 항목들에 대해 동영상 수정과 프로 세스 맵핑 및 가이드북을 보완하였다. 또한, 참여했던 임 상가의 피드백을 통해 뇌 병변 장애판정용 MBI와 비교 하여 점수채점에 혼란이 있는 항목들에 대해서도 가이드 북에 추가 보완하였다.

    (3) 가이드북 제작과 타당도 조사

    가이드북의 타당성을 검정하기 위하여 전문가 집단을 대상으로 내용 타당도 검증을 하였다. 총 40명의 작업치 료 전문가가 참여하였으며, 그 구성은 작업치료학과 교 수 10명, 5년 이상 임상경력을 가진 작업치료사 30명으 로 구성되었다. 구성된 전문가 집단은 최종 가이드북의 항목별 활동분석과 세부구성 내용에 관한 타당도를 평가 하였다. 내용 타당도를 나타내는 지수인 CVI(Content Validity Index)는 30명의 전문가 집단을 기준으로 .8 이상 획득하면 그 내용의 타당성을 입증할 수 있다고 보 았다(Polit & Beck, 2006).

    (4) 평가자 간 신뢰도 및 일치도 조사

    활동분석과 프로세스 맵핑에 기반을 둔 K-MBI 가이 드북에 대한 평가자 간 신뢰도와 일치도를 조사하기 위 하여 현재 대학병원, 병원, 재활병원, 요양병원 등의 기관 에서 환자에게 K-MBI 검사를 하는 작업치료사 90명이 본 연구의 평가자로 참여하였다. 모든 연구 대상자는 연 구에 대한 충분한 설명을 들은 후 서면으로 동의한 자를 포함하였다. 교육 전 연구 참여자들은 제작된 동영상을 보면서 기존의 K-MBI 검사 지침에 따라 채점을 하도록 하였다. 그 후에 개발된 가이드북에 대한 3시간의 교육을 시행하였다. 교육 후에는 활동분석과 프로세스 맵핑을 기반으로 한 가이드북으로 동영상 채점을 하도록 하였다. 장애진단 및 재활평가 시 짧은 시간 내에 수행해야 하는 점을 고려하여 교육 전과 후의 K-MBI 평가에는 해당 동영상을 반복하여 볼 수 없도록 하였고 같은 장소에서 같은 시간에 평가하도록 하였다, 본 평가과정에서 가이 드북과 영상물 제작에 관여한 사람은 모두 제외하였다. 최종적으로 교육 전과 후 평가에 빠진 항목이 없었던 평 가자 84명을 대상으로 통계적 검증을 시행하였다.

    4. 자료 분석

    통계분석은 SPSS for Window 21.0 Version을 사용 하였다. 연구 대상자들의 일반적 특성은 기술통계 분석 을 하였고, 가이드북의 내용 타당도 검증을 위해 CVI(Content Validity Index)를 분석하였다. 교육 전과 후의 평가자 정답률(%)의 변화를 알아보기 위해 대응표 본 T 검정을 하였으며(p<0.05), 교육 전과 후의 평가자 들 간의 평가자 간 신뢰도를 알아보기 위해 급간 내 상관 계수(Intraclass Correlation Coefficient; ICC3.1)를 구 하였다. 또한, 교육 전과 후의 평가자 간 일치도를 확인하 기 위해 평균과 표준편차를 계산한 후에 11개의 하위항 목별로 일치도를 계산하였다.

    Ⅲ. 연구 결과

    1. 연구 대상자의 일반적 특성

    응답자들이 가장 높은 비율로 근무하는 기관의 유형은 재활병원(재활의료기관지정운영 시험기관)으로 28.6% 가 근무하는 것으로 나타났다. 종합병원은 14.3%가 근 무하고 있었고, 기타 응답을 제외한 가장 낮은 비율을 보 인 근무기관은 일반병원으로 8.3%가 응답하였다. 응답 자들의 임상경력은 1~3년 차의 치료사들이 58.3%로 가 장 높았고, 그다음으로 4~6년 차의 치료사들이 20.2% 였다. 16년 차 이상의 치료사는 3.6%로 나타났다. 임상 에서 K-MBI를 사용한 기간에 대한 응답에서는 임상경 력의 비율과 비슷하게 1~3년을 사용했다는 응답이 전체 의 61.9%로 높게 나타났고, 그다음으로 4~6년을 사용 했다는 응답이 17.9%로 나타났다. 임상에서 K-MBI를 사용할 때 평가자 간의 일치도와 정확도가 높은지를 묻 는 문항에는 ‘매우 그렇다’와 ‘조금 그렇다’라는 응답이 전체의 36.9%를 차지하였고, 가장 높은 응답 항목은 ‘보 통이다’로 42.9%로 나타났다. 임상에서 K-MBI 평가 시 에 검사 지침을 사용하는지에 대한 문항에는 검사 지침을 보며 평가를 한다는 응답이 전체의 65.5%로 검사 지침을 사용하지 않는다는 응답보다 높게 나타났다. K-MBI가 신뢰도가 있는 평가도구라고 생각하는지에 대한 문항에 는 ‘그렇지 않다’라는 응답이 54.1%로 나타났다. K-MBI 교육을 받은 적이 있는지에 대한 문항에는 36.5%만이 ‘그렇다’라고 응답하였으며, 교육을 받은 장소는 학교는 66.7%, 임상은 33.3%로 나타났다(Table 1).

    2. 내용 타당도 검증

    각 항목의 세부 내용 구성의 적합성을 전문가 집단에 조사한 결과 모든 항목에서 CVI가 높은 수준의 타당도를 나타내었다(Table 2). 추가된 의견으로는 식사하기에서 장애진단용 검사 지침과의 차이점을 비교해서 기재하는 것이 좋겠다는 의견이 있었다. 또한, 배변조절과 배뇨조 절은 실변, 실뇨의 주요 기준이 되므로 점수에 영향을 주 지 않는 다른 설명은 제외 또는 수정이 필요하다는 전문 가의 조언이 있었다. 전문가 집단의 의견을 반영하여 수 정된 내용으로 최종 결정되었다.

    3. 평가자 간 신뢰도

    교육 전과 후에 84명의 평가자 간의 신뢰도를 계산 하기 위하여 ICCs3.1를 사용하였다. 급간 내 상관계수는 교육 전 그룹이 .983이었고, 교육 후에는 .982로 교육 과 상관없이 높은 신뢰도를 보이는 것으로 나타났다 (Table 3).

    4. 교육 전과 후의 K-MBI 정답률 및 항목별 일치도

    K-MBI의 11개 항목별로 기존의 K-MBI로 평가를 하였을 때와 활동분석 및 프로세스 맵핑에 기반을 둔 K-MBI로 평가하였을 때의 평가자 간 일치도를 비교 분 석하였다. 평균 정답률은 교육을 받기 전 48.38%에서 활동분석과 프로세스 맵핑에 기반을 둔 K-MBI 교육을 받은 후 69.48%로 향상되었다(Table 4). 하위항목별 일치도를 비교 분석한 결과 개인위생 항목은 교육 전 51.2%에서 교육 후 67.9%, 목욕하기 항목은 교육 전 34.5%에서 교육 후 64.3%, 먹기 항목은 교육 전 35.7% 에서 교육 후 61.9%, 화장실 이용하기 항목은 교육 전 45.2%에서 교육 후 59.5%, 계단 오르내리기 항목은 교 육 전 32.1%에서 교육 후 72.6%, 옷 입고 벗기 항목은 교육 전 88.1%에서 교육 후 83.3%, 배변조절 항목은 교 육 전 48.8%에서 교육 후 64.3%, 배뇨조절 항목은 교육 전 58.3%에서 교육 후 77.4%, 보행 항목은 교육 전 57.1%에서 교육 후 79.8%, 휠체어 항목은 61.9%에서 교육 후 77.4%, 의자/침대 이동 항목은 교육 전 19.0% 에서 교육 후 56.0%로 나타났다(Table 5). 그러나 옷 입고 벗기 항목에서는 기존의 K-MBI와 비교하면 활동 분석 및 프로세스 맵핑을 기반으로 한 K-MBI의 평가자 일치도에서 약간의 감소를 했다.

    Ⅳ. 고 찰

    본 연구는 K-MBI의 정확한 평가를 위해 활동분석과 프로세스 맵핑에 기반을 둔 K-MBI 가이드북을 제작하 여 타당도와 평가자 간의 신뢰도 및 일치도를 높이기 위 한 목적으로 진행하였다. 연구결과 활동분석과 프로세스 맵핑에 기반을 둔 K-MBI의 내용 타당도가 K-MBI의 모든 항목에서 높게 나타났고, 정답률 및 항목별 일치도 에서도 향상된 것으로 나타났다.

    재활치료 과정의 평가로 얻어진 점수는 종합적 척도로 서 장애가 있는 환자들이 할 수 있는 활동의 정도를 보여 주게 되고, 환자의 변화된 기능을 분석하여 중재의 효과 를 판단할 수 있다. 또한, 결과를 바탕으로 개선을 위한 영역을 파악하여 향후 계획에 반영할 수 있도록 해준다 는 점에서 평가의 신뢰성은 매우 중요한 부분이다 (Palmer, Kneebone, Stineman, Strauss, & Jones, 2016;Stineman et al., 2014). K-MBI는 우리나라에 서 가장 많이 사용되는 일상생활활동 평가도구로 재활환 자 분류체계 및 장애 등급을 판정하는데 기준이 된다 (Ministry of Health and Welfare, 2017;§2018- 151). 또한, 대부분의 재활의료기관에서 환자의 기능과 치료의 효과를 측정하는 평가도구로 사용되고 있어서 일 관성 있는 평가결과가 환자에게 미치는 영향은 더욱 크 다고 할 수 있다.

    평가자 간 신뢰도는 광의의 개념에서 “평가자들이 상 호교환 될 수 있는 정도”, 또는 “판단에 대한 동의 정도” 의 의미로 통용되어 진다. 그러나 좀 더 정확한 개념에서 “평가자 간 신뢰도”는 평가자들이 평가한 값들의 관계 가 균형적인 정도를 나타내는 것이며, 한 평가자와 다른 평가자의 절댓값은 다를지라도 그 상관관계가 어느 정 도로 일관적인가를 의미한다(Cha & Kim, 1994). 주로 평가대상의 순위나 판단의 일관성에 초점을 두는 경 우에 측정 지표로 “평가자 간 신뢰도”를 사용하게 된다 (Kozlowski & Hattrup, 1992). 반면에 평가대상에 대 해서 절댓값이 같은 평가를 하는 정도는 “평가자 간 일치 도”로 평가자들 간에 상호교환이 가능한 정도를 의미하 고, 평가자들 간 판단의 기준치가 중요한 지표가 되는 경 우 사용되어 진다(James, Demaree, & Wolf, 1993). 이러한 관점에서 보았을 때 K-MBI는 다양한 기준치로 사용되고 있어서 “평가자 간의 일치도”가 매우 중요하게 다루어져야 함에도 이전 연구들에서는 주로 평가자의 신뢰도만을 분석하고 있었다. 이에 본 연구에서는 국내 에서 주로 사용되는 일상생활활동 평가도구인 K-MBI 가 평가자 간 상호 교환할 수 있는 측정 지표로 사용될 수 있도록 활동분석과 프로세스 맵핑을 기반으로 한 K-MBI 가이드북을 제작하고 교육하여 평가자 간 일치 도를 향상하게 시키는 것을 목적으로 하였다. 그 결과 활 동분석과 프로세스 맵핑을 기반으로 한 K-MBI 가이드 북은 매우 높은 타당도를 보였으며 기존의 K-MBI 검사 지침과 비교하였을 때 두 평가 방법 모두 평가자 간 신뢰 도가 높은 것으로 보고되어 평가자 간에 균형적인 일관 성을 보이는 것으로 분석되었다. 반면에 평가자 간 일치 도는 기존의 K-MBI 방법으로 검사를 시행하였을 때 평 균 48.39%였다. 일치도가 가장 낮은 항목은 의자-침대 이동(19.00%), 일치도가 가장 높은 항목은 옷 입고 벗 기(88.10%)로 나타났다. 항목 중 일치도가 50% 이하인 항목은 의자-침대 이동(19.00%), 계단 오르내리기 (32.10%), 목욕하기(34.50%), 식사하기(35.70%), 용 변처리(45.20%), 배변조절(48.80%) 등으로 나타났다.

    이 중 일치도가 가장 낮았던 의자-침대 이동 항목의 경우 Shah 등(1989)의 MBI 원문에는 최소도움 등급의 경우 “감독자가 요구되지만, 감독만을 필요로 하는 수준” 을 기준으로 하고 있지만, Jung 등(2007)의 K-MBI 검 사 지침에서는 “확신을 주기 위해 혹은 안전을 위해 감독 이 한 명이 필요하다”라는 신체적 접촉이 없는 개념과 “최소의 도움만 필요로 한다”는 신체적 접촉이 필요한 개 념이 동시에 언급되어 있어 평가 시 채점 기준에 혼선을 주는 요소로 인해 평가자 간의 일치도가 낮게 나타난 것 으로 예측된다. 또한, 계단 오르내리기 항목에서도 감독 만을 필요로 할 때는 최소도움, 신체적 접촉은 없으나 보 조기를 운반해 주거나 감독 도움의 경우는 중등도 도움 으로 채점 기준이 되어 있어 통념상 중등도 도움이라는 의미와 점수 기준이 부합되지 않는 점이 있다. 용변처리 (이동, 옷 입기, 손 씻기), 목욕하기(보행, 이동하기), 배변 조절(용변처리, 이동) 항목에서는 채점의 기준이 독립적 이지 않고 다른 항목의 기능을 고려해야 하므로 채점에 혼선을 줄 수 있는 요소들이 있다(Fricke & Unsworth, 1977;Lee et al., 2011). 특히 배변조절(15.50%)항목 의 경우, FIM에서는 7점 척도에 따라 배변 실금의 빈도 와 배변관리를 위한 도움이 필요한 정도로 나뉘어 기준 이 명확하지만, K-MBI는 배변 실금 상태, 도움수준, 보 조도구 등의 내용이 혼재되어 등급별로 포함되어 있다는 문제가 있었다. 식사하기 항목의 경우 임상에서 뇌 병변 환자의 장애진단용 수정바델지수의 점수 기준과 혼용되 어 젓가락을 사용하지 못하면 중등도의 도움으로 채점하 는 기준이 적용되었을 가능성이 큰 것으로 해석된다. 또 한, 양념 넣어주기, 밥을 국에 말기, 옷소매 정리하기 등 이 K-MBI 검사지침 상에서 신체적 도움이 아니라 식사 준비과정의 세팅 개념으로 제시하고 있는데 신체적 도움 을 받는 정도로 채점에 반영되었을 가능성도 있다.

    활동분석과 프로세스 맵핑을 기반으로 한 K-MBI 가 이드북을 교육하고 평가에 적용하였을 때 항목 대부분에 서 높은 일치도의 변화를 보였는데 일치도의 변화량이 가장 많았던 항목은 계단 오르내리기 항목(40.50%)이 다. 이 항목은 비교적 단순한 채점 기준을 가지고 있지만, 보조도구의 운반 부분이 채점 기준에 포함되는 것을 간 과하였다가 검사 지침의 활동분석으로 인지하게 되면서 높은 일치도의 변화를 나타낸 것으로 고려된다. 침대-의 자로 이동하기, 목욕하기에도 활동이 진행되는 순서에 따라 세부과제로 분석하여 수행 여부를 확인하도록 하였 다. 그리고 점수단계별로 수행할 수 있는 주요 활동을 프 로세스 맵핑을 통해 의사결정 할 수 있도록 도식화하여 객관화된 점수 기준을 제시하였던 것이 채점에 도움이 되었던 것으로 판단된다. 대부분 항목에서 20% 이상의 높은 일치도의 향상을 보였지만 비교적 낮은 변화량을 보인 배변조절(15.50%) 항목에서는 MBI, K-MBI 모 두에서 점수 기준이 되는 배변 실금의 빈도를 “종종 실금 이 있다.”, “가끔 실변이 있다.” 등의 표현으로 회기 및 주 기를 정확하게 구분하지 않고 있었다. 또한, 보호자의 도 움수준과 약물 및 보조도구 사용 또는 인공항문 성형술 등의 특수한 상황에 대한 점수 기준의 불명확함이 여전 히 채점 기준에 혼란을 줄 수 있음을 확인할 수 있었다.

    K-MBI에서 가장 높은 일치도를 보였던 옷 입고 벗기 항목의 경우에는 가이드북을 활용하였을 때 오히려 일치 도의 감소(-4.80%)가 나타났다. 이는 기존 K-MBI로 채점할 경우 세부적인 내용보다는 전반적인 수행에서 도 움을 받는 정도를 우선시하는 경향이 있는데 옷장에서 옷을 가져오기, 옷 펼치기, 머리, 팔, 다리 끼우기, 의류 부속물 잠그고 풀기, 보조기 장착뿐 아니라 옷의 형태, 상·하의, 양말 등의 옷의 종류, 상황에 맞는 옷의 선택 등 다양한 부분들을 세밀하게 점수 기준에서 고려해야 하므로 정해진 시간 내에 가이드북을 활용하여 채점하기 에 어려움이 있었던 것으로 파악된다. 옷 입고 벗기 항목 에 대한 이러한 결과는 체크리스트를 사용하여 평가자 간 신뢰도를 분석하였던 Lee 등(2011)의 연구에서도 같은 결과를 보였다. 그런데도 활동분석과 프로세스 맵 핑을 이용한 채점에서 83.3%로 가장 높은 일치도를 보 인 점을 볼 때 평가자들의 채점 기준에 대한 조금 더 명확 한 인식을 하게 해주는 교육이 필요할 것으로 판단된다.

    본 연구에서 K-MBI의 검사 지침을 기반으로 평가하 였을 때 항목별 일치도가 19%~88%로 매우 다양하게 나타났다. 이것은 앞에 제시한 혼선을 줄 수 있는 검사 지침의 내용적인 문제점 외에도 연구에 참여했던 평가자 의 경력이 3년 차 이하가 58.3%, K-MBI를 사용한 연수 가 3년 이하인 임상가의 비율이 61.3%로 다소 많았던 것이 원인으로 해석된다. 또한, 연구에 참여한 작업치료 사 66.7%는 주로 학과 전공 과정 또는 임상 실습 과정에 서 K-MBI 평가 방법을 배우는 것으로 나타났고 실제로 환자를 치료하면서 교육받을 기회는 33.3%로 저조하였 다. 이러한 점은 연구 전 시행한 사전 조사에서 K-MBI 에 대한 신뢰도에 대한 인식(36.90%)과 평가자 간에 결 과가 일치한다고 생각하는지에 대한 문항에서 긍정적인 답변(54.10%)이 높지 않은 이유일 것으로 생각된다. 따 라서 평가자들을 교육하고 연습시킬 수 있는 프로그램이 구체적으로 마련되지 않는 한 평가자에 의해 평가결과가 달라질 수 있는 문제점을 극복하기는 어려울 것이다 (Sim & Lee, 2002). 본 연구의 활동분석을 기반으로 한 가이드북과 유사하게 기존의 MBI 검사 지침을 수정 및 보완한 연구에서도 항목별로 평가 기준을 쉽게 이해 할 수 있게 활동 중심으로 수정 보완하고 도구에 대한 설 명서를 사용하여 사전에 교육하였을 때 평가자 간 일치 도가 높아진 것으로 보고되었다(Ohura et al., 2017). 재활치료를 적용할 때는 목표 설정이 필수적이며 목표 달성 진행률을 측정하기 위해서는 결과측정 도구에 대한 평가자의 이해가 필수적이다. 실제로 MBI의 각 항목은 5등급으로 차등 점수화되어있고, 항목별 내용의 비중에 따라 가중치가 부가되어 있어 한 항목에 대해서도 등급 간 점수가 최소 1점~15점까지 차이가 날 수 있으므로 재활의 효과와 진행률을 측정하는 데 있어 정확성은 강 조되어야 하겠다.

    본 연구의 제한점은 연구에 사용된 동영상의 대상자 수가 적었고, 뇌졸중 환자로만 구성된 것이었다. 또한, 신 뢰성 있는 비디오 평가 기법을 사용하였으나 환자의 일 상생활활동 일부만 보여줌으로 직접적인 관찰과 비교했 을 때, 평가자는 환자의 기능 의존성에 관한 정보를 획득 하는 데 어려움이 있었다는 점이었다. 차후 연구에서는 다양한 환자군을 대상으로 동영상 촬영 및 환자의 수를 늘려서 측정하는 것으로 일치도를 측정하는 연구가 진행 되는 것을 제언한다.

    Ⅴ. 결 론

    본 연구의 결과를 통해 활동분석 및 프로세스 맵핑을 기반으로 한 K-MBI 가이드북을 이용한 일상생활활동 평가는 평가자 간의 신뢰도와 일치도 향상에 유용한 것 을 확인하였다. 본 연구의 의의는 개발된 가이드북을 통 하여 재활치료를 위한 일상생활활동의 초기평가와 경과 점검을 위한 재평가 시에 평가기준치로서 상호 교환할 수 있는 유용한 평가지침이 될 수 있을 것으로 판단된다.

    Figure

    JKSOT-27-2-79_F1.gif

    Scoring System Development Process Using Activity Analysis and Process Mapping

    JKSOT-27-2-79_F2.gif

    Activity Analysis

    JKSOT-27-2-79_F3.gif

    Process Mapping

    Table

    Characteristics of the Study Participants N=84

    The Results of Expert Content Assessment N=40

    Pre-Test and Post-Test ICCs Results N=84

    Comparison of Accuracy Between Pre and Post Test Results N=84

    Comparison of Agreement According to Evaluation Types

    Reference

    1. Cha, J. S. , & Kim, Y. B. (1994). An analytical review of interrater reliability & agreement. Korean Management Review, 23, 75-102.
    2. Criteria for disability grade §2018-151(2018).
    3. Fricke, J., & Unsworth, C. A. (1997). Inter-rater reliability of the original and modified Barthel Index, and a comparison with the Functional Independence Measure. Australian Occupational Therapy Journal, 44(1), 22-29.
    4. Han, Y. S. (2017). Development and application of Korean rehabilitation patient classification system. Retrieved from http://www.hira.or.kr/bbsDummy.do?pgmid=HIRAA030096000000
    5. Hocking, C. , Williams, M. , Broad, J. , & Baskett, J. (1999). Sensitivity of shah, vanclay and cooper’s modified Barthel Index. Clinical Rehabilitation, 13(2), 141-147.
    6. Hsueh, I. P. , Lin, J. H. , Jeng, J. S. , & Hsieh, C. L. (2002). Comparison of the psychometric characteristics of the functional independence measure, 5 item Barthel Index, and 10 item Barthel Index in patients with stroke. Journal of Neurology, Neurosurgery & Psychiatry, 73(2), 188-190.
    7. Itzkovich, M. , Gelernter, I. , Biering-Sorensen, F. , Weeks, C. , Laramee, M. T. , Craven, B. , ... Aito, S. (2007). The Spinal Cord Independence Measure(SCIM) version III: Reliability and validity in a multi-center international study. Disability and Rehabilitation, 29(24), 1926-1933.
    8. James, L. R. , Demaree, R. G. , & Wolf, G. (1993). rwg: An assessment of within-group interrater agreement. Journal of Applied Psychology, 78(2), 306-309.
    9. Jung, H. Y. , Park, B. K. , Shin, H. S. , Kang, Y. K. , Pyun, S. B. , Paik, N. J. , ... Han, T. R. (2007). Development of the Korean version of Modified Barthel Index(K-MBI): Multi-center study for subjects with stroke. Annals of Rehabilitation Medicine, 31(3), 283-297.
    10. Kozlowski, S. W. , & Hattrup, K. (1992). A disagreement about within-group agreement: Disentangling issues of consistency versus consensus. Journal of Applied Psychology, 77(2), 161-167.
    11. Lee, G. H. , Koo, K. H. , Shin, S. H. , Ahn, A. R. , Son, M. N. , & Cho, E. H. (2011). An inter-rater reliability study of K-MBI checklist. Journal of Korean Society of Occupational Therapy, 19(4), 95-105.
    12. Mahoney, F. I. , & Barthel, D. W. (1965). Functional evaluation: The Barthel Index. Maryland State Medical Journal, 14, 61-65.
    13. Ministry of Health and Welfare.(2017). Designated pilot project for rehabilitation medical institution. Retrieved from http://www.mohw. go.kr/react/search/search.jsp
    14. Noh, D. K. , Kim, K. H. , Kang, D. H. , Lee, J. S. , Nam, K. W. , & Shin, H. I. (2007). Utility of Korean Modified Barthel Index(K-MBI) to predict the length of hospital stay and the discharge destinations in people with stroke. Physical Therapy Korea, 14(3), 81-89.
    15. Ohura, T. , Hase, K. , Nakajima, Y. , & Nakayama, T. (2017). Validity and reliability of a performance evaluation tool based on the Modified Barthel Index for stroke patients. BMC Medical Research Methodology, 17(1), 131-139.
    16. Ottenbacher, K. J. , Hsu, Y. , Granger, C. V. , & Fiedler, R. C. (1996). The reliability of the functional independence measure: A quantitative review. Archives of Physical Medicine and Rehabilitation, 77(12), 1226-1232.
    17. Owczarzak, J. (2003). Functional Independence Measurement(FIM) user manual, version 1.0. Washington, DC: United States Department of Veteran Affairs.
    18. Palmer, C. , Kneebone, I. I. , Strauss, C. , & Jones, A. M. (2016). Using reliability of change analysis to evaluate post-acute neuro-rehabilitation. NeuroRehabilitation, 38(1), 93-98.
    19. Park, S. Y. , & Yoo, E. Y. (2002). The use of occupational therapy assessment tool by Korean occupational therapist. Journal of Korean Society of Occupational Therapy, 10(2), 99-108.
    20. Polit, D. F. , & Beck, C. T. (2006). The content validity index: Are you sure you know what’s being reported? Critique and recommendations. Research in Nursing & Health, 29(5), 489-497.
    21. Prodinger, B. , O’Connor, R. J. , Stucki, G. , & Tennant, A. (2017). Establishing score equivalence of the Functional Independence Measure motor scale and the Barthel Index, utilising the international classification of functioning, disability and health and rasch measurement theory. Journal of Rehabilitation Medicine, 49(5), 416-422.
    22. Quinn, T. J. , Langhorne, P. , & Stott, D. J. (2011). Barthel Index for stroke trials: Development, properties, and application. Stroke, 42(4), 1146-1151.
    23. Sangha, H. , Lipson, D. , Foley, N. , Salter, K. , Bhogal, S. , Pohani, G. , & Teasell, R. W. (2005). A comparison of the Barthel Index and the Functional Independence Measure as outcome measures in stroke rehabilitation: Patterns of disability scale usage in clinical trials. International Journal of Rehabilitation Research, 28(2), 135-139.
    24. Shah, S. , Vanclay, F. , & Cooper, B. (1989). Improving the sensitivity of the Barthel Index for stroke rehabilitation. Journal of Clinical Epidemiology, 42(8), 703-709.
    25. Sim, H. S. , & Lee, E. J. (2002). An interjudge reliability study on the subtypes of SSI-3. Communication Sciences & Disorders, 7, 130-154.
    26. Stineman, M. G. , Streim, J. E. , Pan, Q. , Kurichi, J. E. , Rose, S. M. S. F. , & Xie, D. (2014). Activity limitation stages empirically derived for Activities of Daily Living(ADL) and instrumental ADL in the US adult community-dwelling medicare population. American Academy of Physical Medicine and Rehabilitation, 6(11), 976-987.
    27. Sulter, G. , Steen, C. , & De Keyser, J. (1999). Use of the Barthel Index and modified Rankin scale in acute stroke trials. Stroke, 30(8), 1538-1541.