1- مقدمه

مطابق با الزامات استانداردهای سیستم مدیریت کیفیت در آزمایشگاه‌ها مانند ISO/IEC 17025:2017 و ISO 15189:2022 روش‌های آزمون کیفی (آزمون طبقه‌بندی یا آزمون غربالگری) نیز همچون آزمون‌های کمی باید مورد تصدیق و صحه‌گذاری قرارگیرند و اطمینان حاصل شود که روش‌های آزمون کیفی نیز مانند سایر آزمون‌های کمی که در آزمایشگاه‌های انجام آزمون و تشخیص طبی انجام می‌شوند، قادر به ارائه نتایج با درستی قابل قبول می‌باشند. بر این اساس در ادامه این پست نحوه استفاده از منحنی ROC برای اطمینان از اعتبار نتایج آزمون‌های کیفی در آزمایشگاه تشریح خواهد شد. استفاده از این منحنی برای آزمایشگاه‌هایی که آزمون‌های غربالگری انجام می‌دهند؛ نظیر آزمایشگاه‌های میکروبیولوژی مواد غذایی، آرایشی، بهداشتی و دارویی و همین طور آزمایشگاه‌های دامپزشکی و تشخیص طبی برای اطمینان از اعتبار نتایج آزمون و همین طور برای تصدیق و صحه‌گذری روش‌های آزمون کیفی بسیار مفید است.

با نتایج آزمون کیفی در آزمایشگاه هنگامی مواجه می‌شویم كه هدف از یک آزمون یا مدل، پیش‌بينی و انتساب اقلام آزمون به گروه‌های معين و خاصی باشد. به عنوان مثال در آزمایشگاه‌های میکروبیولوژی برای تشخیص اشرشیا کلی و یا در آزمایشگاه‌های تشخیص طبی براي تشخيص کرونا (کووید ۱۹)، ديابت و يا سرطان از ملاک‌ها و شاخص‌های مختلفی استفاده می‌شود. ساده‌ترين حالت هنگامی است كه هدف تخصيص اقلام آزمون یا نمونه‌ها به یكی از دو گروه ممكن (به عنوان مثال در آزمایشگاه‌های میکروبیولوژی و دامپزشکی “غیرآلوده یا آلوده ” و یا در آزمایشگاه پزشکی “سالم یا بيمار”) باشد. در اين صورت صفتی در مقياس پيوسته و يا رتبه‌ای بر روي نمونه‌ای از افراد یا اقلام سالم و آلوده اندازه‌گیری می‌شود و سپس با انتخاب يک نقطه برش مناسب برحسب ميزان حساسیت (sensitivity) و تشخیص‌پذیری یا ویژگی (specificity) آزمون در آن نقطه و نيز مقدار تابع زيان اهميت تشخيص، اقلام یا افراد سالم و آلوده (بیمار) مشخص می‌گردند. يک شاخص ارزیابی مناسب و تک مقداری برای آزمون در اين حالت، مساحت زیر منحنی ROC است که در ادامه این پست نحوه ترسیم و کاربرد آن تشریح خواهد شد.

2- کاربرد آزمون‌های غربالگری (باینری)

یک مطالعه برای ارزیابی یک آزمون جدید که وجود آلودگی در یک نوع از مواد غذایی را نشان می‌دهد، را تصور کنید. هر نمونه که مورد آزمون قرار می‌گیرد، یا آلودگی خاصی را دارد یا ندارد، نتیجه آزمون می‌تواند مثبت باشد (طبقه‌بندی اقلام به عنوان آلوده) و یا منفی (طبقه‌بندی اقلام به عنوان سالم)، نتایج آزمون برای هر قلم ممکن است با وضعیت واقعی اقلام مطابقت داشته یا نداشته باشد. در این صورت نتایج آزمون هر نمونه ممکن است در یکی از چهار دسته زیر قرار بگیرد:

۱- مثبت صحیح (True Positive)، به عنوان مثال نمونه دارای آلودگی، به درستی آلوده تشخیص داده شود.

۲- مثبت غلط (False Positive)، به عنوان مثال نمونه سالم (فاقد آلودگی)، به اشتباه آلوده تشخیص داده شود.

۳- منفی صحیح (True Negative)، به عنوان مثال نمونه سالم (فاقد آلودگی)، به درستی سالم تشخیص داده شود.

۴- منفی غلط (False Negative)، به عنوان مثال نمونه دارای آلودگی، به اشتباه سالم تشخیص داده شود.

به طور کلی، مثبت = آلودگی شناسایی شده، و منفی = آلودگی شناسایی نشده. از این رو:

۱- مثبت صحیح (True Positive) = درست آلوده شناسایی شده است.

۲- مثبت غلط (False Positive) = اشتباه آلوده شناسایی شده است (خطای نوع یک در انجام آزمون).

۳- منفی صحیح (True Negative) = به درستی سالم شناسایی شده است.

۴- منفی غلط (False Negative) = اشتباه سالم شناسایی شده است (خطای نوع دوم در انجام آزمون).

چهار وضعیت فوق در جدول زیر نشان داده شده‌اند:

پس از تعریف مثبت و منفی صحیح و همچنین مثبت و منفی غلط، حال بیایید مفاهیم حساسیت (sensitivity) و تشخیص‌پذیری یا ویژگی (specificity) را برای آزمون‌ها با نتایج باینری تعریف کنیم. اولین نکته اینکه هر دوی این مفاهیم از جنس احتمال و در نتیجه عددی بین صفر و یک می‌باشند و می‌توان آنها را بر حسب درصد (بین صفر و صد) بیان نمود.

حساسیت (sensitivity) به احتمال مثبت شدن صحیح نتیجه آزمون وقتی که نمونه دارای آلودگی است، اشاره می‌کند که می‌توان آن را به صورت زیر به دست آورد. حساسیت را نرخ مثبت صحیح (TPR) نیز می‌نامند.

تشخیص‌پذیری یا ویژگی (specificity) نیز به احتمال منفی شدن صحیح نتیجه آزمون وقتی که نمونه سالم (فاقد آلودگی) است، اشاره می‌کند. تشخیص‌پذیری یا ویژگی را می‌توان به صورت زیر به دست آورد. تشخیص‌پذیری یا ویژگی را نرخ منفی صحیح (TNR) نیز می‌گویند.

 3- منحنی راک (ROC Curve) چیست؟

منحنی راک (ROC Curve) که از آن به عنوان “منحنی مشخصه عملیاتی دریافت‌کننده” یا “منحنی مشخصه عملکرد سیستم” Receiver Operating Characteristics نام برده می‌شود، یک نمودار گرافیکی است که توانایی تشخیص یک سیستم اندازه‌گیری طبقه‌بندی باینری را نشان می‌دهد. این منحنی از ابزارهای سنحش عملکرد یک روش آزمون به حساب می‌آید که با استفاده از آن می‌توان مفاهیمی مانند نقطه برش (Cutoff)، حساسیت (sensitivity) و تشخیص‌پذیری یا ویژگی (specificity) یک آزمون را مورد بررسی قرار داد.

 منحنی راک (ROC Curve) که به صورت شکل زیر است، جهت بیان نرخ مثبت صحیح (TPR) در برابر نرخ مثبت غلط (FNR) به کار می‌رود. محور عمودی این منحنی حساسیت (sensitivity) و محور افقی آن همان (ویژگی – 1) است. یک خط نیم‌ساز نیز در این منحنی دیده می‌شود.

منحنی راک (ROC Curve) دارای سه بخش است، که در ادامه آن‌ها را تشریح خواهیم کرد:

 4- سطح زیر منحنی راک (AUC) چگونه تفسیر می‌شود؟

قبل از ارائه مثال لازم است با مفهومی دیگر به نام سطح زیر منحنی راک Area under the ROC curve که معمولاً به اختصار AUC نامیده می‌شود، آشنا شویم. بدین منظور به شکل زیر توجه نمایید.

این شکل همان منحنی راک (ROC Curve) است که سطح زیر منحنی آن مشخص شده است. ما به این سطح (Area under the ROC Curve = AuC) می‌گوییم. مقدار عددی AUC به وضوح عددی بین صفر تا یک است و نشان می‌دهد قدرت تشخیص یا درستی نتایج یک آزمون چقدر می‌باشد. درستی نتایج آزمون به این بستگی دارد که روش آزمون چقدر توانایی تفاوت درست نشان دادن نتایج مثبت صحیح (TP) و منفی صحیح (TF) را دارد. اگر این عدد به یک نزدیک باشد، به معنای آن است که داده‌ها عموماً در بالای خط نیم‌ساز قرار گرفته‌اند و میزان نرخ مثبت صحیح بالا است و روش آزمون از قدرت تشخیص یا درستی مناسبی برخوردار است. اعداد AUC نزدیک به 0.5 همان برابری نرخ مثبت صحیح و نرخ مثبت کاذب را نشان می‌دهد و اعداد کمتر از 0.5 بیانگر بالاتر بودن نرخ مثبت کاذب در مقایسه با نرخ مثبت صحیح است. برای تفسیر مقادیر AUC می‌توان از قوانین کلی ارائه شده توسط Hosmer و Lemeshow مطابق با جدول زیر استفاده نمود:

در برخی از مراجع دیگر نیز برای تفسیر مقادیر عددی AUC جدول زیر پیشنهاد شده است.

پس از بیان مفاهیم پایه می‌خواهیم همراه با یک مثال عددی در نرم افزار XLSTAT نحوه ترسیم منحنی راک (ROC Curve) و تعیین مقدار AUC را به منظور اطمینان از اعتبار نتایج در آزمون‌های کیفی تشریح کنیم. در این مثال سعی می‌شود علاوه بر آموزش نحوه ترسیم نمودار راک، نحوه تعیین نقطه برش (Cutoff) بهینه نیز تشریح شود.

 5- انواع نرم افزارهای آماری برای رسم منحنی راک (ROC Curve)

نرم افزارهای آماری زیادی مانند SPSS، Minitab, XLSTAT, Graph Pad و … قادر به رسم منحنی راک می‌باشند. از میان این نرم افزارها XLSTAT خروجی جامع‌تری را به کاربران ارائه می‌دهد. این نرم افزار قادر به تعیین نقطه برش (Cutoff) بهینه که در آن بالاترین قدرت تشخیص حاصل خواهد شد، می‌باشد. همچنین این نرم افزار قادر است هزینه‌های ناشی از مثبت کاذب (FP) و منفی کاذب (FN) در تجزیه و تحلیل‌های آماری را در نظر بگیرد و نقاط برش بهینه را برحسب هزینه نشان دهد. بر این اساس در این پست از نرم افزار XLSTAT برای رسم منحنی راک استفاده می‌شود. (جهت کسب اطلاعات بیشتر در خصوص این نرم افزار به پست بررسی قابلیت‌های نرم افزار XLSTAT برای تجزیه و تحلیل آماری نتایج آزمون در آزمایشگاه در همین سایت مراجعه نمایید.)

6- رسم منحنی راک (ROC Curve) در نرم افزار XLSTAT همراه با یک مثال عددی

برای تشریح نحوه رسم منحنی راک در نرم افزار XLSTAT از یک مثال استفاده خواهیم کرد. در این مثال همچنین نحوه تعیین نقطه برش (Cutoff) بهینه نیز تشریح خواهد شد.

مثال: آزمایشگاهی در یک شرکت داروسازی در تلاش است تا یک روش سریع برای تشخیص ویروس کووید 19 را صحه‌گذاری کند. تأخیر در به دست آوردن نتایج در روش‌های آزمون استاندارد سنتی، باعث کاهش اثربخشی آنها شده است؛ زیرا بسیاری از بیماران ممکن است به دلیل ندانستن بیماری خود این ویروس را به دیگران انتقال دهند. روش آزمون سریع توسعه یافته جدید از یک کیت تشخیصی با 8 طیف سایه قرمز رنگ استفاده می‌‌کند. هرچه سایه‌ها پررنگ‌تر باشند (مقادیر نزدیک به 8) نشان‌دهنده احتمال بیشتر آلودگی فرد به ویروس کووید 19 می‌باشد. این روش آزمون جدید قادر است که نتایج را در 10 تا 15 دقیقه ارائه دهد. آزمایشگاه می‌خواهد بررسی کند که آیا روش سریع جدید، نتایجی با درستیِ مشابه با نتایح روش‌های استاندارد سنتی را ارائه می‌دهد یا خیر؟ (در حال حاضر روش‌های استاندارد سنتی موجود در بیش از 90% موارد نتایج درستی را ارائه می‌دهند). برای ارائه پاسخ به این سئوال، یک مطالعه صحه‌گذاری توسط آزمایشگاه بر روی 200 نفر انجام شده است که نیمی از آنها به ویروس کووید 19 آلوده و نیمی از آنها افراد سالم بوده‌اند. نتایج آزمون بر روی این 200 نفر مطابق با جدول زیر است. (دانلود فایل مثال)

به منظور رسم منحنی راک در نرم افزار XLSTAT مطابق با گام‌های زیر عمل نمایید:

گام 1: نرم افزار XLSTAT‌ را دانلود و نصب نمایید. (دانلود نرم افزار)

گام 2: فایل مثال ارائه شده را دانلود و در نرم افزار اکسل آن را باز کنید.

گام 3: در نرم افزار اکسل به منوی XLSTAT‌ رفته و مسیر زیر را برای رسم منحنی راک انتخاب کنید:

Survival analysis / ROC Curves

گام 4: وقتی روی ROC Curves کلیک می‌کنید،‌ پنجره زیر باز می‌شود، در کادر event data داده‌های مربوط به وضعیت واقعی نمونه‌ها (ستون A1:A201) و در کادر Test Data نتایج آزمون بدست آمده از روش جدید مورد صحه‌گذاری (ستون B1:B201) را وارد نمایید.

گام 5: مطابق با تصویر زیر در تب Options می‌توانید روش محاسبه فواصل اطمینان برای مقدار سطح زیر منحنی (AUS) را تعیین کنید. موارد پیش فرض انتخاب شده مواردی هستند که شرکت سازنده نرم افزار استفاده از آنها را توصیه می‌کند. در این بخش می‌توانید هزینه‌های مختلفی را برای مثبت صحیح (TP)،‌ منفی صحیح (TN)، مثبت کاذب (FP) و منفی کاذب (FN) اختصاص دهید. در این مثال ما هزینه‌های ناشی از منفی کاذب (عدم تشخیص فردی که واقعاً آلوده به ویروس است) را دو برابر هزینه‌های ناشی از مثبت کاذب (بیمار تشخیص دادن یک فرد سالم) در نظر گرفته‌ایم. زیرا اگر آلوده بودن یک شخص به درستی تشخیص داده نشود، این فرد می‌تواند افراد زیادی را در جامعه به این ویروس آلوده نماید. 

گام 6: مطابق با تصویر زیر به تب Charts رفته و طرح تصمیم‌گیری را بر اساس هزینه (cost) انتخاب کنید. در این حالت نرم افزار نمودار هزینه را بر حسب نقاط برش (Cutoff) مختلف به ما نشان می‌دهد و می‌توان نقطه برش بهینه را بر حسب هزینه‌های تصمیم‌گیری تعیین نمود.

در نهایت هنگامی که روی OK کلیک می‌کنید، محاسبات انجام می‌شود و نتایج نمایش داده می‌شوند.

تفسیر نتایج بدست آمده:

در جدول اول آمار توصیفی برای متغیر آزمون (برای این مثال 8 طیف سایه قرمز رنگ) به دنبال آن متغیر رویداد (برای این مثال وضعیت افراد مورد مطالعه) آورده شده است. 

سپس منحنی ROC نمایش داده می شود. هر مربع کوچک یک مشاهده (نقطه برش) است.

تحلیل ROC که در جدول زیر مشاهده می‌شود، برای هر مقدار آستانه (نقطه برش) ممکن، مقدار شاخص‌های مختلف عملکردی را نشان می‌دهد. به عنوان مثال، اگر تصمیم داشته باشیم نقطه برش را مقدار 3 در نظر گرفته و افرادی که نتایج آزمون آنها کوچکتر یا مساوی 3 است را سالم در نظر بگیریم، در روش آزمون سریع حساسیت (sensitivity) برابر با 0.93 و ویژگی (specificity) برابر با 0.88 و هزینه آن 233 خواهد شد. با توجه به اینکه این نقطه دارای بالاترین درستی (Accuracy) و کمترین هزینه ممکن می‌باشد، می‌توان آن را به عنوان نقطه برش (Cutoff) بهینه برای این روش آزمون در نظر گرفت.

برای مثال ارائه شده باتوجه به اینکه با انتخاب نقطه برش 3 درستی نتایج بیش از 90% خواهد شد، می‌توان گفت این روش سریع جدید از عملکردی مشابه با روش‌های استاندارد سنتی موجود برخوردار است و ویژگی‌های عملکردی روش آزمون جدید (مانند حساسیت، تشخیص پذیری و درستی) مناسب بودن آن برای استفاده مورد نظر را تایید می‌کنند.   

برای کسب اطلاعات بیشتر در مورد شاخص‌های مختلف عملکردی مربوط به آزمون‌های کیفی، می‌توانید به پست آموزشی تعیین حساسیت و تشخیص پذیری در آزمون‌های کیفی مراجعه نمایید.

با استفاده از اطلاعات جدول فوق، نمودار زیر نمایش داده می‌شود. این نمودار می‌تواند بسته به مقدار آستانه (نقطه برش) انتخاب شده، سیر تکاملی شمارش مثبت صحیح (TP)،‌ منفی صحیح (TN)، مثبت کاذب (FP) و منفی کاذب (FN) را نشان دهد.

نمودار زیر که به آن نمودار تصمیم‌گیری گفته می‌شود، اجازه می‌دهد مقدار آستانه یا همان نقطه برش (Cutoff) را به نحوی انتخاب کنید که هزینه‌های ناشی از تصمیم‌گیری را به حداقل برسانید. برای دیدن حداقل مقدار آستانه در نمودار، کافی است موس خود را روی نقطه مربوطه بگذارید. همانطور که قبلاً در آنالیز جدول ROC مشخص کرده بودیم، نقطه برش (Cutoff) در این مثال مقدار 3 است که در نمودار زیر نیز به عنوان کم هزینه‌ترین انتخاب ممکن نشان داده شده است.

آخرین سری نتایج نمایش داده شده در نرم افزار، امکان مطالعه سطح زیر منحنی (AUC) را فراهم می‌کند. در این بخش از نتایج تجزیه و تحلیل، نرم‌افزار مقدار AUC را همراه با فاصله اطمینان آن محاسبه می‌کند و یک آزمون فرض را برای بررسی فرضیه‌های زیر در سطح اطمینان 95% انجام داده و نتایج این آزمون فرض را نشان می‌دهد.

H0: AUC = 0.5          vs.          H1: AUC >0.5

در اینجا فرض صفر به معنای آن است که روش آزمون سریع برای تشخیص کووید 19 دارای نرخ مثبت کاذب و نرخ مثبت صحیح یکسان می‌باشد. همان‌گونه که در تفسیر جدول AUC بیان کردیم، اندازه عددی 0.5 برای AUC به معنای بی‌فایده و غیرقابل استناد بودن روش آزمون مورد مطالعه می‌باشد. پس به عبارت ساده‌تر فرض صفر به معنای آن است که آزمون تشخیصی ما که قرار است افراد آلوده و سالم را از یکدیگر جدا کند، مناسب برای هدف مورد نظر نمی‌باشد و دارای قدرت تشخیص و درستی پایین است که سبب می‌شود از هر دو مورد یکی را درست و دیگری را اشتباه تشخیص دهد. بدین ترتیب تعریف فرض مقابل نیز به دست می‌آید. اندازه عددی AUC بزرگتر از 0.5 به معنای آن است که روش آزمون سریع توسعه یافته توانایی مناسبی جهت تشخیص افراد آلوده به ویروس از افراد سالم را دارا می‌باشد.

به این ترتیب راز P value در تحلیل ROC Curve کشف می‌شود. مقدار احتمال به دست آمده به ما کمک می‌کند تا بتوانیم فرض صفر را پذیرفته و یا رد کنیم. همانطور که در جدول زیر نشان داده شده است، در این مثال مقدار P value برابر با 0.0001> شده است. بنابراین به وضوح و در سطح معنی‌داری 5%، فرض صفر رد می‌شود و می‌پذیریم که آزمون مورد استفاده در این مثال، توانایی مناسبی جهت تشخیص افراد آلوده به ویروس از افراد سالم را دارد. البته این مطلب بدون مشاهده P value نیز قابل فهم بود. علاوه بر اینکه خود Area عدد بالایی (0.945) به دست آمده است، کران پایین فاصله اطمینان AUC یعنی (0.912) نیز همچنان با 0.5 فاصله زیادی دارد.

امیداوریم نحوه استفاده از منحنی ROC برای اطمینان از اعتبار نتایج آزمون‌های کیفی در آزمایشگاه را به خوبی درک کرده و از این مطلب لذت برده باشید. در صورت وجود هر گونه پرسشی در خصوص صحه گذاری روش‌های آزمون کیفی می‌تواند سوالات خودتان در قسمت کامنت های این پست قراردهید. سعی خواهد شد تا جای ممکن به سئوالات مطرح شده پاسخ مناسب داده شود. همچنین در صورت نیاز به برگزاری دوره تصدیق و صحه گذاری روش های آزمون برای کارکنان آزمایشگاه یا برای دریافت خدمات مشاوره برای اخذ گواهینامه ایزو 17025 و مشاوره ایزو 15189 می‌توانید با ما تماس بگیرید.

کلمات کلیدی: استاندارد ISO 17025، استاندارد ISO/IEC 17025، استاندارد ISO15189، آموزش ISO 17025، آموزش ISO 15189، مشاوره استاندارد ISO/IEC 17025، آموزش استاندارد ISO/IEC 17025، مشاوره ایزو 17025، مشاوره استاندارد ISO 17025، مشاوره ایزو 15189، مشاوره استاندارد ISO1589، تاییدصلاحیت آزمایشگاه، تاییدصلاحیت آزمایشگاه ها، صحه گذاری روش آزمون، صحه گذاری روش های آزمون، اطمینان از اعنبار نتایج آزمون، کنترل کیفیت آزمایشگاه، کنترل کیفیت داخلی و خارجی،