جستجو برای:
سبد خرید 0
  • خانه
  • خدمات مشاوره
    • مشاوره استاندارد ایزو ۱۷۰۲۵
    • مشاوره استاندارد ایزو ۱۷۰۴۳
    • مشاوره استاندارد ایزو ۹۰۰۱
    • مشاوره استاندارد ایزو ۱۵۱۸۹
    • مشاوره مدیریت عملکرد برای سازمان‌ها و شرکت‌ها
  • دوره‌های آموزشی
    • آموزش‌های آزمایشگاهی بر اساس استاندارد ایزو 17025
    • دوره‌های آموزشی ابزارهای کیفیت
    • آموزش‌های آزمایشگاهی بر اساس استاندارد ایزو 15189
    • دوره های آموزشی مدیریتی
  • دانلودها
    • دانلود نرم افزارهای کاربردی
    • دانلود کتاب ها
    • دانلود استانداردها
    • دانلود راهنماها
    • دانلود جزوات آموزشی مفید
    • فروش نرم افزار محاسبه عدم قطعیت اندازه گیری
  • خبرها
  • وبلاگ
  • درباره سایت
  • تماس با ما
آکادمی دکتر دستمردی

ورود

گذرواژه خود را فراموش کرده اید؟

یا

ارسال مجدد کد یکبار مصرف (00:90)

ثبت نام

ارسال مجدد کد یکبار مصرف (00:90)
  • 09125446045
  • info@dastmardi.ir
آکادمی دکتر دستمردی
  • خانه
  • خدمات مشاوره
    • خدمات مشاوره

      مشاوره مدیریت عملکرد در سازمان

      1 دوره

      مشاوره استاندارد ایزو 9001

      1 محصول

      مشاوره استاندارد ایزو 17043

      1 محصول

      مشاوره استاندارد ایزو 17025

      1 محصول

      مشاوره استاندارد ایزو 15189

      1 دوره
      • دوره‌های آموزشی
        • دوره‌های آموزشی ابزارهای کیفیت
        • آموزش‌های مراکز آزمون مهارت بر اساس استاندارد ایزو 17043
        • آموزش‌های آزمایشگاهی بر اساس استاندارد ایزو 17025
        • آموزش‌های آزمایشگاهی بر اساس استاندارد ایزو 15189
      • مشاوره استاندارد ایزو 17043
      • مشاوره استاندارد ایزو 15189
      • مشاوره استاندارد ایزو 9001
      • مشاوره مدیریت عملکرد در سازمان
      • کتاب‌ها و راهنماها
      • مشاوره استاندارد ایزو 17025
      • خدمات مشاوره
  • خدمات آموزشی
    • آموزش‌های استاندارد ایزو 17025
      • آشنایی با الزامات استاندارد ایزو 17025
      • مدیریت ریسک و قواعد تصمیم گیری
      • تصدیق و صحه گذاری روشهای آزمون
      • اطمینان از اعتبار نتایج آزمون در آزمایشگاه
      • ارزشیابی عدم قطعیت اندازه گیری به روش GUM
      • آشنایی با روش‌های آماری در مقايسات بين آزمايشگاهی
      • ارزشیابی عدم قطعیت اندازه گیری به روش بالا به پایین
      • ارزشیابی عدم قطعیت اندازه گیری در آزمون های میکروبیولوژی
    • آموزش‌های استاندارد ایزو 15189
      • ارزشیابی عدم قطعیت اندازه گیری در آزمایشگاه پزشکی
      • تصدیق و صحه‌گذاری روش آزمون در آزمایشگاه پزشکی
    • دوره های آموزشی مدیریتی
      • آشنایی با الزامات استاندارد ایزو 9001
    • دوره‌های آموزشی ابزارهای کیفیت
      • کنترل فرایند آماری با نرم‌افزار Minitab
      • طراحی و تحلیل آزمایشها با نرم‌افزار Minitab
      • نمونه برداری پذیرشی با نرم‌افزار Statgraphics
      • تجزیه و تحلیل سیستم اندازه‌گیری با نرم‌افزار Minitab
    • آموزش‌های استاندارد ایزو 17043
      • آموزش روش‌های آماری در آزمون مهارت
  • دانلودها
    • دانلود کتاب ها
    • دانلود راهنماها
    • دانلود استانداردها
    • دانلود فیلم های آموزشی
    • دانلود جزوات آموزشی مفید
    • دانلود نرم افزارهای کاربردی
    • نرم‌افزار محاسبه عدم قطعیت اندازه گیری
  • مقالات
  • خبرهای آکادمی
  • تماس با ما
آخرین اطلاعیه ها
جهت نمایش اطلاعیه باید وارد سایت شوید
شروع کنید
0

وبلاگ

آکادمی دکتر دستمردی > مقالات > نحوه استفاده از منحنی ROC‌ برای اطمینان از اعتبار نتایج آزمون‌های کیفی در آزمایشگاه

نحوه استفاده از منحنی ROC‌ برای اطمینان از اعتبار نتایج آزمون‌های کیفی در آزمایشگاه

13/01/1399
ارسال شده توسط dastmardi
مقالات، استاندارد ایزو 15189، استاندارد ایزو 17025، تصدیق و صحه گذاری روشهای آزمون
ROCAUC نحوه استفاده از منحنی ROC‌ برای اطمینان از اعتبار نتایج آزمون‌های کیفی در آزمایشگاه

ROCAUC نحوه استفاده از منحنی ROC‌ برای اطمینان از اعتبار نتایج آزمون‌های کیفی در آزمایشگاه

1- مقدمه

مطابق با الزامات استانداردهای سیستم مدیریت کیفیت در آزمایشگاه‌ها مانند ISO/IEC 17025:2017 و ISO 15189:2022 روش‌های آزمون کیفی (آزمون طبقه‌بندی یا آزمون غربالگری) نیز همچون آزمون‌های کمی باید مورد تصدیق و صحه‌گذاری قرارگیرند و اطمینان حاصل شود که روش‌های آزمون کیفی نیز مانند سایر آزمون‌های کمی که در آزمایشگاه‌های انجام آزمون و تشخیص طبی انجام می‌شوند، قادر به ارائه نتایج با درستی قابل قبول می‌باشند. بر این اساس در ادامه این پست نحوه استفاده از منحنی ROC برای اطمینان از اعتبار نتایج آزمون‌های کیفی در آزمایشگاه تشریح خواهد شد. استفاده از این منحنی برای آزمایشگاه‌هایی که آزمون‌های غربالگری انجام می‌دهند؛ نظیر آزمایشگاه‌های میکروبیولوژی مواد غذایی، آرایشی، بهداشتی و دارویی و همین طور آزمایشگاه‌های دامپزشکی و تشخیص طبی برای اطمینان از اعتبار نتایج آزمون و همین طور برای تصدیق و صحه‌گذری روش‌های آزمون کیفی بسیار مفید است.

با نتایج آزمون کیفی در آزمایشگاه هنگامی مواجه می‌شویم كه هدف از یک آزمون یا مدل، پیش‌بينی و انتساب اقلام آزمون به گروه‌های معين و خاصی باشد. به عنوان مثال در آزمایشگاه‌های میکروبیولوژی برای تشخیص اشرشیا کلی و یا در آزمایشگاه‌های تشخیص طبی براي تشخيص کرونا (کووید ۱۹)، ديابت و يا سرطان از ملاک‌ها و شاخص‌های مختلفی استفاده می‌شود. ساده‌ترين حالت هنگامی است كه هدف تخصيص اقلام آزمون یا نمونه‌ها به یكی از دو گروه ممكن (به عنوان مثال در آزمایشگاه‌های میکروبیولوژی و دامپزشکی “غیرآلوده یا آلوده ” و یا در آزمایشگاه پزشکی “سالم یا بيمار”) باشد. در اين صورت صفتی در مقياس پيوسته و يا رتبه‌ای بر روي نمونه‌ای از افراد یا اقلام سالم و آلوده اندازه‌گیری می‌شود و سپس با انتخاب يک نقطه برش مناسب برحسب ميزان حساسیت (sensitivity) و تشخیص‌پذیری یا ویژگی (specificity) آزمون در آن نقطه و نيز مقدار تابع زيان اهميت تشخيص، اقلام یا افراد سالم و آلوده (بیمار) مشخص می‌گردند. يک شاخص ارزیابی مناسب و تک مقداری برای آزمون در اين حالت، مساحت زیر منحنی ROC است که در ادامه این پست نحوه ترسیم و کاربرد آن تشریح خواهد شد.


2- کاربرد آزمون‌های غربالگری (باینری)

یک مطالعه برای ارزیابی یک آزمون جدید که وجود آلودگی در یک نوع از مواد غذایی را نشان می‌دهد، را تصور کنید. هر نمونه که مورد آزمون قرار می‌گیرد، یا آلودگی خاصی را دارد یا ندارد، نتیجه آزمون می‌تواند مثبت باشد (طبقه‌بندی اقلام به عنوان آلوده) و یا منفی (طبقه‌بندی اقلام به عنوان سالم)، نتایج آزمون برای هر قلم ممکن است با وضعیت واقعی اقلام مطابقت داشته یا نداشته باشد. در این صورت نتایج آزمون هر نمونه ممکن است در یکی از چهار دسته زیر قرار بگیرد:

۱- مثبت صحیح (True Positive)، به عنوان مثال نمونه دارای آلودگی، به درستی آلوده تشخیص داده شود.

۲- مثبت غلط (False Positive)، به عنوان مثال نمونه سالم (فاقد آلودگی)، به اشتباه آلوده تشخیص داده شود.

۳- منفی صحیح (True Negative)، به عنوان مثال نمونه سالم (فاقد آلودگی)، به درستی سالم تشخیص داده شود.

۴- منفی غلط (False Negative)، به عنوان مثال نمونه دارای آلودگی، به اشتباه سالم تشخیص داده شود.

به طور کلی، مثبت = آلودگی شناسایی شده، و منفی = آلودگی شناسایی نشده. از این رو:

۱- مثبت صحیح (True Positive) = درست آلوده شناسایی شده است.

۲- مثبت غلط (False Positive) = اشتباه آلوده شناسایی شده است (خطای نوع یک در انجام آزمون).

۳- منفی صحیح (True Negative) = به درستی سالم شناسایی شده است.

۴- منفی غلط (False Negative) = اشتباه سالم شناسایی شده است (خطای نوع دوم در انجام آزمون).

چهار وضعیت فوق در جدول زیر نشان داده شده‌اند:

Sensitivity and specificity 1 1 نحوه استفاده از منحنی ROC‌ برای اطمینان از اعتبار نتایج آزمون‌های کیفی در آزمایشگاه

پس از تعریف مثبت و منفی صحیح و همچنین مثبت و منفی غلط، حال بیایید مفاهیم حساسیت (sensitivity) و تشخیص‌پذیری یا ویژگی (specificity) را برای آزمون‌ها با نتایج باینری تعریف کنیم. اولین نکته اینکه هر دوی این مفاهیم از جنس احتمال و در نتیجه عددی بین صفر و یک می‌باشند و می‌توان آنها را بر حسب درصد (بین صفر و صد) بیان نمود.

حساسیت (sensitivity) به احتمال مثبت شدن صحیح نتیجه آزمون وقتی که نمونه دارای آلودگی است، اشاره می‌کند که می‌توان آن را به صورت زیر به دست آورد. حساسیت را نرخ مثبت صحیح (TPR) نیز می‌نامند.

ROC Curve 3 Dastmardi نحوه استفاده از منحنی ROC‌ برای اطمینان از اعتبار نتایج آزمون‌های کیفی در آزمایشگاه 

تشخیص‌پذیری یا ویژگی (specificity) نیز به احتمال منفی شدن صحیح نتیجه آزمون وقتی که نمونه سالم (فاقد آلودگی) است، اشاره می‌کند. تشخیص‌پذیری یا ویژگی را می‌توان به صورت زیر به دست آورد. تشخیص‌پذیری یا ویژگی را نرخ منفی صحیح (TNR) نیز می‌گویند.

ROC Curve 4 Dastmardi.ir نحوه استفاده از منحنی ROC‌ برای اطمینان از اعتبار نتایج آزمون‌های کیفی در آزمایشگاه

در اینجا یک مفهوم دیگر نیز مطرح است و آن متمم تشخیص‌پذیری یا ویژگی (ویژگی – 1) می‌باشد. این مفهوم به احتمال مثبت شدن غلط نتیجه آزمون وقتی که نمونه سالم (فاقد آلودگی) است، اشاره می‌کند. این مفهوم را نرخ مثبت غلط و یا به اختصار FPR (False Positive Rate)، نیز می‌گویند که مقدار آن از رابطه زیر به دست می‌آید:
ROC Curve 5 dastmardi.ir 2 نحوه استفاده از منحنی ROC‌ برای اطمینان از اعتبار نتایج آزمون‌های کیفی در آزمایشگاه
جهت کسب اطلاعات بیشتر در خصوص حساسیت و تشخیص پذیری می‌توانید به پست نحوه تعیین حساسیت و تشخیص پذیری در آزمون‌های کیفی در همین این سایت مراجعه نمایید.

 3- منحنی راک (ROC Curve) چیست؟

منحنی راک (ROC Curve) که از آن به عنوان “منحنی مشخصه عملیاتی دریافت‌کننده” یا “منحنی مشخصه عملکرد سیستم” Receiver Operating Characteristics نام برده می‌شود، یک نمودار گرافیکی است که توانایی تشخیص یک سیستم اندازه‌گیری طبقه‌بندی باینری را نشان می‌دهد. این منحنی از ابزارهای سنحش عملکرد یک روش آزمون به حساب می‌آید که با استفاده از آن می‌توان مفاهیمی مانند نقطه برش (Cutoff)، حساسیت (sensitivity) و تشخیص‌پذیری یا ویژگی (specificity) یک آزمون را مورد بررسی قرار داد.

 منحنی راک (ROC Curve) که به صورت شکل زیر است، جهت بیان نرخ مثبت صحیح (TPR) در برابر نرخ مثبت غلط (FNR) به کار می‌رود. محور عمودی این منحنی حساسیت (sensitivity) و محور افقی آن همان (ویژگی – 1) است. یک خط نیم‌ساز نیز در این منحنی دیده می‌شود.

ROC curves 01 نحوه استفاده از منحنی ROC‌ برای اطمینان از اعتبار نتایج آزمون‌های کیفی در آزمایشگاهمنحنی راک (ROC Curve) دارای سه بخش است، که در ادامه آن‌ها را تشریح خواهیم کرد:

  • بالای خط نیم‌ساز: در این ناحیه نقاطی قرار گرفته‌اند که مقدار حساسیت یا نرخ مثبت صحیح (TPR) آن‌ها نسبت به نرخ مثبت کاذب (FPR) بیشتر است. در تصدیق یا صحه‌گذاری مشصخه‌های عملکردی برای یک روش آزمون کیفی (باینری) هر چه منحنی راک (ROC Curve) بالاتر از خط نیم‌ساز قرار گیرد، روش از عملکرد مناسبی‌تری برخوردار است و نتایج این روش برای استفاده مورد نظر قابل اطمینان‌تر خواهد بود. به طور کلی قرارگیری نقاط در ناحیه بالای خط نیم‌ساز مطلوب می‌باشد.
  • روی خط نیم‌ساز: در این ناحیه مقدار عددی نرخ مثبت صحیح (TPR) و نرخ مثبت کاذب (FPR) با یکدیگر برابر است. به عبارتی دیگر از هر 100 نمونه آلوده، نتایج آزمون در 50 نمونه به درستی آلودگی را نشان می‌دهد و در 50 نمونه نیز به غلط سالم بودن نمونه‌های آلوده را نشان می‌دهد. در تصدیق یا صحه‌گذاری یک روش آزمون کیفی (باینری) وقتی منحنی راک (ROC Curve) روی خط نیم‌ساز قرار گیرد، روش از عملکرد مناسبی‌ برخوردار نیست و نتایج این روش برای استفاده مورد نظر، قابل اطمینان‌ نخواهد بود.
  • پایین خط نیم‌ساز: در این ناحیه نقاطی قرار گرفته‌اند که مقدار حساسیت یا نرخ مثبت صحیح (TPR) آن‌ها نسبت به نرخ مثبت کاذب (FPR) کمتر است. در تصدیق یا صحه‌گذاری یک روش آزمون کیفی (باینری) وقتی منحنی راک (ROC Curve) زیر خط نیم‌ساز قرار گیرد، روش از عملکرد بسیار نامناسبی‌ برخوردار است و نتایج این روش برای استفاده مورد نظر، نامناسب می‌باشد.

 4- سطح زیر منحنی راک (AUC) چگونه تفسیر می‌شود؟

قبل از ارائه مثال لازم است با مفهومی دیگر به نام سطح زیر منحنی راک Area under the ROC curve که معمولاً به اختصار AUC نامیده می‌شود، آشنا شویم. بدین منظور به شکل زیر توجه نمایید.

ROC in one picture 2 نحوه استفاده از منحنی ROC‌ برای اطمینان از اعتبار نتایج آزمون‌های کیفی در آزمایشگاه

این شکل همان منحنی راک (ROC Curve) است که سطح زیر منحنی آن مشخص شده است. ما به این سطح (Area under the ROC Curve = AuC) می‌گوییم. مقدار عددی AUC به وضوح عددی بین صفر تا یک است و نشان می‌دهد قدرت تشخیص یا درستی نتایج یک آزمون چقدر می‌باشد. درستی نتایج آزمون به این بستگی دارد که روش آزمون چقدر توانایی تفاوت درست نشان دادن نتایج مثبت صحیح (TP) و منفی صحیح (TF) را دارد. اگر این عدد به یک نزدیک باشد، به معنای آن است که داده‌ها عموماً در بالای خط نیم‌ساز قرار گرفته‌اند و میزان نرخ مثبت صحیح بالا است و روش آزمون از قدرت تشخیص یا درستی مناسبی برخوردار است. اعداد AUC نزدیک به 0.5 همان برابری نرخ مثبت صحیح و نرخ مثبت کاذب را نشان می‌دهد و اعداد کمتر از 0.5 بیانگر بالاتر بودن نرخ مثبت کاذب در مقایسه با نرخ مثبت صحیح است. برای تفسیر مقادیر AUC می‌توان از قوانین کلی ارائه شده توسط Hosmer و Lemeshow مطابق با جدول زیر استفاده نمود:

مقدار عددی AUC در منحنی ROCقدرت تشخیص آزمون (درستی نتایج آزمون)
0.9 تا 1بسیار عالی (به ندرت این اتفاق می‌افند)
0.8 تا 0.9عالی
0.7 تا 0.8قابل قبول
AUC = 0.5بدون قدرت تشخیص

در برخی از مراجع دیگر نیز برای تفسیر مقادیر عددی AUC جدول زیر پیشنهاد شده است.

مقدار عددی AUC در منحنی ROCقدرت تشخیص آزمون (درستی نتایج آزمون)
0.9 تا 1عالی
0.8 تا 0.9خوب
0.7 تا 0.8نسبتاً خوب
0.6 تا 0.7ضعیف
0.5 تا 0.6بی‌فایده
کمتر از 0.5غیر قابل استناد

پس از بیان مفاهیم پایه می‌خواهیم همراه با یک مثال عددی در نرم افزار XLSTAT نحوه ترسیم منحنی راک (ROC Curve) و تعیین مقدار AUC را به منظور اطمینان از اعتبار نتایج در آزمون‌های کیفی تشریح کنیم. در این مثال سعی می‌شود علاوه بر آموزش نحوه ترسیم نمودار راک، نحوه تعیین نقطه برش (Cutoff) بهینه نیز تشریح شود.


 5- انواع نرم افزارهای آماری برای رسم منحنی راک (ROC Curve)

نرم افزارهای آماری زیادی مانند SPSS، Minitab, XLSTAT, Graph Pad و … قادر به رسم منحنی راک می‌باشند. از میان این نرم افزارها XLSTAT خروجی جامع‌تری را به کاربران ارائه می‌دهد. این نرم افزار قادر به تعیین نقطه برش (Cutoff) بهینه که در آن بالاترین قدرت تشخیص حاصل خواهد شد، می‌باشد. همچنین این نرم افزار قادر است هزینه‌های ناشی از مثبت کاذب (FP) و منفی کاذب (FN) در تجزیه و تحلیل‌های آماری را در نظر بگیرد و نقاط برش بهینه را برحسب هزینه نشان دهد. بر این اساس در این پست از نرم افزار XLSTAT برای رسم منحنی راک استفاده می‌شود. (جهت کسب اطلاعات بیشتر در خصوص این نرم افزار به پست بررسی قابلیت‌های نرم افزار XLSTAT برای تجزیه و تحلیل آماری نتایج آزمون در آزمایشگاه در همین سایت مراجعه نمایید.)


6- رسم منحنی راک (ROC Curve) در نرم افزار XLSTAT همراه با یک مثال عددی

برای تشریح نحوه رسم منحنی راک در نرم افزار XLSTAT از یک مثال استفاده خواهیم کرد. در این مثال همچنین نحوه تعیین نقطه برش (Cutoff) بهینه نیز تشریح خواهد شد.

مثال: آزمایشگاهی در یک شرکت داروسازی در تلاش است تا یک روش سریع برای تشخیص ویروس کووید 19 را صحه‌گذاری کند. تأخیر در به دست آوردن نتایج در روش‌های آزمون استاندارد سنتی، باعث کاهش اثربخشی آنها شده است؛ زیرا بسیاری از بیماران ممکن است به دلیل ندانستن بیماری خود این ویروس را به دیگران انتقال دهند. روش آزمون سریع توسعه یافته جدید از یک کیت تشخیصی با 8 طیف سایه قرمز رنگ استفاده می‌‌کند. هرچه سایه‌ها پررنگ‌تر باشند (مقادیر نزدیک به 8) نشان‌دهنده احتمال بیشتر آلودگی فرد به ویروس کووید 19 می‌باشد. این روش آزمون جدید قادر است که نتایج را در 10 تا 15 دقیقه ارائه دهد. آزمایشگاه می‌خواهد بررسی کند که آیا روش سریع جدید، نتایجی با درستیِ مشابه با نتایح روش‌های استاندارد سنتی را ارائه می‌دهد یا خیر؟ (در حال حاضر روش‌های استاندارد سنتی موجود در بیش از 90% موارد نتایج درستی را ارائه می‌دهند). برای ارائه پاسخ به این سئوال، یک مطالعه صحه‌گذاری توسط آزمایشگاه بر روی 200 نفر انجام شده است که نیمی از آنها به ویروس کووید 19 آلوده و نیمی از آنها افراد سالم بوده‌اند. نتایج آزمون بر روی این 200 نفر مطابق با جدول زیر است. (دانلود فایل مثال)

EXAMPLE FOR ROC 01 نحوه استفاده از منحنی ROC‌ برای اطمینان از اعتبار نتایج آزمون‌های کیفی در آزمایشگاه

به منظور رسم منحنی راک در نرم افزار XLSTAT مطابق با گام‌های زیر عمل نمایید:

گام 1: نرم افزار XLSTAT‌ را دانلود و نصب نمایید. (دانلود نرم افزار)

گام 2: فایل مثال ارائه شده را دانلود و در نرم افزار اکسل آن را باز کنید.

گام 3: در نرم افزار اکسل به منوی XLSTAT‌ رفته و مسیر زیر را برای رسم منحنی راک انتخاب کنید:

Survival analysis / ROC Curves

Article Inline 836196SNSP نحوه استفاده از منحنی ROC‌ برای اطمینان از اعتبار نتایج آزمون‌های کیفی در آزمایشگاه

گام 4: وقتی روی ROC Curves کلیک می‌کنید،‌ پنجره زیر باز می‌شود، در کادر event data داده‌های مربوط به وضعیت واقعی نمونه‌ها (ستون A1:A201) و در کادر Test Data نتایج آزمون بدست آمده از روش جدید مورد صحه‌گذاری (ستون B1:B201) را وارد نمایید.

EXAMPLE FOR ROC 02 نحوه استفاده از منحنی ROC‌ برای اطمینان از اعتبار نتایج آزمون‌های کیفی در آزمایشگاه

گام 5: مطابق با تصویر زیر در تب Options می‌توانید روش محاسبه فواصل اطمینان برای مقدار سطح زیر منحنی (AUS) را تعیین کنید. موارد پیش فرض انتخاب شده مواردی هستند که شرکت سازنده نرم افزار استفاده از آنها را توصیه می‌کند. در این بخش می‌توانید هزینه‌های مختلفی را برای مثبت صحیح (TP)،‌ منفی صحیح (TN)، مثبت کاذب (FP) و منفی کاذب (FN) اختصاص دهید. در این مثال ما هزینه‌های ناشی از منفی کاذب (عدم تشخیص فردی که واقعاً آلوده به ویروس است) را دو برابر هزینه‌های ناشی از مثبت کاذب (بیمار تشخیص دادن یک فرد سالم) در نظر گرفته‌ایم. زیرا اگر آلوده بودن یک شخص به درستی تشخیص داده نشود، این فرد می‌تواند افراد زیادی را در جامعه به این ویروس آلوده نماید. 

EXAMPLE FOR ROC 02 1 نحوه استفاده از منحنی ROC‌ برای اطمینان از اعتبار نتایج آزمون‌های کیفی در آزمایشگاه

گام 6: مطابق با تصویر زیر به تب Charts رفته و طرح تصمیم‌گیری را بر اساس هزینه (cost) انتخاب کنید. در این حالت نرم افزار نمودار هزینه را بر حسب نقاط برش (Cutoff) مختلف به ما نشان می‌دهد و می‌توان نقطه برش بهینه را بر حسب هزینه‌های تصمیم‌گیری تعیین نمود.

EXAMPLE FOR ROC 03 نحوه استفاده از منحنی ROC‌ برای اطمینان از اعتبار نتایج آزمون‌های کیفی در آزمایشگاهدر نهایت هنگامی که روی OK کلیک می‌کنید، محاسبات انجام می‌شود و نتایج نمایش داده می‌شوند.


تفسیر نتایج بدست آمده:

در جدول اول آمار توصیفی برای متغیر آزمون (برای این مثال 8 طیف سایه قرمز رنگ) به دنبال آن متغیر رویداد (برای این مثال وضعیت افراد مورد مطالعه) آورده شده است. 

EXAMPLE FOR ROC 04 نحوه استفاده از منحنی ROC‌ برای اطمینان از اعتبار نتایج آزمون‌های کیفی در آزمایشگاهسپس منحنی ROC نمایش داده می شود. هر مربع کوچک یک مشاهده (نقطه برش) است.

EXAMPLE FOR ROC 05 نحوه استفاده از منحنی ROC‌ برای اطمینان از اعتبار نتایج آزمون‌های کیفی در آزمایشگاهتحلیل ROC که در جدول زیر مشاهده می‌شود، برای هر مقدار آستانه (نقطه برش) ممکن، مقدار شاخص‌های مختلف عملکردی را نشان می‌دهد. به عنوان مثال، اگر تصمیم داشته باشیم نقطه برش را مقدار 3 در نظر گرفته و افرادی که نتایج آزمون آنها کوچکتر یا مساوی 3 است را سالم در نظر بگیریم، در روش آزمون سریع حساسیت (sensitivity) برابر با 0.93 و ویژگی (specificity) برابر با 0.88 و هزینه آن 233 خواهد شد. با توجه به اینکه این نقطه دارای بالاترین درستی (Accuracy) و کمترین هزینه ممکن می‌باشد، می‌توان آن را به عنوان نقطه برش (Cutoff) بهینه برای این روش آزمون در نظر گرفت.

برای مثال ارائه شده باتوجه به اینکه با انتخاب نقطه برش 3 درستی نتایج بیش از 90% خواهد شد، می‌توان گفت این روش سریع جدید از عملکردی مشابه با روش‌های استاندارد سنتی موجود برخوردار است و ویژگی‌های عملکردی روش آزمون جدید (مانند حساسیت، تشخیص پذیری و درستی) مناسب بودن آن برای استفاده مورد نظر را تایید می‌کنند.   

برای کسب اطلاعات بیشتر در مورد شاخص‌های مختلف عملکردی مربوط به آزمون‌های کیفی، می‌توانید به پست آموزشی تعیین حساسیت و تشخیص پذیری در آزمون‌های کیفی مراجعه نمایید.

EXAMPLE FOR ROC 06 نحوه استفاده از منحنی ROC‌ برای اطمینان از اعتبار نتایج آزمون‌های کیفی در آزمایشگاه

با استفاده از اطلاعات جدول فوق، نمودار زیر نمایش داده می‌شود. این نمودار می‌تواند بسته به مقدار آستانه (نقطه برش) انتخاب شده، سیر تکاملی شمارش مثبت صحیح (TP)،‌ منفی صحیح (TN)، مثبت کاذب (FP) و منفی کاذب (FN) را نشان دهد.

EXAMPLE FOR ROC 07 نحوه استفاده از منحنی ROC‌ برای اطمینان از اعتبار نتایج آزمون‌های کیفی در آزمایشگاه

نمودار زیر که به آن نمودار تصمیم‌گیری گفته می‌شود، اجازه می‌دهد مقدار آستانه یا همان نقطه برش (Cutoff) را به نحوی انتخاب کنید که هزینه‌های ناشی از تصمیم‌گیری را به حداقل برسانید. برای دیدن حداقل مقدار آستانه در نمودار، کافی است موس خود را روی نقطه مربوطه بگذارید. همانطور که قبلاً در آنالیز جدول ROC مشخص کرده بودیم، نقطه برش (Cutoff) در این مثال مقدار 3 است که در نمودار زیر نیز به عنوان کم هزینه‌ترین انتخاب ممکن نشان داده شده است.

EXAMPLE FOR ROC 08 نحوه استفاده از منحنی ROC‌ برای اطمینان از اعتبار نتایج آزمون‌های کیفی در آزمایشگاهآخرین سری نتایج نمایش داده شده در نرم افزار، امکان مطالعه سطح زیر منحنی (AUC) را فراهم می‌کند. در این بخش از نتایج تجزیه و تحلیل، نرم‌افزار مقدار AUC را همراه با فاصله اطمینان آن محاسبه می‌کند و یک آزمون فرض را برای بررسی فرضیه‌های زیر در سطح اطمینان 95% انجام داده و نتایج این آزمون فرض را نشان می‌دهد.

H0: AUC = 0.5          vs.          H1: AUC >0.5

در اینجا فرض صفر به معنای آن است که روش آزمون سریع برای تشخیص کووید 19 دارای نرخ مثبت کاذب و نرخ مثبت صحیح یکسان می‌باشد. همان‌گونه که در تفسیر جدول AUC بیان کردیم، اندازه عددی 0.5 برای AUC به معنای بی‌فایده و غیرقابل استناد بودن روش آزمون مورد مطالعه می‌باشد. پس به عبارت ساده‌تر فرض صفر به معنای آن است که آزمون تشخیصی ما که قرار است افراد آلوده و سالم را از یکدیگر جدا کند، مناسب برای هدف مورد نظر نمی‌باشد و دارای قدرت تشخیص و درستی پایین است که سبب می‌شود از هر دو مورد یکی را درست و دیگری را اشتباه تشخیص دهد. بدین ترتیب تعریف فرض مقابل نیز به دست می‌آید. اندازه عددی AUC بزرگتر از 0.5 به معنای آن است که روش آزمون سریع توسعه یافته توانایی مناسبی جهت تشخیص افراد آلوده به ویروس از افراد سالم را دارا می‌باشد.

به این ترتیب راز P value در تحلیل ROC Curve کشف می‌شود. مقدار احتمال به دست آمده به ما کمک می‌کند تا بتوانیم فرض صفر را پذیرفته و یا رد کنیم. همانطور که در جدول زیر نشان داده شده است، در این مثال مقدار P value برابر با 0.0001> شده است. بنابراین به وضوح و در سطح معنی‌داری 5%، فرض صفر رد می‌شود و می‌پذیریم که آزمون مورد استفاده در این مثال، توانایی مناسبی جهت تشخیص افراد آلوده به ویروس از افراد سالم را دارد. البته این مطلب بدون مشاهده P value نیز قابل فهم بود. علاوه بر اینکه خود Area عدد بالایی (0.945) به دست آمده است، کران پایین فاصله اطمینان AUC یعنی (0.912) نیز همچنان با 0.5 فاصله زیادی دارد.

EXAMPLE FOR ROC 09 نحوه استفاده از منحنی ROC‌ برای اطمینان از اعتبار نتایج آزمون‌های کیفی در آزمایشگاه

امیداوریم نحوه استفاده از منحنی ROC برای اطمینان از اعتبار نتایج آزمون‌های کیفی در آزمایشگاه را به خوبی درک کرده و از این مطلب لذت برده باشید. در صورت وجود هر گونه پرسشی در خصوص صحه گذاری روش‌های آزمون کیفی می‌تواند سوالات خودتان در قسمت کامنت های این پست قراردهید. سعی خواهد شد تا جای ممکن به سئوالات مطرح شده پاسخ مناسب داده شود. همچنین در صورت نیاز به برگزاری دوره تصدیق و صحه گذاری روش های آزمون برای کارکنان آزمایشگاه یا برای دریافت خدمات مشاوره برای اخذ گواهینامه ایزو 17025 و مشاوره ایزو 15189 می‌توانید با ما تماس بگیرید.

 

 

کلمات کلیدی: استاندارد ISO 17025، استاندارد ISO/IEC 17025، استاندارد ISO15189، آموزش ISO 17025، آموزش ISO 15189، مشاوره استاندارد ISO/IEC 17025، آموزش استاندارد ISO/IEC 17025، مشاوره ایزو 17025، مشاوره استاندارد ISO 17025، مشاوره ایزو 15189، مشاوره استاندارد ISO1589، تاییدصلاحیت آزمایشگاه، تاییدصلاحیت آزمایشگاه ها، صحه گذاری روش آزمون، صحه گذاری روش های آزمون، اطمینان از اعنبار نتایج آزمون، کنترل کیفیت آزمایشگاه، کنترل کیفیت داخلی و خارجی، 

برچسب ها: آزمون های کیفیاطمینان از اعتبار نتایج آزمونتصدیق روش های آزمونصحه گذاری روش های آزمونمنحنی ROC‌
آواتار dastmardi
درباره dastmardi

اين سایت با هدف اشاعه مفاهیم مدیریت كیفیت در زمینه ارائه خدمات آزمايشگاهی و ترويج استانداردهای رایج در اين خصوص نظیر ISO/IEC 17025, ISO 15189 ایجاد شده است.خوانندگان عزيز، سعي می شود در این سایت اطلاعات تخصصی و بروز در زمینه‌های سيستم‌های مدیریت كیفیت در مراكز آزمايشگاهی، استانداردهای بین‌المللی ارائه خدمات آزمايشگاهی، ارزيابی و محاسبه عدم قطعیت اندازه گیری، نمونه‌برداری پذيرشی، كالیبراسیون تجهیزات اندازه‌گیری، طراحی آزمایش‌ها، اعتباربخشی روش‌های آزمون و تضمین كیفیت نتایج آزمون ارائه شود. اميدوارم با همكاري شما عزيزان و علاقه‌مندان، يك پايگاه اطلاعاتي مفيد و معتبر براي علاقمندان بحت مديريت كيفيت در مراكز آزمايشگاهي در ايران ايجاد شود. لذا از ارسال نظرات ، پيشنهادات و مطالب علمي و فني خود دريغ نكرده و به غني‌تر كردن اين سایت براي استفاده كارشناسان و علاقمندان كمك نماييد. بديهي است مطالب و نظرات به اسم ارسال كننده درج خواهد شد.

نوشته‌های بیشتر از dastmardi
قبلی معرفی قابلیت‌های نرم‌افزار XLSTAT برای تحلیل آماری نتایج آزمون
بعدی تصدیق و صحه گذاری روشهای آزمون‌ کیفی در آزمایشگاه

14 Comments

به گفتگوی ما بپیوندید و دیدگاه خود را با ما در میان بگذارید.

  • آواتار حسن احمدی حسن احمدی گفت:
    13/01/1399 در 24:00

    با سلام و احترام
    ضمن تبریک سال نو بابت مطالب آمورنده و کاربردی شما سپاسگزاریم

    پاسخ
  • آواتار عباس عباس گفت:
    28/01/1399 در 24:00

    سلام و آرزوی سلامتی برا شما
    بسیار مطالب جالب و کاملی از منحنی راک فرمودید .
    لطفا اگر در پایان هر موضوع ارائه شده منبع را ذکر کنید عالیست. تشکر

    پاسخ
  • آواتار عباس عباس گفت:
    20/04/1399 در 24:00

    سلام
    بسيار روان و عالي بود.
    سپاس

    پاسخ
    • آواتار dastmardi dastmardi گفت:
      20/04/1399 در 24:00

      سپاسگزارم

      پاسخ
  • آواتار bahar bahar گفت:
    05/06/1399 در 24:00

    من دانشجوی کارشناسی ارشدم و مطلبتون فوق العاده کاربردی و قابل فهم و روان بود
    خدا خیر عظیم بهتون بده چون چندوقت بود که دنبال بودم

    پاسخ
  • آواتار Zahra Zahra گفت:
    22/09/1399 در 24:00

    ممنونم بسیار جامع بود

    پاسخ
  • آواتار حسین احمدی حسین احمدی گفت:
    09/11/1399 در 24:00

    خیلی ممنون عالی و قابل فهم بود ، سپاس گزارم

    پاسخ
  • آواتار محمد محمد گفت:
    14/11/1399 در 24:00

    مطلب واضح تر شد. سپاس از توضیحات خوبتون.

    پاسخ
  • آواتار مریم مریم گفت:
    24/11/1399 در 24:00

    ممنونم خیلی عالی توضیح دادین

    پاسخ
  • آواتار elahe elahe گفت:
    01/12/1399 در 24:00

    سلام.ممنون. توضیحات خوبی بود

    پاسخ
  • آواتار بهرام بهرام گفت:
    01/12/1399 در 24:00

    سلام. خسته نباشید. عالی توضیح داده اید. متشکرم ازتون

    پاسخ
    • آواتار dastmardi dastmardi گفت:
      24/12/1399 در 24:00

      با سلام و احترام
      الزامی به داشتن مدیر فنی و کیفیت حذف شده است
      وظایفشان همچنان باقی است و در صورت وجود مدیر فنی و کیفیت بایستی استقلال در کارها و وظایفشان وجود داشته باشد

      پاسخ
  • آواتار مریم خوشکام مریم خوشکام گفت:
    16/02/1400 در 24:00

    با سلام و احترام
    از مطالب مفیدتان بسیار سپاسگزارم. عالی بود. ممنون

    پاسخ
  • آواتار سارینا سارینا گفت:
    16/09/1400 در 24:00

    با عرض سلام و خسته نباشید. جواب این سوال رو من هیچ جا پیدا نکردم. روش ROC از آزمون های پارامتری به حساب می آید یا غیر پارامتری؟

    پاسخ

دیدگاهتان را بنویسید لغو پاسخ

جستجو برای:
گالری تصاویر
  • تضمین کیفیت نتایج آزمون استان گلستان
  • آموزش کنترل فرایند آماری - مازرون فوم
    کنترل فرآیند آماری (SPC) با استفاده از نرم‌افزار MINITAB در گروه صنعتی دانش بنیان مازرون فوم
  • ارزیابی عدم قطعیت اندازه گیری در آزمایشگاهی میکروبیولوژی برای شرکت سیناژن
  • آشنایی با روشهای آماری در مقایسات بین آزمایشگاهی اداره استاندارد همدان
  • آشنایی با تغییرات ویرایش جدید استاندارد ISO/IEC 17025:2017 شبکه آزمایشگاهی فناوری های راهبردی
  • تصدیق و صحه گذاری روش های آزمون در اداره استاندارد استان هرمزگان
  • ارزیابی عدم قطعیت اندازه‌گیری با نرم افزار QMSys GUM‌ در شرکت سیناژن
  • تجزیه و تحلیل سیستم اندازه گیری اداره استاندارد زنجان
  • تضمین کیفیت نتایج آزمون اداره استاندارد خراسان شمالی
  • آشنایی با الزامات استاندارد ISO/IEC 17025:2017 درمجتمع تولیدی نخ تایر صبا
  • آشنایی با الزامات استاندارد ISO/IEC 17025:2017 استان مازندران
  • تضمین کیفیت نتایج آزمون ادارهاستاندارد مازندران
  • عدم قطعیت اندازه گیری به روش بالا به پایین اداره استاندارد
  • آشنایی با روش‌های آماری در مقایسات بین آزمایشگاهی اداره استاندارد
  • آشنایی با الزامات استاندارد ISO/IEC 17025:2017 اداره کل استاندارد استان زنجان
  • ارزیابی عدم قطعیت اندازه گیری در آزمایشگاه‌های فنی و مکانیک خاک وزارت راه
  • آموزش برآورده عدم قطعیت اندازه گیری به روش بالا به پایین - زنجان
    ارزیابی عدم قطعیت اندازه گیری به روش بالا به پایین با نرم افزار MUKit اداره استاندارد استان زنجان
  • ارزیابی عدم قطعیت اندازه گیری در آزمایشگاه های آب و فاضلاب استان های شمال شرقی و شرقی ایران
  • آموزش آشنایی با الزامات ایزو 17025 - اداره استاندارد بندر عباس
    آشنایی با الزامات استاندارد ISO/IEC 17025:2017 استاندارد استان هرمزگان
  • کنترل فرایند آماری (SPC) شرکت عالیفرد (سن ایچ)
  • کالیبراسیون عمومی شرکت تکوین الکترونیک
  • برگزاری دوره آموزشی تربیت ارزیاب فنی برای مراکز آزمایشگاه شرکت خودروسازی سایپا
  • ممیزی داخلی مراکز آزمایشگاهی مبتنی بر استاندارد ISO/IEC 17025:2017 آزمایشگاه های آب و فاضلاب استان های شمال شرقی و شرقی ایران
  • ارزیابی عدم قطعیت اندازه گیری در آزمایشگاه های آب و فاضلاب استان های شمال شرقی و شرقی ایران
  • نقش عدم قطعیت اندازه گیری در فرایند ارزیابی انطباق استان مازندران
  • ارزیابی عدم‌قطعیت در اندازه‌گیری با میکروسکوپ نیروی اتمی (AFM) در شبکه آزمایشگاهی فناوری های راهبردی
  • طراحی و تحلیل آزمایش ها اداره استاندارد استان کرمانشاه
  • آشنایی با روش‌های آماری در مقایسات بین آزمایشگاهی و آزمون مهارت در آزمایشگاه‌های استان زنجان
  • نمونه برداری پذیرشی (ASP) اداره استاندارد استان زنجان
  • کاربرد نرم افزار MINITAB در کنترل فرآیند آماری برای مشخصه‌های متغیر در سازمان منطقه آزاد کیش
  • برآورد عدم قطعیت اندازه گیری در آزمایشگاه های پزشکی برای آزمایشگاه های رفرانس سازمان تامین اجتماعی
  • نقش عدم قطعیت اندازه گیری در فرایند ارزیابی انطباق اداره استاندارد استان زنجان
  • تخمین عدم قطعیت اندازه گیری در شرکت تکوین الکترونیک
  • آشنایی با الزامات استاندارد ISO/IEC 17025:2017 در شرکت ترانسفورماتور توزیع زنگان
  • ارزیابی عدم قطعیت اندازه گیری برای کارگروه کروماتوگرافی شبکه آزمایشگاهی فناوری های راهبردی
  • آموزش آشنایی با الزامات ایزو 17025 - اداره استاندارد بندر عباس
    آشنایی با الزامات و تغییرات ویرایش جدید استاندارد ISO/IEC 17025:2017 اداره استاندارد استان هرمزگان
  • آشنایی با الزامات استاندارد ISO/IEC 17025:2017 اداره کل استاندارد استان آذربایجان شرقی
  • آموزش ممیزان داخلی نکات مهم در سیستم مدیریت کیفیت مبتی بر استاندارد ISO/IEC 17025
  • تعیین دقت روش آزمون پژوهشگاه ملی مهندسی ژنتیک و زیست فناوری
  • کنترل فرآیند آماری (SPC) با استفاده از نرم‌افزار MINITAB در گروه صنعتی دانش بنیان مازرون فوم
  • تخمین عدم قطعیت اندازه گیری آزمایشگاه‌های صنایع غذایی و شیمیایی استان گلستان
  • ارزیابی عدم قطعیت اندازه گیری با نرم افزار QMSys GUM‌ برای آزمون‌های مرتبط با مواد نفتی در شرکت نفت ایرانول
دسته‌های محصولات
  • خدمات مشاوره
  • دوره‌های آموزشی
    • آموزش‌های آزمایشگاهی بر اساس استاندارد ایزو 15189
    • آموزش‌های آزمایشگاهی بر اساس استاندارد ایزو 17025
    • آموزش‌های مراکز آزمون مهارت بر اساس استاندارد ایزو 17043
    • دوره های آموزشی مدیریتی
    • دوره‌های آموزشی ابزارهای کیفیت
  • کتاب‌ها و راهنماها
  • مشاوره استاندارد ایزو 15189
  • مشاوره استاندارد ایزو 17025
  • مشاوره استاندارد ایزو 17043
  • مشاوره استاندارد ایزو 9001
  • مشاوره مدیریت عملکرد در سازمان
جستجوی محصولات
آخرین مطالب سایت
  • ارائه مدلی جامع برای مدیریت عملکرد کارکنان در مراکز آزمایشگاهی
  • فیلم آموزش استاندارد ایزو 17025 – الزامات منابع
  • فیلم آموزش استاندارد ایزو 17025 – الزامات ساختاری
  • فیلم آموزش استاندارد ایزو 17025 – الزامات عمومی
  • فیلم فاکتور عدم قطعیت چیست؟
تماس
  • تهران، رسالت، خیابان کرمان
  • 09125446045
  • info@dastmardi.ir
دسته‌ها
  • استاندارد ایزو 15189
  • استاندارد ایزو 17025
  • اطمینان از اعتبار نتایج – تضمین کیفیت نتایج آزمون و کالیبراسیون
  • انتشارات
  • تجزیه و تحلیل سیستم های اندازه گیری
  • تجزیه و تحلیل‌های آماری
  • تصدیق و صحه گذاری روشهای آزمون
  • خبرهای آکادمی
  • طراحي و تجزيه و تحليل آزمايش ها
  • عدم قطعیت اندازه گیری
  • كاليبراسيون تجهيزات
  • کنترل کیفیت
  • مدیریت ریسک در آزمایشگاه
  • مشاوره ایزو 17025
  • مشاوره و آموزش
  • مقالات
  • نمونه برداري پذيرشي
  • ویدئو
دسته‌های محصولات
  • خدمات مشاوره
  • دوره‌های آموزشی
    • آموزش‌های آزمایشگاهی بر اساس استاندارد ایزو 15189
    • آموزش‌های آزمایشگاهی بر اساس استاندارد ایزو 17025
    • آموزش‌های مراکز آزمون مهارت بر اساس استاندارد ایزو 17043
    • دوره های آموزشی مدیریتی
    • دوره‌های آموزشی ابزارهای کیفیت
  • کتاب‌ها و راهنماها
  • مشاوره استاندارد ایزو 15189
  • مشاوره استاندارد ایزو 17025
  • مشاوره استاندارد ایزو 17043
  • مشاوره استاندارد ایزو 9001
  • مشاوره مدیریت عملکرد در سازمان
اشتراک گذاری در شبکه های اجتماعی
ارسال به ایمیل
https://dastmardi.ir/?p=4872
ورود به سیستم ×
رمز عبور را فراموش کرده اید؟
ورود با کد یکبارمصرف
ارسال مجدد کد یکبار مصرف(00:90)
آیا حساب کاربری ندارید؟
نام‌نویسی
ارسال مجدد کد یکبار مصرف(00:90)
برگشت به صفحه ورود به سایت

ارسال مجدد کد یکبار مصرف (00:90)
برگشت به صفحه ورود به سایت
  • (+93) Afghanistan
  • (+355) Albania
  • (+213) Algeria
  • (+1) American Samoa
  • (+376) Andorra
  • (+244) Angola
  • (+1) Anguilla
  • (+1) Antigua
  • (+54) Argentina
  • (+374) Armenia
  • (+297) Aruba
  • (+61) Australia
  • (+43) Austria
  • (+994) Azerbaijan
  • (+973) Bahrain
  • (+880) Bangladesh
  • (+1) Barbados
  • (+375) Belarus
  • (+32) Belgium
  • (+501) Belize
  • (+229) Benin
  • (+1) Bermuda
  • (+975) Bhutan
  • (+591) Bolivia
  • (+599) Bonaire, Sint Eustatius and Saba
  • (+387) Bosnia and Herzegovina
  • (+267) Botswana
  • (+55) Brazil
  • (+246) British Indian Ocean Territory
  • (+1) British Virgin Islands
  • (+673) Brunei
  • (+359) Bulgaria
  • (+226) Burkina Faso
  • (+257) Burundi
  • (+855) Cambodia
  • (+237) Cameroon
  • (+1) Canada
  • (+238) Cape Verde
  • (+1) Cayman Islands
  • (+236) Central African Republic
  • (+235) Chad
  • (+56) Chile
  • (+86) China
  • (+57) Colombia
  • (+269) Comoros
  • (+682) Cook Islands
  • (+225) Côte d'Ivoire
  • (+506) Costa Rica
  • (+385) Croatia
  • (+53) Cuba
  • (+599) Curaçao
  • (+357) Cyprus
  • (+420) Czech Republic
  • (+243) Democratic Republic of the Congo
  • (+45) Denmark
  • (+253) Djibouti
  • (+1) Dominica
  • (+1) Dominican Republic
  • (+593) Ecuador
  • (+20) Egypt
  • (+503) El Salvador
  • (+240) Equatorial Guinea
  • (+291) Eritrea
  • (+372) Estonia
  • (+251) Ethiopia
  • (+500) Falkland Islands
  • (+298) Faroe Islands
  • (+691) Federated States of Micronesia
  • (+679) Fiji
  • (+358) Finland
  • (+33) France
  • (+594) French Guiana
  • (+689) French Polynesia
  • (+241) Gabon
  • (+995) Georgia
  • (+49) Germany
  • (+233) Ghana
  • (+350) Gibraltar
  • (+30) Greece
  • (+299) Greenland
  • (+1) Grenada
  • (+590) Guadeloupe
  • (+1) Guam
  • (+502) Guatemala
  • (+44) Guernsey
  • (+224) Guinea
  • (+245) Guinea-Bissau
  • (+592) Guyana
  • (+509) Haiti
  • (+504) Honduras
  • (+852) Hong Kong
  • (+36) Hungary
  • (+354) Iceland
  • (+91) India
  • (+62) Indonesia
  • (+98) Iran
  • (+964) Iraq
  • (+353) Ireland
  • (+44) Isle Of Man
  • (+972) Israel
  • (+39) Italy
  • (+1) Jamaica
  • (+81) Japan
  • (+44) Jersey
  • (+962) Jordan
  • (+7) Kazakhstan
  • (+254) Kenya
  • (+686) Kiribati
  • (+965) Kuwait
  • (+996) Kyrgyzstan
  • (+856) Laos
  • (+371) Latvia
  • (+961) Lebanon
  • (+266) Lesotho
  • (+231) Liberia
  • (+218) Libya
  • (+423) Liechtenstein
  • (+370) Lithuania
  • (+352) Luxembourg
  • (+853) Macau
  • (+389) Macedonia
  • (+261) Madagascar
  • (+265) Malawi
  • (+60) Malaysia
  • (+960) Maldives
  • (+223) Mali
  • (+356) Malta
  • (+692) Marshall Islands
  • (+596) Martinique
  • (+222) Mauritania
  • (+230) Mauritius
  • (+262) Mayotte
  • (+52) Mexico
  • (+373) Moldova
  • (+377) Monaco
  • (+976) Mongolia
  • (+382) Montenegro
  • (+1) Montserrat
  • (+212) Morocco
  • (+258) Mozambique
  • (+95) Myanmar
  • (+264) Namibia
  • (+674) Nauru
  • (+977) Nepal
  • (+31) Netherlands
  • (+687) New Caledonia
  • (+64) New Zealand
  • (+505) Nicaragua
  • (+227) Niger
  • (+234) Nigeria
  • (+683) Niue
  • (+672) Norfolk Island
  • (+850) North Korea
  • (+1) Northern Mariana Islands
  • (+47) Norway
  • (+968) Oman
  • (+92) Pakistan
  • (+680) Palau
  • (+970) Palestine
  • (+507) Panama
  • (+675) Papua New Guinea
  • (+595) Paraguay
  • (+51) Peru
  • (+63) Philippines
  • (+48) Poland
  • (+351) Portugal
  • (+1) Puerto Rico
  • (+974) Qatar
  • (+242) Republic of the Congo
  • (+40) Romania
  • (+262) Runion
  • (+7) Russia
  • (+250) Rwanda
  • (+290) Saint Helena
  • (+1) Saint Kitts and Nevis
  • (+508) Saint Pierre and Miquelon
  • (+1) Saint Vincent and the Grenadines
  • (+685) Samoa
  • (+378) San Marino
  • (+239) Sao Tome and Principe
  • (+966) Saudi Arabia
  • (+221) Senegal
  • (+381) Serbia
  • (+248) Seychelles
  • (+232) Sierra Leone
  • (+65) Singapore
  • (+1) Sint Maarten
  • (+421) Slovakia
  • (+386) Slovenia
  • (+677) Solomon Islands
  • (+252) Somalia
  • (+27) South Africa
  • (+82) South Korea
  • (+211) South Sudan
  • (+34) Spain
  • (+94) Sri Lanka
  • (+1) St. Lucia
  • (+249) Sudan
  • (+597) Suriname
  • (+268) Swaziland
  • (+46) Sweden
  • (+41) Switzerland
  • (+963) Syria
  • (+886) Taiwan
  • (+992) Tajikistan
  • (+255) Tanzania
  • (+66) Thailand
  • (+1) The Bahamas
  • (+220) The Gambia
  • (+670) Timor-Leste
  • (+228) Togo
  • (+690) Tokelau
  • (+676) Tonga
  • (+1) Trinidad and Tobago
  • (+216) Tunisia
  • (+90) Turkey
  • (+993) Turkmenistan
  • (+1) Turks and Caicos Islands
  • (+688) Tuvalu
  • (+1) U.S. Virgin Islands
  • (+256) Uganda
  • (+380) Ukraine
  • (+971) United Arab Emirates
  • (+44) United Kingdom
  • (+1) United States
  • (+598) Uruguay
  • (+998) Uzbekistan
  • (+678) Vanuatu
  • (+58) Venezuela
  • (+84) Vietnam
  • (+681) Wallis and Futuna
  • (+212) Western Sahara
  • (+967) Yemen
  • (+260) Zambia
  • (+263) Zimbabwe

This is a demo store for testing purposes — no orders shall be fulfilled. رد کردن

WeCreativez WhatsApp Support
تیم پشتیبانی مشتریان آکادمی آماده است تا به سوالات شما پاسخ دهد.
نیاز به راهنمایی دارید؟
مرورگر شما از HTML5 پشتیبانی نمی کند.

سوالی دارید؟ از ما بپرسید، کارشناسان ما در اسرع وقت با شما تماس می گیرند.

آکادمی دکتر دستمردی
  • 09125446045
  • شنبه تا چهارشنبه از ساعت 8 تا 17
  • info@dastmardi.ir