Понимание отношения точности измерений и отношения неопределенностей измерений для практического применения суммарной неопределенности

Ниже я хочу представить перевод достаточно свободного изложения в рамках блога эксперта Пола Даниэля, где он отвечает на вопрос одного из своих слушателей в отношении практики мониторинга параметра относительной влажности для климатических камер. Думаю, многие из читателей сталкивались на практике с этой проблемой и недоумевали, каким образом предлагается поддерживать значения относительной влажности в диапазоне ± 5 % при помощи датчиков, чей предел погрешности составляет ± 3 %. Часто выбирался “смелый” вариант – доблестно проигнорировать проблему. Но на самом деле решение есть, которое, кстати говоря, можно с не меньшим успехом применять и для установки уровней предупреждения и уровней действия в других случаях. 

В блоге этой недели мы отвечаем на вопрос в отношении неопределенности датчиков, используемых в климатических камерах. Я предложу два хороших справочных документа с целью помочь в расчете неопределенности и несколько практических советов по оценке неопределенности датчиков относительной влажности (ОВ).

Уважаемый Пол,

Недавно я посетил Ваш семинар и благодарен Вам за полезную информацию! Я подумал, возможно, Вы можете дать мне более конкретные рекомендации в отношении проблематики датчиков, касающейся влажности в наших климатических комнатах. Суть заключается в неопределенности измерений при калибровке наших датчиков, которые мы используем для мониторинга комнат. Вы вне всякого сомнения в курсе, что руководство ICH устанавливает требования к условиям, которые должны поддерживаться в интервале ± 5 % ОВ от установленного значения.

Если мы возьмем пример комнаты с условиями 25 °С/ 60 % ОВ, то это приведет нас к допустимому диапазону 5565 % ОВ. Наши процедуры требуют от нас картирование единицы оборудования, размещение датчика мониторинга в положении, соответствующем середине диапазона и установки аварийных значений с учетом вариабельности от верхних и до нижних предельных значений. Например, мы предполагаем сценарий, при котором мы проводим картирование комнаты и наибольшие показания датчика в среднем дают значение 61,0 % ОВ (после настройки его смещения), в то же время,  наименьшие показания дают значение 59,0 % ОВ (после настройки его смещения). Мы размещаем датчик мониторинга в положении, которое дает значение 60 % ОВ и изначально определяем аварийные пределы выхода за пределы спецификаций для датчика мониторинга при 56,0 и 64,0 % ОВ. Наши датчики откалиброваны по месту с рассчитанной неопределенностью ± 2,9 (±1 младший значащий разряд) % ОВ. Поскольку это означает, что датчики, которые использовались при картировании, могли показывать значения до 2,9 % выше или ниже «истинного» значения в своих месторасположениях, мы сузили аварийные пределы с учетом этого, установив их на уровне 58,9 и 61,1 % ОВ.

Затем это было установлено для любого смещения/ошибки для датчика мониторинга на основании данных последней калибровки. Для иллюстрации этого примера я предполагаю, что смещение отсутствует. Если мы принимаем во внимание неопределенность датчика мониторинга (±2,9 % ОВ), то у нас получатся следующие аварийные пределы:

58,9 + 2,9 = 61,8 % ОВ (верхний предел)
61,1 – 2,9 = 58,2 % ОВ (нижний предел)

Понятно, что эти пределы не выполнимы и я не знаю, как выполнить эту работу, не игнорируя неопределённость датчиков при калибровке. Даже если мы могли бы получить датчики, откалиброванные с неопределенностью менее ±2 % ОВ, мы всё равно получили бы очень узкие аварийные пределы. Буду признателен любой помощи!

 С благодарностью,
I

Уважаемый I,

Спасибо за комплименты в отношении семинара! Мы очень благодарны тому, что Вы нашли время посетить нас и поучиться вместе с нами. Вы проделали значительную работу, описывая проблему. И она выглядит таким образом, как будто не имеет решения, не так ли? Но есть несколько способов её решения.

Легкое решение – это её проигнорировать. Хотя я и не рекомендую это делать на практике, я замечал (не называя имен), что очень многие попросту её игнорируют. Возможно, лучше высказаться, что они ничего не делают с этим, поскольку осознают, что они мало что могут предпринять. Они уже используют датчики мирового класса, верно? Вы не можете ожидать, что сделаете что-то лучшее, чем то, что уже имеете. Конечно Вы можете быть ближе к ± 2 % ОВ при хорошо проведенной калибровке, но существенная логическая проблема все равно останется. Что собираются предпринять FDA/MHRA/EMA при аудите? Будут ли они рекомендовать Вам заменить датчик относительной влажности на лучший, используя промышленные стандарты? Ещё раз, этого я не рекомендую, но это остается общим решением [просто проигнорировать проблему – прим. перев.]

Я знаю, что, наверное, веду себя немного нахально, но в действительности это помогает считать, что ICH намеревались донести при разработке этих руководств. Давайте посмотрим на зависимость относительной влажности от температуры для дальнейшего исследования проблемы. Если имеется вариабельность ± 2 °С в камере, то АВТОМАТИЧЕСКИ получается вариабельность относительной влажности выше, чем ± 5 % ОВ, даже если абсолютная влажность будет оставаться постоянной во всем объеме камеры для многих общих установленных значений. Это абсолютно справедливо для стандартных условий проведения исследований стабильности, указанных в руководствах ICH, таких как 75 % ОВ при 40 °С или 60 % ОВ при 30 °С.

О чем нам это говорит? Первым объяснением может быть то, что ICH не понимали взаимосвязи между температурой и влажностью, когда писали руководства. Однако, я думаю, что это маловероятно. Более целесообразным объяснением может быть то, что ICH руководства являются именно руководствами. Они предполагают обеспечить нас ориентиром, таким образом, мы используем установленные ICH значения в качестве целевых и используем наиболее резонные доступные технологии для достижения этих целей. Я не считаю, что ICH намеренно сформулировали стандарты, которых мы не можем достичь.

Это приводит нас к более трудному решению… Оно является более трудным, потому что включает МНОГО сложных математических вычислений. Здесь я сошлюсь на свои ограниченные познания как в области математики, так и в истории значения отношения точности измерений (TAR = Test Accuracy Ratio). Я даю ссылку на статью ниже с деталями стратегии, подытоженной ниже средствами элементарной математики.

Для этого математического подхода, обычно комбинируют защитный интервал (guard-banding) и статистический анализ. Ниже представлен простой способ применения формул: мы берем наши пределы, установленные ICH, возводим их в квадрат, затем отнимаем квадрат нашей неопределенности измерений, извлекаем квадратный корень для получения актуальных пределов.

Вот как это выполняется:

  • ICH предел, возведенный в квадрат: 5 x 5 = 25
  • Неопределенность измерений, возведенная в квадрат: 2,9 x 2,9 = 8,41
  • 25 – 8,41 = 16,59
  • √ 16,59  = 4,07 (мы округлим до 4)

Это говорит нам о том, что с текущей неопределенностью измерений относительной влажности на уровне ± 2,9 % ОВ, можно достигнуть  ICH требований ± 5 % ОВ, если установить аварийные пределы на уровне ± 4 % ОВ. Заметьте, если неопределенность измерений ± 2 % ОВ, то получите аварийные пределы порядка ± 4,5 % ОВ. Базово это даст 2 % ложного принятия риска (False-Accept Risk), таким образом,  пределы обеспечивают  нахождение в контрольных пределах 98 % времени. Неплохо.

Выглядит как волшебство, неправда ли? Чтобы понять эти расчеты лучше, советую прочитать статью «Стратегия защитного интервала для управления ложным принятием риска» от KeySight Technologies. Сопровождающий эту стратегию математический базис несколько сложноват, и потребуется в этом разобраться, прежде чем предоставить аудитору.

 

 

Основной идеей здесь является то, что СЛОЖЕНИЕ наших неопределенностей не является корректным, потому что маловероятно, что в любой момент времени наш датчик и наш процесс находятся на пиках своих неопределенностей. Это выражается уравнением вероятности (также известным, как неопределенность), что является вотчиной статистики.

Вот официальное руководство по расчету неопределенности EVALUATION OF MEASUREMENT DATA – GUIDE TO THE EXPRESSION OF UNCERTAINTY IN MEASUREMENT (GUM)

Изначальным правилом калибровок было то, что нам необходимо соотношение 10:1 в точности измерений (Test Accuracy Ratio = TAR), где эталон, используемый при калибровочном сравнении, является в 10 раз более «точным», чем калибруемый прибор. В конечном счете TAR было уменьшено до 4:1 и для ещё большей путаницы была добавлена концепция отношения неопределенностей измерений (TUR или Test Uncertainty Ratio). Я верил, что 10:1 TAR было взято изначально из военной спецификации США MIL-STD-45662, но я не уверен в этом на 100 %, так что не ссылайтесь на меня… ?

В случае климатической камеры, мы не калибруем её, то есть это не требует точного применения. И это будет ОЧЕНЬ сложно применить. Вам нужен датчик ± 1,25 % ОВ для мониторинга аварий, и это непрактично или даже невозможно. Лучшие лабораторные эталоны для относительной влажности едва достигают ± 0,5 % ОВ, что означает, что максимум чего мы можем добиться для «промышленных» приборов (с 4:1 TUR) это порядка  ± 2 % ОВ.

Я привел TUR здесь по двум причинам:

  1. В этом сравнении мы имеем TUR равное 1,72. Статистический анализ, описанный выше, действителен только для TUR выше, чем 1,6, таким образом, наши выводы верны.
  2. Математический подход, который я предложил, предоставляет практически такое же принятие ложного предела, как и 4:1 TUR, но оно полностью зависит от высокой вероятности (95%) того, что датчик мониторинга относительной влажности в пределах допуска. Если имеется доказательство того, что датчик мониторинга с высокой долей вероятности вне пределов допуска, принятие ложного предела становится выше 5 % (эквивалентно TUR 1,7). Это всё ещё неплохо!

Прочие предупреждения:

  1. Этот статистический подход с применением защитного интервала довольно распространен в Северной Америке. Я не знаю, как к нему относятся в Великобритании или Европе.
  2. Пояснение: я не являюсь математическим гением, так что мои выводы здесь основываются на рекомендациях наших экспертов по калибровке, которые значительно большие специалисты в математике. Так что местами могут быть ошибки. Это означает, что следует разобраться в математическом аппарате самостоятельно и получить хорошее представление о концепции защитного интервала и о процессе перед тем, как это изложить аудитору.

Благодарю за возможность ответить на Ваш вопрос. Если я не справился с этим, напишите нам и попробуем это сделать повторно!

С наилучшими пожеланиями,
Пол Даниэль

Подписывайтесь на каналы PHARM COMMUNITY:

   
Поделитесь с коллегами:

8 коментарів до “Понимание отношения точности измерений и отношения неопределенностей измерений для практического применения суммарной неопределенности”

  1. В продолжение о качестве климатокамер…

    на рисунках колебания влажности в течение 2-х суток в камерах Биндер 720

    Верхняя (черная) – модель Е5.3
    Нижняя (красная) – модель Е6.0

    можете сравнить…. номинал – 75 %… сдвиги от середины обусловлены тем что это данные не внутреннего датчика климатокамеры, а термогигрометра, который находится на одной из полок и соединен с диспетчерской… он может перемещаться по объему камеры, поэтому и отличается от показаний внутреннего датчика.

  2. то абсолютно справедливо для стандартных условий проведения исследований стабильности, указанных в руководствах ICH, таких как 75 % ОВ при 40 °С или 60 % ОВ при 30 °С.

        • Автор (Пол Дэниль), видимо, в полемическом задоре не учел вот этого комментария в преамбуле к ICH 1QA:

          Вместе с тем, к рассматриваемой сути вопроса это не имеет практически никакого отношения – влажность проблематично поддержать в узких пределах , что при уставке 60 % ОВ, что при уставке 65 % ОВ 🙂 Концепция ложного принятия риска в принципе позволяет говорить о каком-то поддержании. Вот посмотрите пример в принципе практически идеально подобранного режима (в данном случае 25 С – 60 %) –  если критерии исходя из величины предела погрешности датчиков влажности сформулировать как ± 2 % ОВ, то такую камеру нужно браковать. А вот ± 4 % ОВ в качестве аварийного (сигнального предела) в указанном примере говорят об идеальном поддержании (период выключения на графике не учитываем):

  3. Благодарю за статью!

    Только не совсем разобрался в начале, в расчетах: если в качестве примера берется 60% ОВ, и допускается ± 5 % ОВ , то как пришли к значениям 55-65 % ? Ведь в таком случае должно быть 57-63 %. Может, что-то не до конца понял.

    • На самом деле как раз в этом вопросе трудностей не должно возникнуть – всё просто – пределы, изложенные в ICH – это ± 5 % ОВ от установленного значения. Т.е. если установили 60 % ОВ, то прибавив 5 % ОВ получили 65 % ОВ, отняв 5 % ОВ получили 55 % ОВ. Отсюда и диапазон 55 – 65 % ОВ.

      Ключевая мысль статьи, что нельзя прямо суммировать или отнимать неопределенности (или погрешности – кто привык к этому термину, хотя это не одно и то же, но если у Вас в распоряжении имеется только свидетельство о поверке, то там будет только предел погрешности).

      Даже по руководству по выражению неопределенности измерений (ссылка на англоязычный оригинал есть по тексту блога) суммарная неопределенность вычисляется как квадратный корень из суммы квадратов стандартных неопределенностей:

      Вот и при концепции ложного принятия риска примерно та же история.

      Чем это хорошо на практике? Я неоднократно выполнял испытания в климатических комнатах и климатических камерах. Если я просто, отталкиваясь от предела погрешности своих логгеров – Tetso 174H, ОВЕН 100 ТВ, ИВТМ разных модификаций – неважно – “срежу” от границ величины пределов погрешностей, то получу очень узкий диапазон “разрешенных значений” – например 58 – 62 % ОВ (вместо установленного ICH 55 – 65 % ОВ). Смею Вас заверить, во всем объеме даже такие “гранды” как Memmert или Binder не дадут такого поддержания – проверено. Memmert HPP 110 ещё куда ни шло, а вот 750-й (который крупнее) – не впишется. А вот в ± 4 % ОВ они могут вписаться в большинстве режимов – а это уже плюс, т.к. согласно концепции ложного принятия риска это дает нам 98 % гарантии пребывания в пределах ± 5 % ОВ.

Залишити коментар