Искусственные нейронные сети как гарант достоверности результатов оценки качества зерна

Оценка качества зерна и продуктов его переработки играет огромную роль в сельскохозяйственном производстве. Как известно, зерновое хозяйство является основой растениеводства, служит сырьем для получения множества продуктов питания, является необходимым для успешного развития животноводства, птицеводства и множества других отраслей. Ни для кого не секрет, что чем качественнее зерно, тем легче и с меньшими затратами оно хранится, и, соответственно, больше возможностей получить из него доброкачественные продукты и корма для сельскохозяйственных животных. Важным шагом на пути к улучшению качества продукции является повсеместное отслеживание показателей зерна на всех этапах его переработки. Для ускорения и облегчения этого процесса мониторинга служат всемирно известные анализаторы качества зерна Инфратек производства Foss, которые по-прежнему доступны на Российском рынке.

Многие пользователи задаются вопросом: каким образом анализатор зерна Инфратек, Foss с высокой точностью анализирует образцы зерна, выращенного в различных географических зонах и в разных почвенно-климатических условиях?

Исторически сложилось мнение, что ежегодно каждый сорт зерна с каждого поля необходимо анализировать сначала трудоемкими методами классической мокрой химии (по Къельдалю, Сокслету, Веенде), а затем уже вносить эти референсные значения в спектральную библиотеку данных ИК-спектрометра, поскольку спектр протеина, например, от урожая к урожаю меняется в зависимости от условий произрастания зерна. Пользователи рассуждали так: «ведь не мог же иностранный производитель аналитического оборудования заранее занести параметры качества зерна с каждого поля нашей необъятной страны в спектральную базу данных?» Несколько лет назад они оказались бы правы. Но сейчас ситуация в корне изменилась: больше не надо тратить месяцы и годы, не надо вдыхать пары серной кислоты в лаборатории, чтобы наработать спектральную базу данных ИК-анализатора. Можно включить прибор в розетку и смело анализировать поступающее зерно без какой-либо коррекции заводских калибровок. Звучит амбициозно, но давайте выясним, какие основания существуют для данного утверждения.

Рис.1 Разнообразие природных зон в России.

Огромная база данных Инфратек содержит более 100 000 спектров эталонных проверенных образцов в широком диапазоне параметров, собранных со всего мира более, чем за 30 лет. Это обеспечивает уровень точности и стабильности, который позволяет Инфратек тестировать даже самые необычные образцы в любой точке мира. Даже если селекционер изобретет новый неизвестный ранее сорт пшеницы, например, то программа анализатора Инфратек все равно с высокой точностью выдаст результаты.

Но главной причиной является не обширная уникальная база спектральных данных, а самообучаемая математическая модель, с помощью которой обрабатываются новые неизвестные спектры. Давайте рассмотрим более подробно преимущества и недостатки различных математических моделей обработки большого объема данных (big data).

Для разработки калибровочных моделей Инфратек применяются два метода калибровки: метод частичных наименьших квадратов (PLS) и метод искусственных нейронных сетей (ANN). Для поддержания надежных долгосрочных калибровок приборов крайне важно располагать системой для непрерывного обновления калибровочной базы данных разнообразными образцами, отбираемыми каждый сезон. Технология ANN обладает существенным преимуществом для разработки калибровок, поскольку здесь отсутствует ограничение на максимальное количество образцов, которые могут включаться в калибровку.

Формирование доверия и постоянное совершенствование

Достоверные калибровки крайне важны для всех NIR измерений, но для формирования доверия они должны соответствовать многим критериям. Калибровка должна работать со всевозможными видами образцов, анализ которых проводится в естественных условиях. Это означает, что калибровка должна обрабатывать значительные вариации от образца к образцу, быть точной и повторяемой, допускать изменения температуры.

Новые сорта зерна и климатические вариации приводят к изменениям в параметрах качества зерна, и соответственно в спектральных характеристиках органических молекул, предъявляя дополнительные требования к обновлению калибровок.

Поэтому обеспечение достоверных и точных результатов анализа будущих неизвестных образцов — задача не из легких. Даже при том, что усовершенствованная технология позволяет использовать
калибровки менее чувствительные к будущим изменениям, поддержка калибровок и соответствующие процедуры по контролю качества должны рассматриваться как непрерывный процесс.

Калибровки для анализа зерна на Infratec от Foss

Калибровки для анализа зерна, предлагаемые Foss, разрабатывались в сотрудничестве с партнерами по всему миру. Стратегия заключается в развитии глобальной калибровочной сети, обеспечивающей повсеместное использование идентичных калибровок. Процесс разработки, необходимый для получения калибровки для нового параметра, начинается с региональных калибровок. По мере накопления данных и расширения базы данных по калибровкам, для охвата все большего числа разновидностей проб и географических областей, калибровка становится глобальной, например, для белка и влажности в пшенице и ячмене.

Как правило, глобальные калибровки обновляются ежегодно. Однако, в ходе разработки новой калибровки или при возникновении в течение года каких-либо экстраординарных флуктуаций климата, обновление калибровок может проводиться чаще. Для обновления калибровок используются, главным образом, контрольные образцы, отбираемые во время уборки урожая по заранее установленному плану и охватывающие естественные вариации типовых характеристик в нескольких различных странах или географических областях. Дополнительные образцы отбираются в другие сезоны, чтобы установить возможные эффекты влияния сушки и хранения зерна. Образцы сканируются на Инфратек, а затем проводится эталонный анализ. Для контроля возможных различий между лабораториями, для лабораторий-участников регулярно организуются взаимные тесты (межлабораторные сличительные испытания или Ring-test).

Методы калибровки

В технологии Инфратек используется пропускание в ближней инфракрасной области спектра, NIT, то есть она является косвенной аналитической методикой. Это означает, что данные, полученные на Инфратек (X), необходимо поместить в математическую функцию, модель калибровки, для вычисления предсказанного значения (Y).

Калибровочная модель создается на основе результатов сканирования проб с известным химическим составом. Для каждого образца, который анализируется на Инфратек, используется вся спектральная информация. При измерениях в диапазоне 850-1050 нм используются 100 спектральных точек, а в диапазоне 570-1100 нм — 265 точек. Для создания калибровочной модели необходимо найти соотношение между спектральной информацией и химическим составом (например, содержанием белка, которое определяется эталонным методом по Къельдалю). Для этого используется множественная калибровочная методика.

Рис.2 Зависимость референсных значений белка в пшенице (по оси Х) и спектральных данных (по оси Y), обработанная калибровочной моделью.

На заре развития NIT технологии использовалась множественная линейная регрессия (MLR). Эта методика могла обрабатывать лишь достаточно малые и однородные наборы данных, что затрудняло разработку надежных и переносимых калибровок. Математическая модель MLR может обрабатывать не более 100 точек, укладывающихся на графике в прямолинейную зависимость: по оси Х откладываются референсные данные, а по оси Y — спектральные данные (площадь, высота спектра на определенной длине волны, характерной для данного органического компонента). Все последующие точки, превышающие 100, накладываются на предыдущие и не несут никакой информационной нагрузки.

За эти годы в методах создания калибровок произошли значительные изменения, и сегодня при разработке калибровочной модели применяются два основных метода многомерной калибровки:

• метод частичных наименьших квадратов (PLS);
• метод искусственных нейронных сетей (ANN).

Метод частичных наименьших квадратов (PLS)

PLS — пример проекционного метода, который уменьшает размерность измеряемых данных, разбивая их на меньшее количество переменных, так называемых основных компонентов. Это уменьшение производится с учетом эталонных значений.

Калибровка по методу PLS включает 100-200 образцов. Возможно включение большего числа, но, как правило, рекомендуется использовать не более 400. Проекции точек данных, количественно превышающие 400, также накладываются друг на друга и не несут никакой дополнительной информации.

Искусственные нейронные сети ANN

Рис.3 Визуальное сравнение калибровок Искусственной нейронной сети с мозгом млекопитающих.

Слово “нейронный” в ANN указывает на нейрон, нервную клетку головного мозга. Функция мозга зависит не столько от роли отдельного нейрона, сколько от множества их взаимосвязей или организации нейронов в сети.

Человеческий мозг является сложным и интеллектуальным “компьютером”. Взяв за основу принцип образования нейронных связей в мозге человека, учеными была создана новая модель программирования – искусственная нейронная сеть, имеющая способность к самообучению.

Типичная нейронная сеть может содержать десятки, сотни, тысячи или миллионы искусственных нейронов (узлов), которые расположены в связанных между собой слоях.

Некоторые из нейронов являются узлами ввода, предназначенными для получения информации, которую сеть должна распознать и изучить. Другие нейроны являются узлами вывода. Они должны сигнализировать о результатах обработки введенной информации. Между слоями входных и выходных узлов расположены слои скрытых узлов, которые являются основной частью искусственного мозга.

Связи между нейронами характеризуются числом, называемым синоптическим весом. Значение синоптического веса может быть или положительным, или отрицательным. Чем выше его численное выражение, тем больше узлы воздействуют друг на друга.

Процесс обучения нейронной сети можно назвать процессом оптимизации весов, при котором ошибка предсказаний минимизируется, после чего система достигает заданного уровня точности.

Рис.4 Пример простейшей однослойной нейронной сети.	Рис.5 Пример многослойной нейронной сети.

Модель ANN — это статистический процесс, основанный на принципе работы человеческого мозга. В этом процессе данные выражаются через “веса” в “узлах” и преобразуются с использованием сигма функций. Выходы всех узлов связаны, обеспечивая предсказанное значение. Процесс обучения носит итерационный характер — после каждого шага погрешность прогноза калибровочных образцов возвращается в сетевую архитектуру, до тех пор, пока не будет достигнута минимальная погрешность.

Существует несколько способов создания ANN калибровок. Узлы располагаются в так называемом “скрытом” слое нейронной сети, которая может состоять из нескольких скрытых слоев, с одним или несколькими узлами на слое.

Подобно мозгу, ANN модель может обрабатывать очень сложные нелинейные зависимости; ее можно обучать, добавляя все большее количество образцов в калибровочную базу данных для повышения точности анализа будущих неизвестных образцов. На сегодняшний день наиболее крупные базы данных насчитывают около 100 000 образцов.

Для более простого понимания: калибровочная модель ANN ищет близлежащие референсные точки к неизвестному спектру в трехмерном пространстве, а не в двухмерном, как в моделях MLR и PLS. То есть к оси Х и Y добавляется ось Z.

Рис.6 Визуальное представление многомерности калибровки ANN.

Сравнение методов ANN и PLS

• включение в калибровочную модель большего объема информации без потери точности (вместо 100-200, калибровочный набор может содержать десятки и сотни тысяч образцов);
• способность решать нелинейные задачи;
• способность обрабатывать более широкие диапазоны концентрации;
• более высокий уровень переносимости от прибора к прибору;
• точность и достоверность глобальных калибровок.

Рис.7 Независимость глобальных калибровок ANN от разных факторов.

Разработка калибровок. Библиотека спектров

Независимо от того, использовалась ли методика калибровки ANN или PLS, коллекция образцов для калибровки является важной предпосылкой правильных результатов. Образцы в калибровочном наборе должны в максимальной степени представлять будущие “реальные” образцы. Это означает необходимость охвата как можно более широкого диапазона вариаций сортов, климата, географии, температуры, диапазонов содержания, и т. д. С практической точки зрения это свидетельствует о том, что на сбор необходимых данных могут уйти годы, и что обслуживание калибровок следует рассматривать как непрерывно развивающийся процесс.

При создании абсолютно новой PLS калибровки требуется отобрать минимум 50 образцов. Для обновления существующей калибровки необходимо отобрать не менее 30 образцов. Перед началом проведения работ по созданию калибровки все образцы необходимо сканировать на Инфратек и проанализировать эталонным методом.

Сканирование образцов

При сканировании образцов необходимо выбирать оптимальную длину прохождения ИК-излучения через образец. Этот параметр, вероятно, придется оценивать отдельно для каждой новой продукции. Чтобы избежать изменения влажности в образце, необходимо сократить до минимума промежуток времени между проведением сканирования и эталонных анализов.

Калибровка должна быть всегда стабилизирована с учетом вариаций анализаторов. Это производится по методу, запатентованному Фосс (патент США 4944589). Если ожидаются изменения в температуре образца, температура калибровки также должна быть стабилизирована.

Эталонные исследования

Высококачественные эталонные данные жизненно важны для разработки и оценки калибровки. Поэтому в ходе анализа образца необходимо принимать максимальные меры предосторожности и использовать только официально признанные методы. Образцы должны быть проанализированы по меньшей мере дважды и предпочтительно в день проведения NIT анализа. Это требование особенно существенно для влажности, поскольку влажность образца может заметно меняться со дня на день. Если анализ образцов в тот же день невозможен, их необходимо хранить в герметично закрытом пакете. Для оценки качества калибровки важно определить погрешность эталонного метода, как основу точности калибровки.

Воспроизводимость метода можно рассчитать путем 2-кратного анализа 10 образцов в лаборатории. Затем можно вычислить стандартное отклонение разностей (SDD). SDD для эталонного метода можно включить в формулу для расчета точности калибровки. Точность определяется как стандартная ошибка предсказания, SEP. Никогда не стоит ожидать, что SEP окажется лучше SDD для эталонного метода. Межлабораторные сличительные испытания (Ring tests) также полезны при установлении точности данных метрологической лаборатории и используемого метода. Это необходимо при объединении в одной калибровке данных, полученных несколькими лабораториями.

Нестандартные образцы

Обнаружение нестандартных образцов — это способ идентификации образцов, не вписывающихся в применяемую калибровку. Эта функция важна, потому что подобные образцы, вероятно, будут определены с высокой погрешностью. Сначала нестандартные образцы можно выявить, просто взглянув на результаты анализа. Необходимо тщательно исследовать спектральную информацию со значительными отличиями по форме, либо по оптической плотности от остальной части партии.

Другие методы, такие, как “Global H” или “Neighbourhood H”, могут использоваться для установки предельных значений нестандартных образцов. Отклонение может дать информацию о шуме в результатах сканирования. Шум может быть вызван, например, неисправностью прибора, перемещением образца в ходе исследования, либо его слишком высокой оптической плотностью.

Образцы с отклонениями в химическом составе выявляются в ходе создания PLS модели. Если эта модель плохо предсказывает состав одного или нескольких образцов, (а с остальной частью партии нет проблем), то разумно предположить наличие ошибок в результатах химического анализа. В этом случае необходим повторный химический (и спектральный) анализ и оценка результатов.

Регрессия

После завершения спектрального анализа и объединения результатов с эталонными данными можно приступать к работе над текущей калибровкой. Для надлежащей проверки разработанной калибровки требуется использование независимого тестового набора. При использовании перекрестной проверки калибровочные образцы разбиваются на множество групп, и прогноз одной группы базируется на калибровке, произведенной в других группах. Эта процедура повторяется до тех пор, пока все образцы не будут прогнозироваться с первого раза. Независимый тестовый набор включает лишь те образцы, которые не являются частью данной калибровки, и таким образом, с высокой достоверностью соответствует реальному анализу.

О точности калибровки можно судить по правильности предсказанных данных при сравнении с эталонными. Точность выражается в SEP (стандартная ошибка прогнозирования).

Смещение — это систематическое отличие предсказанных прибором результатов относительно эталонных значений. В дополнение к оценке точности, рекомендуется проводить оценку переносимости предсказанных данных для идентичных образцов, полученных различными приборами.

Невысокая точность MLR	Высокая точность со смещением PLS	Высокая точность ANN
Рис.8 Визуализация сравнительной точности и смещения в разных калибровочных моделях

Обновление калибровки

Если калибровочная модель выдает предупреждения о наличии нестандартных образцов, или если проверка правильности калибровочной модели показывает неудовлетворительные результаты SEP, наклона и смещения, то пришло время обновить калибровочную модель.

Соберите образцы, отмеченные как нестандартные, либо те, определенная информация о которых отсутствует в существующей калибровке. Просканируйте образцы и проведите точный эталонный анализ. Необходимо удостовериться, что неудовлетворительные результаты проверки не являются следствием плохой точности эталонных значений.

Добавьте к существующему набору данных новые образцы и проведите новую регрессию. До и после добавления новых образцов необходимо проверить качество калибровки.

Философский вопрос

Все чаще среди обывателей возникает опасение, что развитие технологий искусственного интеллекта (ИИ) может привести к тому, что он начнет принимать решения самостоятельно. Можно выдохнуть, потому что искусственный интеллект, по крайней мере сейчас, не представляет никакой опасности для человека. И вот почему.

Во-первых, люди всё ещё главные во всех сферах, где используется искусственный интеллект. Мы мониторим и управляем его действиями.

Во-вторых, мы всё ещё далеки от создания ИИ, который мог бы нанести существенный вред человечеству. Все они пока что относительно примитивны по сравнению с теми, о которых нам рассказывают в фильмах.

В-третьих, сегодня ИИ — это про автоматизацию рутинной работы, которую раньше делал человек. Поэтому чего-то совершенно нового ИИ пока не делает, а лишь эффективно выполняет то, чем мы занимались вручную, экономя наши ресурсы и время.

Главная задача искусственного интеллекта — это не контролировать, наказывать, следить и надзирать, а помогать делать человеку правильный выбор.

Информация для заказа: