В НГТУ НЭТИ создали нейросеть для автоматического контроля качества овощей и фруктов

В Новосибирском государственном техническом университете НЭТИ разработали интеллектуальную систему для автоматической оценки качества сельскохозяйственной продукции. Технология, предназначенная для внедрения в системы контроля качества на предприятиях агропромышленного комплекса, в логистических центрах и розничных сетях, позволяет по обычным фотографиям определять внешние дефекты и степень свежести фруктов и овощей.

Контроль качества продукции на предприятиях пищевой промышленности и в логистических центрах часто приводит к субъективным ошибкам и большим затратам времени, а традиционные системы компьютерного зрения требуют идеальных условий съемки или нуждаются в десятках тысяч размеченных примеров для обучения.

Студенты третьего курса автоматики и вычислительной техники НГТУ НЭТИ Дмитрий Шипунов, Александр Седельников и Семен Симоняк решили эту проблему, создав умный «сортировщик». Перед этим разработчики провели исследование различных подходов — метрического, машинного и глубокого обучения — к распознаванию дефектов и выявили, какой из них оптимален для разных производственных задач.

«Мы не просто создали очередной классификатор, а провели детальное сравнение принципиально разных подходов к обучению. Это позволило понять, как каждый метод видит дефекты и почему одна модель лучше справляется с поиском гнилой продукции, а другая — с определением незрелости. Теперь мы можем предложить предприятиям не универсальное, а оптимальное решение именно для их задач: где-то важнее не пропустить ни одного испорченного плода, а где-то — случайно не забраковать качественный товар», — рассказали разработчики.

По словам руководителя проекта, ассистента кафедры автоматизированных систем управления НГТУ НЭТИ Егора Антонянца, сложность была в том, чтобы научить нейронную сеть различать гниль и незрелость, ведь на многих фото эти состояния выглядят похоже: и там, и там присутствуют зеленоватые или коричневатые оттенки.

«Мы использовали особую архитектуру триплетной сети, которая учитывает не просто пары изображений, а сразу несколько примеров — эталонный, положительный и два отрицательных. Это позволило создать более гибкие границы между классами и значительно снизить число ошибок», — пояснил Егор Антонянц.

По оценкам авторов, разработка не требует огромного количества изображений и работает с обычными фотографиями, сделанными при разном освещении и под разными углами. Нейронные сети были протестированы на изображениях из открытых источников, и они стабильно показывали высокую точность — до 89 % даже на тех продуктах, которые не встречались им во время обучения. Это позволит быстро адаптировать «сортировщик» под новый вид продукции без длительной и дорогостоящей переразметки.

В настоящее время проект находится на финальной стадии научно-исследовательского прототипа: все три архитектуры нейросетей (CNN, SNN и TNN) уже обучены, протестированы и показали высокую точность (до 93,6%) на выборке изображений. Прототип успешно доказал свою эффективность в лабораторных условиях на статичных фотографиях.

«В планах команды адаптировать нейросети и интеллектуальную систему в целом для работы с видеопотоком с конвейерной ленты, чтобы тестировать его на реальных сельскохозяйственных продуктах в движении, а также расширить базу для обнаружения новых видов дефектов и культур. Пока что обучение и тестирование проводились на четырех конкретных видах продуктов: бананах, апельсинах, клубнике и томатах. В дальнейшем мы хотим привлечь партнеров из агропромышленного сектора для организации совместных испытаний системы на реальных производственных линиях», — рассказал Егор Антонянц.

Напомним, что ученые НГТУ НЭТИ в рамках программы «Приоритет-2030» разработали отечественный биогель, который продлевает срок сохранности овощей и фруктов в четыре раза. Биогель запущен в производство.