Применение генеративно-состязательных нейросетей для формирования баз данных в сканирующей туннельной микроскопии

Abstract

Получение изображения со сканирующего туннельного микроскопа является трудоемким процессом, а формирование большой базы данных для обучения нейросетей может занимать сотни часов. Статья посвящена созданию методики автоматической генерации изображений сканирующей туннельной микроскопии, позволяющей существенно сокращать время подготовки таких баз данных. В статье выполнен анализ современных методов и средств автоматической обработки изображений, полученных с зондовых и электронных микроскопов. Предложено использовать генеративно-состязательные сети для генерации изображений, полученных с применением сканирующего туннельного микроскопа, с целью формирования обучающих баз данных изображений. Описан процесс обучения и сравнения архитектур DCGAN с применением открытых библиотек OpenCV и Keras совместно с TensorFlow, выявлена наилучшая из них посредством вычисления метрик IS, FID, KID. С использованием метода дообучения генеративно-состязательной нейросети SRGAN и билинейной интерполяции на базе языка программирования Python осуществлено масштабирование изображений, полученных с DCGAN. Анализ вычисленных количественных значений метрик показал, что наилучшие результаты генерации изображений получены с применением DCGAN96 и сети SRGAN. Таким образом, разработана методика автоматической генерации базы данных изображений сканирующего туннельного микроскопа, основанная на поэтапном применении DCGAN96 и SRGAN. Показаны результаты сегментации изображений со сканирующего туннельного микроскопа с применением сети U-Net, обученной на сгенерированной базе данных. Все вычисления производились на видеокарте GTX GeForce 1070.