omnaОмский научный вестникOmsk Scientific Bulletin1813-82252541-7541Омский государственный технический университет10.25206/1813-8225-2023-186-60-66omna-171Research ArticleМАШИНОСТРОЕНИЕMECHANICAL ENGINEERINGИспользование технического зрения в гибких производственных системах для определения координат беспорядочно расположенных объектовThe use of technical vision in flexible production systems to determine coordinates of randomly located objectsАверковК. В.AverkovK. V.

АВЕРКОВ Константин Васильевич, кандидат технических наук, доцент (Россия), доцент кафедры  «Технологии транспортного машиностроения и ремонта подвижного состава»

г. Омск

AVERKOV Konstantin Vasilyevich, Candidate of Technical Sciences, Associate Professor, Associate Professor of Technologies of Transport Engineering and Rolling Stock Repair Department

Omsk

averok@yandex.ruМакашинД. С.MakashinD. S.

МАКАШИН Дмитрий Сергеевич, кандидат технических наук, доцент кафедры «Металлорежущие станки и инструменты», доцент кафедры «Технологии транспортного машиностроения и ремонта подвижного состава»

г. Омск

MAKASHIN Dmitriy Sergeyevich, Candidate of Technical Sciences, Associate Professor of Metalcutting Machines and Tools Department, Mechanical Engineering Institute, Associate Professor of Technologies of Transport Engineering and Rolling Stock Repair Department

Omsk

dima.makashin@gmail.comОмский государственный университет путей сообщенияРоссияOmsk State Transport UniversityRussian FederationОмский государственный университет путей сообщения; Омский государственный технический университетРоссияOmsk State Transport University; Omsk State Technical UniversityRussian Federation202330062023026066Copyright © Аверков К.В., Макашин Д.С., 20232023Аверков К.В., Макашин Д.С.Averkov K.V., Makashin D.S.This work is licensed under a Creative Commons Attribution 4.0 License.https://onv.omgtu.ru/jour/article/view/171

Статья посвящена разработке алгоритма определения координат и ориентации объектов с помощью технического зрения с использованием языка программирования Python и библиотеки компьютерного зрения OpenCV. В статье представлена программа, позволяющая установить координаты объекта, произвольно расположенного в области видимости камеры, а также определить его ориентацию. Эти данные позволят выполнить эффективный захват объекта схватом манипулятора. В современном машиностроении задачи такого рода являются достаточно актуальными, они позволяют повысить автономность гибких производственных систем и сделать производство более безопасным.

The article is devoted to the development of an object recognition algorithm using technical vision using Python and the OpenCV computer vision library. The article presents a program that allows you to set the coordinates of an object arbitrarily located in the field of view of the camera, as well as determine its orientation. This data will allow you to perform an effective capture of the object by the grip of the manipulator. In modern mechanical engineering, tasks of this kind are quite relevant, they make it possible to increase the autonomy of flexible production systems and make production safer.

гибкая производственная системапромышленный роботтехническое зрениераспознавание объектовкоординаты объектаориентация схватаflexible production systemindustrial robottechnical visionobject recognitionobject coordinatesorientation of the gripReferencesБахрамов Н. М., Храмов В. В. Проблемы использования технического зрения роботов-ассистентов в контексте цифровой трансформации // Интеллектуальные ресурсы — региональному развитию. 2022. № 2. С. 163–167.Bakhramov N. M., Khramov V. V. Problemy ispol’zovaniya tekhnicheskogo zreniya robotov-assistentov v kontekste tsifrovoy transformatsii [Directions for improving and integrating the robot vision system for integrated data mining] // Intellektual’nyye resursy — regional’nomu razvitiyu. Intellectual Resources for Regional Development. 2022. No. 2. P. 163–167. (In Russ.).Андросов А. Ю., Горшков А. А., Луцков Ю. И. Размещение системы технического зрения на манипуляторе мобильного робота // Известия ТулГУ. Технические науки. 2014. № 11-1. С. 418–426.Androsov A. Yu., Gorshkov A. A., Lutskov Yu. I. Razmeshcheniye sistemy tekhnicheskogo zreniya na manipulyatore mobil’nogo robota [A placement of the vision system on the mobile robot manipulator] // Izvestiya TulGU. Tekhnicheskiye nauki. Izvestiya TulGU. Technical Sciences. 2014. No. 11-1. P. 418–426. (In Russ.).Гуров В. С., Колодько Г. Н., Костяшкин Л. Н. [и др.]. Обработка изображений в авиационных системах технического зрения: моногр. / под ред. Л. Н. Костяшкина, М. Б. Никифорова. Москва: Физматлит, 2016. 240 с.Gurov V. S., Kolod’ko G. N., Kostyashkin L. N. [et al.]. Obrabotka izobrazheniy v aviatsionnykh sistemakh tekhnicheskogo zreniya [Image processing in aviation vision systems] / ed. by L. N. Kostyashkina, M. B. Nikiforova. Moscow, 2016. 240 p. (In Russ.).Котляр Д. И., Ломанов А. Н., Корнейчук В. С. Применение технического зрения для сканирования кромки лопатки в процессе ремонта // Вестник Череповецкого государственного университета. 2022. № 1 (106). С. 42–54. DOI: 10.23859/19940637-2022-1-106-4.Kotlyar D. I., Lomanov A. N., Korneychuk V. S. Primeneniye tekhnicheskogo zreniya dlya skanirovaniya kromki lopatki v protsesse remonta [The application of computer vision for scanning the blade edge during repair procedures // Vestnik Cherepovetskogo gosudarstvennogo universiteta. Cherepovets State University Bulletin. 2022. No. 1 (106). P. 42–54. DOI: 10.23859/1994-0637-2022-1-106-4 (In Russ.).Юдин Д. А., Магергут В. З. Программный комплекс системы технического зрения для оценки состояния процесса обжига // Программные продукты и системы. 2013. № 2. С. 257–262.Yudin D. A., Magergut V. Z. Programmnyy kompleks sistemy tekhnicheskogo zreniya dlya otsenki sostoyaniya protsessa obzhiga [Computer vision system software for assessment of firing process] // Programmnyye produkty i sistemy. Software Products and Systems. 2013. No. 2. P. 257–262. (In Russ.).Бублик Д. А., Кононенко Р. В. К вопросу контроля геометрических параметров объектов двойной кривизны больших размеров при помощи системы технического зрения // Вестник Иркутского государственного технического университета. 2019. № 4. С. 670–677. DOI: 10.21285/1814-3520-20194-670-677.Bublik D. A., Kononenko R. V. K voprosu kontrolya geometricheskikh parametrov ob”yektov dvoynoy krivizny bol’shikh razmerov pri pomoshchi sistemy tekhnicheskogo zreniya [To control of geometrical parameters of large size double curvature objects using computer vision system] // Vestnik Irkutskogo gosudarstvennogo tekhnicheskogo universiteta. Proceedings of Irkutsk State Technical University. 2019. No. 4. P. 670–677. DOI: 10.21285/1814-3520-2019-4-670-677. (In Russ.).Блохин К. О., Матлахов В. П., Хандожко В. А. Наукоемкая технология контроля качества керамической плитки с использованием технического зрения // Наукоемкие технологии в машиностроении. 2018. № 2. С. 27–34.Blokhin K. O., Matlakhov V. P., Khandozhko V. A. Naukoyemkaya tekhnologiya kontrolya kachestva keramicheskoy plitki s ispol′zovaniyem tekhnicheskogo zreniya [Science intensive technology for ceramic tile quality control using computer vision] // Naukoyemkiye tekhnologii v mashinostroyenii. Science-based Technology in Mechanical Engineering. 2018. No. 2. P. 27–34. (In Russ.).Прукс В. Э. Пример системы технического зрения на основе нейросетевого классификатора // Вестник Балтийского федерального университета им. И. Канта. 2012. № 10. С. 99–103.Pruks V. E. Primer sistemy tekhnicheskogo zreniya na osnove neyrosetevogo klassifikatora [Example of a vision system based on a neural network] // Vestnik Baltiyskogo federal'nogo universiteta im. I. Kanta. Bulletin of I. Kant Baltic Federal University. 2012. No. 10. P. 99–103. (In Russ.).Пелевин Е. Е., Балясный С. В. Оптимальные алгоритмы выделения контуров изображения в системе технического зрения // Juvenis scientia. 2016. № 6. С. 6–8. DOI: 10.15643/jscientia.2016.6.195.Pelevin E. E., Balyasnyy S. V. Optimal'nyye algoritmy vydeleniya konturov izobrazheniya v sisteme tekhnicheskogo zreniya [Optimal algorithm of edge detection within the system of computer vision] // Juvenis scientia. Juvenis Scientia. 2016. No. 6. P. 6–8. DOI: 10.15643/jscientia.2016.6.195. (In Russ.).Сокол Е. Е. Концепция системы технического зрения для контроля качества и сортировки готовых деталей // Молодежный вестник ИрГТУ. 2021. № 3. С. 20–25.Sokol E. E. Kontseptsiya sistemy tekhnicheskogo zreniya dlya kontrolya kachestva i sortirovki gotovykh detaley [Vision system concept for quality control and sorting of finished parts] // Molodezhnyy vestnik IrGTU. Young Researchers Journal of ISTU. 2021. No. 3. P. 20–25. (In Russ.).

The authors declare that there are no conflicts of interest present.