AI 기반 냉장고 유통기한 관리 챗봇 (프리지)
카카오톡 챗봇을 이용해서 냉장고 속 식품 유통기한을 관리할 수 있다.
제작 기간: 2022년 1월 ~ 5월
제작 인원: 3명 (프리지팀)
대회 결과: 🏆 2022년 1학기 캡스톤 디자인 경진대회 대상 (Grand Prize) [View]
기술 스택: 아래 참고
1. Server
웹 앱: Django Framework
웹 서버: Apache2 Web Server
데이터베이스: SQLite3
챗봇 API: Kakao I Open Builder [View]
2. Vision
프레임워크: pyTorch, OpenCV
머신러닝 학습 환경: Colab Pro (T4, P100, 25GB RAM)
머신러닝 알고리즘: YOLOv5
식품 정보 API: 식품의약품안전처_유통바코드 [View]
OCR API: Google Cloud Vision [View]
■ 코드 제공: GitHub 참고!!
캡스톤 디자인 발표 자료
발표 영상: https://youtu.be/fbPuuA-hL9E
과제 해결 방안 및 고찰
프리지팀의 주된 과제는 컴퓨터비전(OCR)과 영상처리이다.
이 분야를 Application 영역에 적용하기 위해서는 개발보다 아이디어 및 조사에 집중할 필요성이 있었다.
우리가 하려는 작업은 단순히 사진에서 글자를 찾는 것이 아니라, 유통기한 글자만 찾아서 가공하는 것이기 때문이다. 따라서 객체 검출 학습이나 영상 전처리, 텍스트 후처리 등에 대한 회의를 여러 차례 진행하였다.
구체적으로 (OCR API 조사, 컴퓨터 비전 논문 리뷰, 영상처리 실습 등) 프로그램에 사용될 여러 모듈과 알고리즘을 미리 조사 및 분석하였다. 또한 대형마트나 편의점에서 학습 이미지 1,500장을 수집 및 라벨링하고, 직접 학습 모델을 개발한 것도 ‘유통기한 인식’ 성능에 큰 영향을 주었다.
실질적으로 개발을 진행할 때는, 기존에 회의한 자료 뿐만 아니라 인터넷 레퍼런스, 전공 과목에서 배운 지식 등을 동원해서 프로그램을 완성할 수 있었다. 우리 팀은 AI 에 관심이 있는 세 학우가 모였기 때문에, 개발 경험 뿐 만 아니라 Computer Vision 에 대한 이해의 폭을 넓힐 수 있는 좋은 기회가 되었다.
참고자료
- YOLOv1 논문: https://arxiv.org/pdf/1506.02640.pdf
- YOLO Inference Process: https://docs.google.com/presentation/d/1aeRvtKG21KHdD5lg6Hgyhx5rPq_ZOsGjG5rJ1
HP7BbA/pub?start=false&loop=false&delayms=3000&slide=id.g137784ab86_4_969 - Introduction to Scene Text Detection and Recognition (고려대 DMQA 연구실, 김정원 연구원): http://dmqm.korea.ac.kr/activity/seminar/320
- EAST 논문: https://arxiv.org/pdf/1704.03155.pdf
- PVANet 논문: https://arxiv.org/pdf/1611.08588.pdf
- CRNN 논문: https://arxiv.org/pdf/1507.05717.pdf
- [Tesseract & Open CV]를 이용한 OCR2-1 전처리(pre-processing):
https://turtle-dennis.tistory.com/30 - Django 문서: https://docs.djangoproject.com/ko/4.0/
- Kakao ChatBot API 문서:
https://i.kakao.com/docs/skill-response-format#%EC%98%88%EC%A0%9C-%EC%BD%94%EB%93%9C-8 - Google Cloud Vision API 문서: https://cloud.google.com/vision/docs/drag-and-drop?hl=ko
- 식품의약품안전처_유통바코드: https://www.data.go.kr/data/15064775/openapi.do
- 식품의약품안전처_바코드연계제품정보: https://www.data.go.kr/data/15060549/openapi.do
- Python을 기반으로 정부 API를 사용하여 Json 파일 처리하기: https://da-nika.tistory.com/14