목차 개요 프로젝트를 진행하다가 제작하는 프로젝트에서 사용자에게 맞춤형 정보를 전해주기 위해 특정 사이트에서 일정 시간을 간격으로 공지사항을 크롤링하여 유효한 키워드를 찾아내 제공해주어야하는 api를 제작해야했다. DB에 있는 자료들에서 SQL문을 사용해 필요한 정보만을 얻어내는것도 구현해야할 API이지만 DB를 실시간으로 업데이트 해야하는 API도 제작했어야했다. 최대한 DOM 기반 크롤러를 만드려 해도 사이트 구조는 계속 바뀌고 아직 프로젝트에서 어떠한 정보를 가져올지에 대한 내용이 픽스되지 않았기에 클라이언트에게 웹사이트 관련한 정보를 제공해주는 SpringBoot 어플리케이션과 나름의 MSA를 만들어보고 싶어서 Python 기반 DB관리 어플리케이션을 따로 만들기로 하였다. 외부에서 크롤링을 해오..