[Python] 백준 크롤러 BOJcrawler 2.0.0 런칭

BOJcrawler

To reduce the hassle of blog posting

포스팅에 사용될 문제나 예제 문제 설명등을 원하는 HTML 서식 형태로 출력

• 여러가지 부가적인(많은) 기능들이 추가 탑재 되었습니다 바로 in Ver 2.0.0 에서!

Overview

fully compatible with tistory

Tistory에 맞게 짜여져있다.

You can find what it results in below link

아래 링크에서 본 프로젝트의 결과에 대해서 확인이 가능합니다.

https://url.kr/h7egvx

[08/14] prettier font [본명조] and spacing between lines

아무튼 예쁘게 만들었습니다.

[10/03] It was printed in the form of a file every time a crawl was requested.

크롤링 내역이 파일 형태로도 저장되게 하였습니다.

Module

requests html

bs4

Result preview

Given the above, the following versioning pattern lends itself well to the BoJcrawling project:

본 프로젝트 버전관리 규칙

api.major.patch

• API: Bumped when Adding or Removing api
• Examples: Removing an endpoint, Supporting new website
• Major: Bumped when breaking changes are committed to main.py
• Examples: Bumping the website structure version, altering the configuration in a non-backward-compatible manner
• patch: Bug fixing, Adding little function
• Examples: Prettier fonts, Adding blanks

version 1.0.0

version 1.1.1

save with txt file

txt 파일 형식으로 저장하게 하였습니다.

+prettier font

It became easier to distinguish and easier to copy to blog.

본 업데이트로 포스팅 시에 복사하기 붙여넣기 하기가 수월해졌습니다.

version 1.2.0

Add subtitle at the top of the resultance file

파일 맨 위에 포스팅의 제목을 규칙에 따라서 출력하게 하였습니다.

It became easier to get title of solution posting on blog.

그래서 블로그 하기가 더 빨라짐ㅎㅎ

version 2.0.0

Since the solution was also posted on GitHub, the code was parsed into HTML in the form of code in the blog, and the README file for each folder was in the form of explanation.

이제 깃허브에 풀이와 설명을 적을것이기 때문에 깃에 올린 코드와 README내의 설명을 가져와서 블로그의 HTML 규칙에 맞게 코드 형식을 맞추어서 바로 포스팅 할 수 있게 하였습니다.

Also, the folder by subject is in the following format, create the folder according to the rules and for README files and pools.It also adds the ability to generate py files by itself.

또한 깃허브에 올라갈 폴더도 일정한 형식을 띄고 있기 때문에 이에 맞추어서 파이썬 명령어로 각 문제별 폴더와 .py 파일 README 파일 등도 미리 생성하게 하였습니다.

00#00000_문제이름

00#00000_문제이름_문제풀이방식.py

00 - order of each stage

#00000 - number of each problem

So....... It's not a crawler, but a posting macro helper for me. :) 이제는 크롤러가 아니라 나만의,, 포스팅 헬퍼가 되었습니다 :)

• 추가

https://github.com/ChoMinGi/BOJ-python/commit/b8af02842dcdbd8f45cbdc77a732631365858c5f

위 크롤러의 mkdir, mkproblemdir 을 사용한 결과물

 

그리고 실제로 블로그 포스팅에 이용하였다!

https://nstgic3.tistory.com/102

[백준/python] 누적 합 전체 풀이(18단계)

 

version 2.1.0

블로그 포스팅용 HTML이 필요하여 단계를 새로 크롤링 해오면 기존의 파일들이 전부 삭제(read 의 'w' 옵션이 덮어쓰기를 한다) 되어 버리는 경우가 존재하고 있어서 사용자로 하여금 위의 사진과 같이 새로운 단계를 불러올건지 블로그 포스팅용 HTML을 현재 파일 내에 존재하는 코드 등을 통하여 크롤링 되게 할건지 선택할수 있게 하였습니다.

 

--------------

 

+ 여러가지 풀이로 푸는 경우나 숏코딩 등 남의 코드를 분석하는 것도 특정 저장 서식을 따라서 저장을 한 후에

ex) README 파일 내에 ## 등 구분자로 각 파일별로 설명을 구분해놓기(아마 코드내 #으로 대체될 가능성이 크다)

 

현재는 한가지의 코드만 불러오게 하였는데 파일 개수를 읽어와서 n개의 코드도 가져올수 있게 해야겠다.

 

+ 마크다운 언어 특성상 엔터를 두번 연속하여 사용하여야지 크롤링 결과로도 엔터가 적용되는 모습이 보였습니다. (깃허브 이슈에 추가함)

https://github.com/ChoMinGi/BOJcrawler/issues/4

마크다운 특성으로 엔터가 적용되지 않는 문제 · Issue #4 · ChoMinGi/BOJcrawler

 

이 또한 마침표 등 구분자를 통하여 크롤링 시에 줄바꿈 을 행하도록 적용시킬 예정입니다.