개발팀_RPA_및_자동화

부산경찰청 사이트 - 정보마당 - 법령정보(훈령·예규·고시) 데이터 취합
사이트 접속 정보 : https://www.bspolice.go.kr/

작업 내용

1. 크롤링 후 데이터 취합 (엑셀)
2. 기존 크롤링 완료된 엑셀파일에서 하이퍼 링크 클릭으로 사이트 바로 접속이 안되는 이슈 보완 요청 ㄴ https://www.bspolice.go.kr/view.do?no=1754&view=view&idx=52913 ㄴ 사이트 내 개발자 도구 - 네트워크 탭의 게시물 규칙 확인 (idx 필터링)

사용 도구 : Python (자동화 스크립트)

작업 절차
1단계. 대상 게시판 구조 확인
수집 대상 URL 접속
목록 화면의 항목 배치, 페이지 이동 방식(페이지 번호 파라미터) 확인
상세 화면 진입 시 필요한 값(제목, 날짜, 저작권 표시 등) 위치 확인

2단계. 목록 순회 수집
1페이지부터 순서대로 이동하며 각 게시물의 제목 / 상세페이지 링크 / 등록일 수집
목표 건수 도달 시까지 자동 반복

3단계. 상세페이지 보강 수집
필요 시 각 게시물 상세페이지에 개별 접속하여 추가 항목(저작물유형, 담당자, 담당부서, 첨부파일명 등) 수집

4단계. 데이터 검증
중복 여부
빈 값 여부
날짜 정렬 여부
서식 오류(줄바꿈, 탭 문자 등으로 인한 열 밀림) 여부
확인 후 이상 있는 건은 재작업

5단계. 결과물 산출
엑셀(CSV) 파일로 저장

저장된 엑셀 확인