개발팀_RPA_및_자동화

[신유형개방] 충청남도 예산군 예산소식 해명 자료 데이터 취합

충청남도 예산군 사이트 - 예산소식 - 해명 자료 데이터 취합 (260401 ~ 260731, 총 850건)
사이트 접속 정보 : https://www.yesan.go.kr/bbs/BBSMSTR_000000000047/list.do

작업 내용
크롤링 후 데이터 취합 (엑셀)
사용 도구 : Python (자동화 스크립트)

작업 절차
1단계. 대상 게시판 구조 확인
수집 대상 URL 접속
목록 화면의 항목 배치, 페이지 이동 방식(페이지 번호 파라미터) 확인
상세 화면 진입 시 필요한 값(제목, 날짜, 저작권 표시 등) 위치 확인

2단계. 목록 순회 수집
1페이지부터 순서대로 이동하며 각 게시물의 제목 / 상세페이지 링크 / 등록일 수집
목표 건수 도달 시까지 자동 반복

3단계. 상세페이지 보강 수집
필요 시 각 게시물 상세페이지에 개별 접속하여 추가 항목(저작물유형, 담당자, 담당부서, 첨부파일명 등) 수집

4단계. 데이터 검증
중복 여부
빈 값 여부
날짜 정렬 여부
서식 오류(줄바꿈, 탭 문자 등으로 인한 열 밀림) 여부
확인 후 이상 있는 건은 재작업

5단계. 결과물 산출
엑셀(CSV) 파일로 저장

저장된 엑셀 확인