크롤링 실습: POST 방식 데이터 수집하기

# POST 방식 데이터 수집하기
import requests as rq
from bs4 import BeautifulSoup
import pandas as pd

url = 'https://kind.krx.co.kr/disclosure/todaydisclosure.do'

payload = {
    'method': 'searchTodayDisclosureSub',
    'currentPageSize': '15',
    'pageIndex': '1',
    'orderMode': '0',
    'orderStat': 'D',
    'forward': 'todaydisclosure_sub',
    'shose': 'S',
    'todayFlag': 'N',
    'selDate': '2024-11-05'
    }

data = rq.post(url, data = payload)
data

# 엑셀 데이터가 HTML 형태로 나타나있음
html = BeautifulSoup(data.content)
html

# prettify() 함수를 이용해 BeautifulSoup에서 파싱한 파서 트리를 다시 유니코드 형태로 돌려줌
html_unicode = html.prettify()
html_unicode

# 테이블 형태의 데이터 수집(pandas)
tb1 = pd.read_html(html_unicode)
tb1