[주식] Yahoo finance에서 주가 데이터 내려받는 Bash 스크립트

설명

• Bash 셸 스크립트로, KRX에서 제공하는 CSV 형식의 종목 리스트를 소스로 하여, 최근 3년간의 1일봉 데이터를 내려받는다.
• http://data.krx.co.kr/contents/MDC/MDI/mdiLoader/index.cmd?menuId=MDC0201020101 stock_list.csv 파일은, 여기에서 내려받는 파일을 수정 없이 이름만 바꿔 사용한다.
• 텔레그램 봇을 사용하여 메시지를 쏴 주는 것도 가능하니, 토큰을 적절히 입력하여 사용 가능하다.
• 이거 일봉 기준으로 시총 100억 이상인 것들 다운로드 받도록 돌리면 거의 2600개 되는 종목의 파일을 계속 내려받는데, 넉넉잡아 한 시간은 더 걸린다. `nohup downloader.sh &` 명령 사용해서 백그라운드로 돌려놓고 딴 짓 하자.

 

#!/bin/bash

# telegram tokens setting
bot_token="Telegram bot token ID"
chat_id="Telegram chat ID"

# timestamps
start_date_readable=$(date -d "3 years ago" +"%m/%d/%Y")
end_date_readable=$(date +"%m/%d/%Y")
start_date=$(date --date="$start_date_readable 00:00:00" +"%s")
end_date=$(date --date="$end_date_readable 23:55:59" +"%s")

# the interval must be one of 1m, 2m, 5m, 15m, 30m, 60m, 90m, 1h, 1d, 5d, 1wk, 1mo, 3mo
interval="1d"

# no / at the end!
data_dir="The directory where the stock price data will be stored"

# message="Starts%20at:%20$start_date_readable%0AEnds%20at:%20$end_date_readable"
# curl -s "https://api.telegram.org/$bot_token/sendmessage?chat_id=$chat_id&text=$message"

i=0
while IFS=, read -r code name exchange category close delta delta_percentage open high low volume volume_price marketcap stock_quantity; do
    ((i++))
    # skip the header
    if [[ ! "$exchange" == "\"KOSPI\"" && ! "$exchange" == "\"KOSDAQ\"" && ! "$exchange" == "\"KOSDAQ GLOBAL\"" && ! "$exchange" == "\"KONEX\"" ]]; then
        continue
    fi

    # Market cap filter
    # it filters stocks with market cap under 10B KRW or in KONEX
    # if [ ${marketcap//\"/} -lt 30000000000000 ] || [ "$exchange" = "\"KONEX\"" ]; then
    if [ ${marketcap//\"/} -lt 10000000000 ] | [ "$exchange" = "\"KONEX\"" ]; then
        continue
    fi

    # KOSPI
    if [ "$exchange" = "\"KOSPI\"" ]; then
        exc="KS"
    # KOSDAQ or KOSDAQ GLOBAL
    else
        exc="KQ"
    fi

    code=${code//\"/}
    url="https://query1.finance.yahoo.com/v7/finance/download/$code.$exc?period1=$start_date&period2=$end_date&interval=$interval&events=history&includeAdjustedClose=true"

    echo "$i ${name//\"/} [$code]" | iconv -f EUC-KR --t UTF-8

    start=$(date +%s.%N)
    curl -s "$url" --output - | iconv -f UTF-8 -t EUC-KR > "$data_dir/$code.csv"
    end=$(date +%s.%N)

    elapsed=$(echo "$end - $start" | bc)

    #Yahoo finance allows only one api call every 1 second.
    if (( $(echo "$elapsed < 1" | bc -l) )); then
        sleep $(echo "1.1 - $elapsed" | bc)
    fi
done < "stock_list.csv"

# Deletes some useless files. comment this if you want to check out what they look like.
find $data_dir -type f -size -200c -delete

# Displays the number of stock files available
#number_of_stock=$(ls -1 $data_dir | wc -l)
# message="$number_of_stock%20files%20have%20been%20downloaded."
# curl -s "https://api.telegram.org/$bot_token/sendmessage?chat_id=$chat_id&text=$message"
if [ $number_of_stock -eq 0 ]; then
    exit 0
fi

# any consequent files here
# python3 main.py

# Delete the downloaded files if you want.
# rm -rf $data_dir/*

# message="Done!"
# curl -s "https://api.telegram.org/$bot_token/sendmessage?chat_id=$chat_id&text=$message"