크롤러 프로토타입 모듈 - Twitch 크리에이터 데이터 가져오기

prj009

Sun, 17 Nov 2019

크롤러 프로토타입 모듈 - Twitch API 모듈

  • 우선적으로 크롤러 프로토타입 모듈을 만들어 어떠한 데이터들이 어떻게 받아지는지를 알아야 합니다.
  • 이전 프로젝트 때 아프리카tv와 트위치는 api로 데이터를 받아 왔습니다.
  • 이번에는 리팩토링을 하면서 각각을 OOP에 입각하여 만들겠습니다.

Twitch 크리에이터 데이터 가져오기

  • 기본적으로 크리에이터의 데이터를 가져오는 module을 만든다.
import requests
from clientID import client_id
from http_data import url, headers
from twitch_bj_id_data import bj_ids_datas
# 필요한 모듈들을 import 해준다.

def get_bj_fw_data(ids = bj_ids_datas): # bj id가 들어있는 list를 기본인자로 넣는다.
    bj_fw_data = []
    if isinstance(ids, list): # list인지 아닌지를 판별한다.
        for id in ids: # list 반복문을 실행시켜 id를 가져온다.
            res = requests.get(url + 'users/follows?to_id=' + id, headers=headers).json()
            if res == {'data': []} or res is None: # 가져온 데이터가 아무것도 없을 시에는 pass 한다.
                pass
            else: # 데이터가 있으면 변수에 데이터를 저장한다. DB가 만들어 지면 DB에 저장한다.
                fw_cnt = res['total']
                print(fw_cnt)
    else: # ids에 list가 아닐경우 실행
        res = requests.get(url + 'users/follows?to_id=' + ids, headers=headers).json()
        if res == {'data': []} or res is None:
            pass
        else:
            fw_cnt = res['total']
            print(fw_cnt)

# get_bj_fw_data()
  • 이 모듈을 기본으로 크리에이터의 info, video, follower 데이터를 가져온다.
Loading...
Upati Sariputa

Upati Sariputa

  • React.js, Node.js, Django
  • 아직 블로그가 완벽하지 않습니다.