살짝은 늦었지만 작년 회고와 올해 다짐을 적어보려 합니다.

21년 회고

1.Data HUB ETL 적재 데이터 검증

해당 업무는 20년 말부터 했던 업무인데, 작년 초 까지 계속 했었던거 같습니다.

원래는 일일히 1500개 정도 되는 테이블들을 한 번씩 검증하는 것이었는데

ETL로 들어오는 데이터 특성 상, 해당 시간에 데이터가 안 들어오거나 적게 들어와서 비교가 힘들때가 있을거 같아

이를 python으로 일 배치화 및 자동화를 해놓고 특수한 상황들만 추가로 예외 처리를 해놓았습니다.

건수, 데이터 정합성 검증 에다가

그나마 공통 버전 용으로 만들어 놓았습니다.

2.Data HUB DA 업무 수행

21년 초, 중반부터 수행했던 업무인데, 주로 oracle DB에서 DDL 쿼리를 주로 작성했고

연말에는 해당 쿼리를 일반인도 생성할 수 있을 정도로 단순화 시켜놓았습니다.

주로 쿼리 작성 및 해당 테이블들 관리를 하고, 일부 자체 생성 테이블들의 모델링 작업을 수행했습니다.

해당 업무를 수행하면서 oracle 쿼리 작성 실력이 많이 늘었다고 생각됩니다.

3.데이터 분석 전문가(ADP) 취득

원래는 20년에 취득하려고 했던건데 필기를 코로나때문에 미뤄서 21년 4월에 시험 봤습니다.

실기도 커트라인을 간신히 넘겨서 합격을 해서, 이걸 한 번에 하다니 이랬습니다…

ADP 포스팅 해당 항목에 ADP 후기 및 준비 사항들 올려 놓았습니다.

지금 제 블로그를 봐주시는 많은 분들이 해당 포스팅들을 보러 오시더라고요

부족한 내용들일텐데 봐주셔서 감사드리고 있습니다 ㅎㅎ

22년 다짐

아직 까지 위에 HUB 프로젝트 이후에, 어떤 프로젝트를 하게 될지 정해지지 않아서 공부할 것 위주로 적어보려 합니다.

1.머신러닝 & 딥러닝 논문 분석 및 알고리즘 구현

사실 작년에 lgbm으로 요약한 포스팅이 하나 있는데, 이 포스팅 입니다.

이걸 올리고 위에 언급된 DA 업무를 하게 되서… 한 편만 올리고 사라진걸로 보이는데 다시 해보려고 합니다.

요약은 잘 하면 일주일에 하나는 될거 같은데, 알고리즘 구현을 해본적이 없어서 얼마나 걸릴지 모르겠습니다.

현재 xgboost 논문 리뷰 중이라서, xgboost 먼저 작업 해보고 올리는 주기를 결정 해보려고 합니다.

2.Oracle DB 쿼리 정리

DA 업무를 수행하면서 얻은 지식과 현재 불친절한 SQL 프로그래머라는 책을 읽으면서 얻은 지식들로

SQL 관련 포스팅을 연 초에는 해보려고 합니다.

책이 두껍긴 해서 다 하지는 않을거 같지만, 그래도 게시물 수가 좀 있을 것 같습니다.

3.Docker, 하둡, 클라우드 환경 공부

2번이 어느정도 마무리가 되면, 강의 위주로 가상환경이나 빅데이터 분석 환경을 공부해보려고 합니다.

지금까지는 DB에서의 데이터 추출이나 데이터 적재 환경을 공부했다면

그 다음에는 이러한 분석 환경에서 공부를 해보는 것이 좋다고 생각했습니다.

요즘 데이터 분석가들에게 이러한 분석 환경을 요구하는 곳이 많아져서

해당 기술을 가지고 있는 것이 유리하다고 생각했습니다.

4.클라이밍 수강 및 운동 쪽 취미 가지기

이제부터는 데이터쪽 이야기는 아니고 개인적인 이야기를 적어보려 합니다.

작년에는 집 근처에 산책하는 곳이 있어서 조깅도 뛰고 해서 살도 빼고 괜찮았습니다.

하지만, 겨울에는 확실히 조깅이 힘들더라고요

sns를 보는데 요즘 클라이밍이 핫하고, 제가 사는 곳 주변에 클라이밍 하는 곳이 있어서 체험은 해보았습니다.

해보니 재밌긴해서, 1월 중순부터 2개월 코칭 수업을 들어보려고 합니다.

봄~가을까지는 조깅을 하구 겨울에는 클라이밍을 하는 식으로 운동을 꾸준히 해보려고 합니다.

5.깃허브 포스팅 꾸준히 하기

포스팅이 살짝 뜸했던게 새로운 업무를 하면서 적응하느라 그런것도 있었지만

21년은 힐링을 위주로 생활 했던거 같습니다.

중간에 친구들이랑 rpg 게임도 하고, 남들하는 주식도 해보고 이런 식으로요

이제 어느정도 생활도 안정이 됬고 프로젝트도 새로운 걸 들어가는 시점이 되서

당분간은 깃허브 블로그를 업데이트를 최대한 자주 해보려고 합니다.

1월 1일에 써보려고 했지만, 나중에 생각이 나서 5일에 쓰게 되었네요

혹시라도 읽으신 분이 있으시면 감사드립니다.