데이터사이언스 검색 결과

해당 글 14건

[리뷰] 파이썬으로 캐글 뽀개기 - 파이썬으로 시작해서 포트폴리오로 취업까지 (비제이퍼블릭, Evan 외 4인 저)

한국 사회에 데이터 사이언스의 붐이 찾아온 이래로, 전공과 분야에 무관하게 데이터 관련 분야로 진입하고자 하는 사람들이 크게 늘어났습니다. 때문에, 온갖 강의와 도서, 부트캠프와 학원들이 넘쳐나고 있는 상황이지만, 입문자들에게 꾸준히, 반복적으로 추천되고 있는 공부 방법이 하나 있습니다. 바로 Kaggle(캐글)을 시작하라는 것인데요. 관련 분야 공부를 해보신 분들이라면, 타이타닉 데이터 한번 안 만져 보신 분들은 없을 것입니다. 특히 타이타닉 데이터 셋은 입문자를 대상으로 하는 단기 강연에서 많이 등장하는 데이터이기도 합니다. 구관이 명관이다 라는 말이 있을 정도로, 타이타닉 데이터는 입문자에게 많은 경험을 선사하곤 합니다. 흔하디 흔한 Binary Classification 문제이지만, 단순히 좋은 ..
개발하다/개발도서 리뷰 & 서평 2022. 1. 31. 12:44

Brightics 서포터즈 개인 미션, 분석 프로젝트 3차 분석 모델링 과정

좀처럼 끝날 것 같지 않던 개인 프로젝트 시간이 어느새 마무리를 바라보고 있습니다. 꽤 긴 기간이란 생각이 들었었지만, 막상 프로젝트를 진행하다보니, 생각보다 간단한 작업에도 많은 시간이 소요되었고, 기대 했던 것 만큼 결과물을 내놓지도 못한 것 같습니다. 하지만 이러한 경험들 하나하나가 모두 차곡차곡 쌓여서, 나중에 소중한 자산이 될 것이라 믿고, 오늘도 계속해서 3차 분석 모델링 과정을 포스팅 해보겠습니다. 지난 시간에는 어느 정도 완성된 전처리~분석의 틀 안에서 데이터를 [서울 -> 전국] 범위로 확장하였는데요. 진행에 앞서, 지난 시간에 소개하지 못 했던, Python Script 함수를 이용하여 Brightics 내장 함수들과 Python을 동시에 사용할때, 약간이나마 도움이 될 팁을 전하도록 ..
개발하다/삼성SDS Brightics 서포터즈 1기 2020. 11. 1. 00:25

Brightics 서포터즈 개인 미션, 분석 프로젝트 분석 모델링 및 전처리 과정

3차 전처리 과정에서 진행한 것은, 도로명 우편번호를 기준으로 분류하기 위한 전처리 및 프랜차이즈 카페를 분류하는 Column을 추가하는 작업이었습니다. 도로명 우편번호가 포함되지 않은 약 9%의 Row를 모두 제거하고, Python Script 함수를 사용하여 프랜차이즈 카페 평판 순위 30위 권에 들어있는 카페를 1, 그렇지 않은 카페를 0으로 분류하였는데요. 오늘은 한단계 더 나아가서, 도로명 우편번호를 기준으로 그룹핑 하도록 하겠습니다. 일정상 데이터 모델링 단계에 진입해야 하나, 생각보다 전처리 작업에 시간이 많이 소요되어, 전처리 과정을 조금 더 진행하면서 병행할 예정에 있습니다. 그룹핑에는 어떤 방법이 효율적일지 여러가지로 고민을 해보았는데요. Brightics에 내장된 함수를 사용하여 작업..
개발하다/삼성SDS Brightics 서포터즈 1기 2020. 10. 6. 02:29

Brightics 서포터즈 개인 미션, 분석 프로젝트 데이터 전처리 과정 - 3

어느새 명절 연휴를 앞두고, 세 번째 전처리 시간이 되었습니다. 지난 두 번째 전처리 시간에선 주소를 기준으로 여러 지역을 나누어보았는데요. 검토 중 한 가지 문제점을 발견하게 되었습니다. '동'을 중심으로 나누게 될 경우 지나치게 세분화 된다는 것이 문제였는데요. '동'으로 구분된 행정구역은 생각보다 넓습니다. 현재 국내 행정동 구분은 약 2,104개입니다. 즉, 같은 동에 위치한 카페라고 해도, 서로간에 영향을 줄 수 없을 정도로 멀리 떨어져있을 가능성이 크다는 것인데요. 따라서 조금 더 세분화된 지역 구분을 위해서, 도로명 우편번호 데이터를 활용하기로 결정하였습니다. 우체국에 따르면, 현재 국내 도로명주소에 부여된 도로명 우편번호는 34,349개라고 합니다. 행정동 구분보다 약 16배 가량 많은 수..
개발하다/삼성SDS Brightics 서포터즈 1기 2020. 9. 29. 23:53

Brightics 서포터즈 개인 미션, 분석 프로젝트 데이터 전처리 과정 - 2

지난 1차 데이터 전처리 시간에 이어서, 데이터 전처리 과정 두번째 포스팅입니다. 지난 시간에는 데이터를 가져와 카페에 해당하는 Row만 추출한 후, 폐업년도와 프랜차이즈 유무 Column을 추가하는 부분까지 진행했었는데요. 오늘은 여기서 조금 더 나아가보도록 하겠습니다! Profile Table 함수를 사용하면 좀 더 디테일한 Overview가 가능한데요. 함수 결과창에서 전체 Missing값이 4.6%가 존재하는 것을 볼 수 있습니다. 또한, 전체 26112개의 데이터 중에서 폐업일자는 13771개가 존재하는 것으로 보아, 약 절반 가량의 업체가 폐업하였음을 확인할 수 있습니다. 이어서 Select Columns 함수를 사용해, 앞으로 분석에 필요한 Column만 추려낸 후, 'OO시 OO구 OO동 ..
개발하다/삼성SDS Brightics 서포터즈 1기 2020. 9. 22. 23:22

Brightics 서포터즈 개인 미션, 분석 프로젝트 데이터 전처리 과정 - 1

지난 Brightics 서포터즈 1기 개인 미션 주제 선정 포스팅에 이어서, 오늘은 1차 데이터 전처리 시간입니다!저는 지난 포스팅에서 지방행정 인허가 데이터를 통해 '카페'를 중심으로 분석을 시도하고자 했는데요.지역별로 다양한 상권 데이터를 담은 '지방행정 인허가 데이터'를 통해 카페의 폐업에 미치는 여러 요인에 대해 분석하고자 했습니다. 오늘은 본격적인 데이터 분석에 앞서, 데이터 수집 및 전처리 과정에 대해 포스팅 해보도록 하겠습니다. http://www.localdata.kr/ 에서 본 데이터를 이용할 수 있는데요. 각 데이터는 업종별(업종 그룹별), 지역별로 나눠서 받을 수 있고, XML과 EXCEL 두 Type으로 다운이 가능합니다. 아쉽게도 CSV 형태로 다운로드가 되지 않아 따로 변환 작업..
개발하다/삼성SDS Brightics 서포터즈 1기 2020. 9. 15. 20:53

Brightics 서포터즈 개인 미션, 분석 프로젝트 주제 선정 및 계획서 제출 후기

벌써 코로나 바이러스가 우리를 괴롭힌지도 몇 달이 지났습니다. 아직도 잦아들지 않는 코로나 사태는 다방면으로 많은 피해를 끼치고 있는데요. Brightics 서포터즈 또한, 코로나 바이러스 사태로 인해 일정의 상당 부분이 조정되게 되었습니다. 원래라면 팀 분석 프로젝트가 진행되고, 이후에 개인 분석 프로젝트를 수행하는 일정이었는데요. 코로나 바이러스가 잦아들지 않아, 두 프로젝트의 순서를 바꾸어 개인별로 수행 가능한 개인 분석 프로젝트를 먼저 진행 후, 사회적 거리두기 단계 격하 등 상황이 괜찮아질 경우를 고려하여 팀 프로젝트를 추후에 진행하게 되었습니다. 벌써 Brightics 서포터즈 활동을 한지도 9주차인데요. 오늘은 앞으로 10~18주차 동안 진행할 개인 분석 프로젝트 주제를 정하고, 계획서를 제..
개발하다/삼성SDS Brightics 서포터즈 1기 2020. 9. 8. 19:19

Brightics 서포터즈 팀 미션, UCC 제작 - 영상 촬영 후기

"데이터참쉽조"의 팀원 분들과 함께 머리를 굴려 기획서를 제출한게 엊그제 같은데, 벌써 촬영 날짜가 다가왔습니다.원래대로라면 5인의 모든 팀원이 함께 모여서 회의를 진행하고, 촬영과 편집을 진행 했겠지만, 아쉽게도 코로나 바이러스 확산세가 가시지 않아, 최대한 방역지침을 준수한 상태에서 필수 인원만 모여 촬영을 진행했습니다. 저는 영상 촬영을 담당하였고, 팀원 두 분께서는 연기 배역을 맡아주셨으며,다른 팀원 두 분께서는 영상 편집을 담당해주셨습니다. 이번 촬영을 위해 대관한 파티룸입니다.팀원 분께서 정말 적절한 장소를 잘 섭외해주셔서, 멋진 분위기 속에 촬영을 마칠 수 있었는데요.가정집을 배경으로 한 UCC인 만큼, 일반적인 회의실이나 팀플실 분위기가 아닌, 내 방 같은 자연스러운 분위기가 참 좋았습니다..
개발하다/삼성SDS Brightics 서포터즈 1기 2020. 8. 31. 23:12

Brightics로 쉽고 간단하게 상관관계 분석하기 - 음주량과 흡연량, 스트레스는 상관관계가 있을까?

안녕하세요! 오늘은 Brightics Tutorial 문서의 상관관계 파트를 학습한 내용을 바탕으로 하여, 재미있는 분석을 시도하려 합니다.그 전에, 한 가지 살펴볼 것이 있습니다. 스트레스, 말로만 들어도 부정적인 느낌이 팍팍오는 단어입니다. 스트레스는 만병의 근원이자, 악의 근원으로 취급 되곤 합니다. 특히 급격한 산업화, 정보화 등으로 현대인들의 스트레스 지수는 극에 달해 있으며, 이를 적절히 해소해주지 않으면 신체적, 정신적 건강에 큰 악영향을 미칠 수 있다고 하는 데요. 여러분은 평소에 어떤 방식으로 스트레스를 해소하시나요? 건전하게 취미 생활을 즐기며 스트레스를 해소하고, 본인의 창의력과 창조성을 발휘하는 분들이 있는가하면, 여가 시간을 내기가 힘들어 단시간에 빠르게 스트레스를 해소하려 하는 ..
개발하다/삼성SDS Brightics 서포터즈 1기 2020. 8. 11. 00:26

Brightics와 함께하는 시계열 데이터 전처리 및 시각화 실습(with 국내 수혈용 혈액 보유량 통계)

안녕하세요! 지난 Tutorial 실습에 이어서, 오늘은 KOSIS 국가통계포털에서 실제로 제공하는 데이터 중 하나를 가지고 와서, Tutorial의 주제에 맞춰 실습을 해보도록 하겠습니다. 최근 COVID-19 바이러스 유행의 여파로 인해, 국내 수혈용 혈액 공급에 차질이 생기는 등 문제가 많았다고 합니다. 실제로 국내 수혈용 혈액 보유량은 청소년 및 대학생들의 방학 시즌에 상당한 영향을 받는다고 하는 데요. 오늘은 시계열 데이터 전처리 및 분석을 주제로, KOSIS 국가통계포털의 제공 데이터 중 대한 적십자사의 '혈액정보통계:수혈용 혈액 보유 추이' 데이터를 사용하여 실습을 진행하도록 하겠습니다. [통계자료 링크] 데이터는 2015년부터 2019년까지, 총 5년의 데이터를 사용하도록 하겠습니다. 통계..
개발하다/삼성SDS Brightics 서포터즈 1기 2020. 8. 4. 03:07

빠르고 효율적인 Brightics 학습법 - 튜토리얼을 통해 데이터 샘플링 실습하기

안녕하세요! 오늘은 삼성 Brightics AI 서비스를 빠르고 효과적으로 배울 수 있는, Brightics Tutorial Document 브라이틱스 튜토리얼을 소개드리려고 합니다. 먼저 간단히 튜토리얼에 대해 살펴본 후, Brightics를 통해 데이터를 업로드하고, 업로드한 데이터를 효율적으로 활용하기 위한 데이터 샘플링을 실습해보도록 하겠습니다. Brightics 튜토리얼은 삼성SDS Brightics AI 웹사이트의 상단 메뉴 중, Documentation 메뉴로 들어가시면 쉽게 찾아볼 수 있습니다. 튜토리얼 페이지로 들어가시면, 위와 같은 화면을 만나보실 수 있는데요. 이때 중요한 점이 있습니다! Brightics 튜토리얼 문서를 보기 위해선 좌측 상단과 같이, 버전(2020. 07. 28 기..
개발하다/삼성SDS Brightics 서포터즈 1기 2020. 7. 28. 23:39

Brightics 실습 - Reports 기능을 활용한 Titanic 생존자 리포트 만들기

오늘은 삼성 SDS의 분석 플랫폼, Brightics Studio의 Reports(리포트) 기능을 활용하여, Titanic 데이터의 생존자 리포트를 간단히 만들어보도록 하겠습니다. Brightics의 Reports란, 말 그대로 Brightics 플랫폼에서 바로 리포트를 만들고, PDF 등 파일 형태로 내보내거나, 직접 웹에서 공유할 수 있는 기능을 의미합니다. Reports 기능은 Brightics Studio 메인 페이지에서 Models 메뉴 바로 옆에 있습니다. 새로운 Report를 생성하는 것은 Model을 생성하는 것과 유사합니다. New 버튼을 눌러 새롭게 Report를 생성해줍니다. 저는 Titanic Report라는 이름으로 새롭게 리포트를 생성하도록 하겠습니다. 새롭게 리포트를 생성하면 ..
개발하다/삼성SDS Brightics 서포터즈 1기 2020. 7. 21. 13:39

Brightics Studio 설치부터 기술통계량 분석, 시각화까지(For Mac)

오늘은 삼성 SDS의 Brightics Studio 설치와 기본 사용법에 대해 알아보도록 하겠습니다.지난 시간에는 Brightics AI 서비스의 Trial 버전을 이용하여, 간단한 사용법을 알아보았는데요, 그렇다면 Brightics AI와 Studio의 차이는 무엇일까요? Brightics Studio는 Brightics AI의 오픈소스 버전으로, 무료로 제공되고 있습니다.Brightics는 Studio 외에도 더 많은 기능을 제공하는 버전이 존재하는데요.Brightics Enterprise 플랜은 분산처리, 인메모리 기술, R과 Python 등의 모든 기술이 포함된 분석툴이며, 여기서 분산처리 및 인메모리 기술이 제외된 것이 Brightics Standard 플랜, 그리고 협업 기능과 관리자 기능이 ..
개발하다/삼성SDS Brightics 서포터즈 1기 2020. 7. 12. 22:48

삼성 SDS의 통합 AI 플랫폼, Brightics AI Trial 체험기 (with Iris 데이터)

2020년 삼성 SDS의 Brightics 서포터즈 1기로 선발되어, 앞으로 Brightics에 대해 다양한 포스팅을 할 예정입니다!부족하지만, 질 높은 포스팅이 될 수 있도록 많은 노력을 기울여보려 합니다 :) 데이터 사이언스, 머신러닝, 딥러닝 등, Data에 대한 지식과 더불어, 데이터를 다루고 활용할 수 있는 능력에 대한 필요성이 날로 커져가고 있습니다.워낙 유망하고 흥미로운 분야인 탓에, 관련 진로를 택하는 학생들 역시 많아지고 있다고 하는데요. 사실 이와 관련된 진로로 나아가거나, 학업을 이어나갈 분들이 아니더라도 데이터를 다루는 능력을 키우는 것은 굉장히 중요합니다. 이미 많은 대학들이 신입생 필수 교육과정으로 프로그래밍, 통계 관련 과목을 추가하거나, 관련 학과를 개설하는 등 구성원의 능력..
개발하다/삼성SDS Brightics 서포터즈 1기 2020. 7. 12. 20:19