Reader

개발하다/삼성SDS Brightics 서포터즈 1기 검색 결과

해당 글 22건

Brightics 서포터즈 팀 미션 - 분석 모델링 및 결과 정리

대망의 팀 프로젝트 과정 마지막 시간입니다. 오늘은 약 5개월 간 진행되었던 Brightics 서포터즈 활동의 마지막 포스팅이기도 한데요. 지난 시간에 1차적으로 R과 Brightics Studio를 통해 분석 모델링 잡업을 진행하였다면, 오늘은 거기에 대한 보충과 정리의 시간입니다. 지난 시간에 R에서 나온 변수들의 VIF 값, Brightics Studio에서 나온 VIF 값이 달라, 변수간 다중공선성을 파악하는 데에 약간의 문제가 있었는데요. Brightics에서는 Split을 미리 적용한 데이터에 Linear Regression 함수를 사용해 VIF 값을 도출한 것이 문제였습니다. 다행히 WorkFlow를 보며 문제를 금새 찾을 수 있었습니다! Linear Regression Train 함수에서 ..

개발하다/삼성SDS Brightics 서포터즈 1기 2020. 12. 1. 23:38

Brightics 서포터즈 팀 미션 - 분석 모델링

오늘은 팀 프로젝트 과정 2차 시간, 분석 모델링 포스팅입니다! 지난 시간에는 R 내장 데이터 중 하나인 mtcars 데이터셋을 분석 프로젝트 대상으로 선정하고, Brightics Studio로 회귀분석을 진행하는 것과 동시에 R로도 함께 진행을 하는 계획까지 세웠는데요. 오늘은 거기에 더해, 실질적인 모델링을 진행한 내용에 대한 포스팅입니다! 먼저 이번 주에 진행된 Brightics 쪽 내용은 위와 같습니다. 데이터를 정규화하고, 정규화된 Column만 추려낸 후에, 이를 Split하고 회귀분석 모델링을 진행하여 최종적으로 예측 된 값을 평가하는 과정인데요. R과 Brightics 양쪽의 모델링을 동시에 진행하면서, 서로 조금씩 함수 사용법이 다르거나, 모델링 과정이 다른 부분이 있어, 이번 주에는 최..

개발하다/삼성SDS Brightics 서포터즈 1기 2020. 11. 24. 23:56

Brightics 서포터즈 팀 미션, 주제 선정 및 데이터 확보

Brightics와 동거동락한지도 어느새 5개월 째입니다. 무더운 7월에 서툴게 Brightics Studio를 사용하던 것이 얼마 전 같은데, 어느새 패딩 점퍼 없이는 외출하기도 힘든 날씨가 되어버렸습니다. 마치 Brightics가 삶의 한 일부를 차지하는 느낌도 듭니다. 제 Blog에서도, Brightics 관련 포스팅이 무려 10%를 넘는 지분을 차지하고 있습니다. 서포터즈 활동이 끝난 후에도, 아마 Brightics를 사용하는 일이 적지 않을 것 같다는 생각이 드네요 :) 이제 드디어 활동의 막바지에 다다라, 팀 프로젝트 과정만이 남았습니다. 총 3주 동안 간단한 대외 데이터를 활용한 팀 프로젝트를 진행하게 되는데요. 짧은 기간 동안 주제 선정과 데이터 확보, 전처리, 모델링 등의 과정을 모두 진..

개발하다/삼성SDS Brightics 서포터즈 1기 2020. 11. 17. 23:42

Brightics 서포터즈 개인 미션, 분석 프로젝트 최종 결과 정리 및 레포트 작성

지난 9주 간의 여정을 마치고, 드디어 마지막 결과 정리, 레포트 작성 작업만이 남았습니다. 지난 두달 동안 제 노트북의 3000번 Local Host 포트는 항상 Brightics Studio의 차지였는데요. 매주 시간이 날 때마다 웹 브라우저에서 127.0.0.1:3000을 입력하여 들어가던 Brightics Studio를 당분간 꺼놓을 생각을 하니 무척 어색하기까지 합니다. 분석 프로젝트를 기획하던 첫 주차에만 해도, 이제 막 좀 익숙해진 느낌이 드는 Brightics로 10주 동안 분석 프로젝트를 끝낼 수 있을까 하는 걱정이 앞섰는데, 막상 프로젝트를 끝내고 나니, 다시 한번 Brightics의 위력을 실감할 수 있었습니다. 심플하고 직관적인 GUI와 더불어, 사용자의 편의성을 고려한 UI/UX ..

개발하다/삼성SDS Brightics 서포터즈 1기 2020. 11. 10. 23:53

Brightics 서포터즈 개인 미션, 분석 프로젝트 4차 분석 모델링 [최종]

지난 개인 프로젝트 EDA, 전처리, 모델링 과정을 뒤로 하고, 드디어 마지막 분석 과정 시간입니다. 다양한 분석 모델링을 시도했지만, 결국 데이터 속에서 정말 유의미한 관계를 발견하는 것에는 어려움이 있었습니다. 하지만 프로젝트를 진행하며 많은 경험을 할 수 있었고, 특히 마지막 분석 과정에서도 다양한 것들을 얻을 수 있었는데요. 복잡한 현실 세계에서, 별 세 개가 따당 찍히며, 0.6~0.8 사이의 높은 상관계수와 0.05 아래의 p-value를 얻을 수 있는 상황은 그리 흔하지 않을 것입니다. 이번 프로젝트에서 얻어낸 결과 또한, 결국 하나의 의미있는 분석 결과일 것입니다. 마지막 시간인 만큼 고생도 시행착오도 가장 많았지만, 오히려 포스팅 자체는 담백하게 진행할 수 있을 것 같습니다. 그러면, 바..

개발하다/삼성SDS Brightics 서포터즈 1기 2020. 11. 4. 00:43

Brightics 서포터즈 개인 미션, 분석 프로젝트 3차 분석 모델링 과정

좀처럼 끝날 것 같지 않던 개인 프로젝트 시간이 어느새 마무리를 바라보고 있습니다. 꽤 긴 기간이란 생각이 들었었지만, 막상 프로젝트를 진행하다보니, 생각보다 간단한 작업에도 많은 시간이 소요되었고, 기대 했던 것 만큼 결과물을 내놓지도 못한 것 같습니다. 하지만 이러한 경험들 하나하나가 모두 차곡차곡 쌓여서, 나중에 소중한 자산이 될 것이라 믿고, 오늘도 계속해서 3차 분석 모델링 과정을 포스팅 해보겠습니다. 지난 시간에는 어느 정도 완성된 전처리~분석의 틀 안에서 데이터를 [서울 -> 전국] 범위로 확장하였는데요. 진행에 앞서, 지난 시간에 소개하지 못 했던, Python Script 함수를 이용하여 Brightics 내장 함수들과 Python을 동시에 사용할때, 약간이나마 도움이 될 팁을 전하도록 ..

개발하다/삼성SDS Brightics 서포터즈 1기 2020. 11. 1. 00:25

Brightics 서포터즈 개인 미션, 분석 프로젝트 2차 분석 모델링 과정

안녕하세요! 2차 분석 모델링 과정에 진입하게 되었습니다. 벌써 개인 프로젝트 과정도 3주 밖에 남지 않았는데요. 다음 16, 17, 18주차까지 진행하면 개인 분석 프로젝트는 모두 마무리되게 될 것 같습니다. 아쉽게도 지난 주부터 시험기간이 시작되어, 프로젝트에 많은 시간을 할애하지 못 하고 있는데요. 그래도 조금씩 시간을 내어 프로젝트를 진행하고 있어, 약간씩이나마 진전이 있는 것 같습니다.또한, 기존에 사용하던 지방행정 인허가 데이터(Local Data)에서 조금 달라진 부분을 발견했습니다. 위와 같이, 과거에는 지방행정 인허가 데이터에서 XML, EXCEL 파일만 다운받을 수 있어서 약간의 불편함이 있었습니다. 과거 데이터 전처리 초기때, 이러한 파일 로드 문제를 겪게 되어, 이를 해결하는 과정을..

개발하다/삼성SDS Brightics 서포터즈 1기 2020. 10. 20. 21:32

Brightics 서포터즈 개인 미션, 분석 프로젝트 1차 분석 모델링 과정

안녕하세요! 지난 시간에는 분석 모델링 전, 전처리 과정까지 진행한 채 포스팅을 마쳤습니다.따라서 오늘부터는 본격적인 분석 모델링 과정을 진행하려고 합니다. 본 프로젝트는 당초 기획 했던 것과 같이, 상권 특성이 카페의 폐업에 미치는 영향, 그 중에서도 대기업 프랜차이즈 카페가 개인 사업자의 카페의 폐업에 미치는 영향에 대해 알아보고자 했습니다.따라서, 주변 상권에 얼마나 많은 대기업 프랜차이즈 카페가 존재하느냐에 대한 데이터, 카페의 폐업에 대한 데이터 등이 필요하였고, 지방행정 인허가 데이터를 통해 소스로 활용하여 전처리 작업을 진행해왔습니다. 오늘은 실질적인 상관관계 분석을 적용하여, 간단하게 데이터 모델링을 진행해보려 합니다. 그럼 그 전에, 잠시 지난 전처리 과정에서 미처 마무리하지 못 했던 이..

개발하다/삼성SDS Brightics 서포터즈 1기 2020. 10. 13. 22:08

Brightics 서포터즈 개인 미션, 분석 프로젝트 분석 모델링 및 전처리 과정

3차 전처리 과정에서 진행한 것은, 도로명 우편번호를 기준으로 분류하기 위한 전처리 및 프랜차이즈 카페를 분류하는 Column을 추가하는 작업이었습니다. 도로명 우편번호가 포함되지 않은 약 9%의 Row를 모두 제거하고, Python Script 함수를 사용하여 프랜차이즈 카페 평판 순위 30위 권에 들어있는 카페를 1, 그렇지 않은 카페를 0으로 분류하였는데요. 오늘은 한단계 더 나아가서, 도로명 우편번호를 기준으로 그룹핑 하도록 하겠습니다. 일정상 데이터 모델링 단계에 진입해야 하나, 생각보다 전처리 작업에 시간이 많이 소요되어, 전처리 과정을 조금 더 진행하면서 병행할 예정에 있습니다. 그룹핑에는 어떤 방법이 효율적일지 여러가지로 고민을 해보았는데요. Brightics에 내장된 함수를 사용하여 작업..

개발하다/삼성SDS Brightics 서포터즈 1기 2020. 10. 6. 02:29

Brightics 서포터즈 개인 미션, 분석 프로젝트 데이터 전처리 과정 - 3

어느새 명절 연휴를 앞두고, 세 번째 전처리 시간이 되었습니다. 지난 두 번째 전처리 시간에선 주소를 기준으로 여러 지역을 나누어보았는데요. 검토 중 한 가지 문제점을 발견하게 되었습니다. '동'을 중심으로 나누게 될 경우 지나치게 세분화 된다는 것이 문제였는데요. '동'으로 구분된 행정구역은 생각보다 넓습니다. 현재 국내 행정동 구분은 약 2,104개입니다. 즉, 같은 동에 위치한 카페라고 해도, 서로간에 영향을 줄 수 없을 정도로 멀리 떨어져있을 가능성이 크다는 것인데요. 따라서 조금 더 세분화된 지역 구분을 위해서, 도로명 우편번호 데이터를 활용하기로 결정하였습니다. 우체국에 따르면, 현재 국내 도로명주소에 부여된 도로명 우편번호는 34,349개라고 합니다. 행정동 구분보다 약 16배 가량 많은 수..

개발하다/삼성SDS Brightics 서포터즈 1기 2020. 9. 29. 23:53

Brightics 서포터즈 개인 미션, 분석 프로젝트 데이터 전처리 과정 - 2

지난 1차 데이터 전처리 시간에 이어서, 데이터 전처리 과정 두번째 포스팅입니다. 지난 시간에는 데이터를 가져와 카페에 해당하는 Row만 추출한 후, 폐업년도와 프랜차이즈 유무 Column을 추가하는 부분까지 진행했었는데요. 오늘은 여기서 조금 더 나아가보도록 하겠습니다! Profile Table 함수를 사용하면 좀 더 디테일한 Overview가 가능한데요. 함수 결과창에서 전체 Missing값이 4.6%가 존재하는 것을 볼 수 있습니다. 또한, 전체 26112개의 데이터 중에서 폐업일자는 13771개가 존재하는 것으로 보아, 약 절반 가량의 업체가 폐업하였음을 확인할 수 있습니다. 이어서 Select Columns 함수를 사용해, 앞으로 분석에 필요한 Column만 추려낸 후, 'OO시 OO구 OO동 ..

개발하다/삼성SDS Brightics 서포터즈 1기 2020. 9. 22. 23:22

Brightics 서포터즈 개인 미션, 분석 프로젝트 데이터 전처리 과정 - 1

지난 Brightics 서포터즈 1기 개인 미션 주제 선정 포스팅에 이어서, 오늘은 1차 데이터 전처리 시간입니다!저는 지난 포스팅에서 지방행정 인허가 데이터를 통해 '카페'를 중심으로 분석을 시도하고자 했는데요.지역별로 다양한 상권 데이터를 담은 '지방행정 인허가 데이터'를 통해 카페의 폐업에 미치는 여러 요인에 대해 분석하고자 했습니다. 오늘은 본격적인 데이터 분석에 앞서, 데이터 수집 및 전처리 과정에 대해 포스팅 해보도록 하겠습니다. http://www.localdata.kr/ 에서 본 데이터를 이용할 수 있는데요. 각 데이터는 업종별(업종 그룹별), 지역별로 나눠서 받을 수 있고, XML과 EXCEL 두 Type으로 다운이 가능합니다. 아쉽게도 CSV 형태로 다운로드가 되지 않아 따로 변환 작업..

개발하다/삼성SDS Brightics 서포터즈 1기 2020. 9. 15. 20:53

Brightics 서포터즈 개인 미션, 분석 프로젝트 주제 선정 및 계획서 제출 후기

벌써 코로나 바이러스가 우리를 괴롭힌지도 몇 달이 지났습니다. 아직도 잦아들지 않는 코로나 사태는 다방면으로 많은 피해를 끼치고 있는데요. Brightics 서포터즈 또한, 코로나 바이러스 사태로 인해 일정의 상당 부분이 조정되게 되었습니다. 원래라면 팀 분석 프로젝트가 진행되고, 이후에 개인 분석 프로젝트를 수행하는 일정이었는데요. 코로나 바이러스가 잦아들지 않아, 두 프로젝트의 순서를 바꾸어 개인별로 수행 가능한 개인 분석 프로젝트를 먼저 진행 후, 사회적 거리두기 단계 격하 등 상황이 괜찮아질 경우를 고려하여 팀 프로젝트를 추후에 진행하게 되었습니다. 벌써 Brightics 서포터즈 활동을 한지도 9주차인데요. 오늘은 앞으로 10~18주차 동안 진행할 개인 분석 프로젝트 주제를 정하고, 계획서를 제..

개발하다/삼성SDS Brightics 서포터즈 1기 2020. 9. 8. 19:19

Brightics 서포터즈 팀 미션, UCC 제작 - 영상 촬영 후기

"데이터참쉽조"의 팀원 분들과 함께 머리를 굴려 기획서를 제출한게 엊그제 같은데, 벌써 촬영 날짜가 다가왔습니다.원래대로라면 5인의 모든 팀원이 함께 모여서 회의를 진행하고, 촬영과 편집을 진행 했겠지만, 아쉽게도 코로나 바이러스 확산세가 가시지 않아, 최대한 방역지침을 준수한 상태에서 필수 인원만 모여 촬영을 진행했습니다. 저는 영상 촬영을 담당하였고, 팀원 두 분께서는 연기 배역을 맡아주셨으며,다른 팀원 두 분께서는 영상 편집을 담당해주셨습니다. 이번 촬영을 위해 대관한 파티룸입니다.팀원 분께서 정말 적절한 장소를 잘 섭외해주셔서, 멋진 분위기 속에 촬영을 마칠 수 있었는데요.가정집을 배경으로 한 UCC인 만큼, 일반적인 회의실이나 팀플실 분위기가 아닌, 내 방 같은 자연스러운 분위기가 참 좋았습니다..

개발하다/삼성SDS Brightics 서포터즈 1기 2020. 8. 31. 23:12

Brightics 서포터즈 팀 미션, UCC 제작 중간 점검!

한 동안 Brightics 서포터즈와 관련한 포스팅이 뜸했습니다. 지금 Brightics 서포터즈 1기, 모든 서포터즈들이 바쁘게 머리를 굴리고 있습니다. 바로 팀 미션을 수행하고 있기 때문인데요!총 5개의 카테고리로 구성된 Brightics 서포터즈 1기의 8월 미션은 바로 "Brightics 홍보 UCC 기획 및 제작 팀 미션"입니다. 자유 형식으로 Brightics AI를 홍보할 수 있는 UCC를 만드는 것인데요. 안타깝게도 코로나 바이러스 확산으로 인해, 안전에 유의해야 할 필요성이 커지게 되었습니다. 얼마 전 UCC 촬영 일정이 조정되고, 팀 미션이 축소 되기도 하였는데요. Brightics 서포터즈 사무국에서도 서포터즈들의 안전에 각별히 유의하고 계신 것을 느낄 수 있었습니다. 팀 미션이 축소..

개발하다/삼성SDS Brightics 서포터즈 1기 2020. 8. 25. 22:19