본문 바로가기

빅데이터

 (12)
[Python] os.path 라이브러리 함수 os.path.abspath(path) : path의 정규화된 절대 버전을 반환. (절대경로 반환) os.path.basename(path) : path의 기본 이름을 반환. os.path.commonpath(paths) : paths의 최장 공통 하위 경로(sub-path)를 반환. os.path.commonprefix(list) : list의 최장 경로 접두사를 반환. os.path.dirname(path) : path의 디렉토리 이름을 반환. os.path.exists(path) : path가 존재할 경우 True 반환. (# 존재하나 권한이 없는 경우도 False 반환) os.path.expanduser(path) : ~, ~user가 사용자의 홈 디렉토리로 치환된 인자 반환. os.path.ex..
[DB] OLTP와 OLAP의 차이점 OLTP (Online Transaction Processing) 동시에 발생하는 다수의 트랜잭션을 실행하는 데이터 처리 시스템. 이 때의 트랜잭션을 경제 또는 재무 트랜잭션이라 말하며, 기업이 회계 또는 보고를 위해 언제든 정보에 access 가능하도록 기록 및 보호된다. OLTP는 일반적으로 데이터 스토어 내의 소규모 데이터 삽입, 업데이트 및 삭제를 통해 해당 트랜잭션을 수집, 관리 및 보호하는 작업을 포함하며, 웹, 모바일, 기업 애플리케이션은 고객, 공급업체 또는 파트너와의 모든 상호 작용, 거래를 추적한 뒤 이를 데이터베이스에 업데이트한다. 데이터베이스에 정보를 빠르고 안정적으로 저장할 수 있다. 데이터베이스에서 복잡한 쿼리를 수행하기가 어렵다. OLAP (Online Analytical Pr..
[ADP] 더 나아가 보자 앞으로 앞으로. 지난 9월 합격한 ADsP를 이어서 데이터 분석 전문가 자격증을 도전해보려고 한다. 준전문가에서 좀 더 심화되고 확장된 내용을 다루는 만큼 공부를 연결해서 하는 것이 최고라고 생각해서 바로 시험을 준비하기로 결정했고, 오늘부터 필기시험 접수가 시작되었기 때문에 바로 접수하려고 한다. 교재는 이번에도 데이터 에듀의 파란책으로 선택했다. 극악의 합격률로 유명한 탓에 조금 많이 걱정되기는 하지만 그래도 해보자는 마음으로 노력해야지! 전문성을 갖춰보자.
[ADsP] 새로운 공부를 시작해볼까요-? (완료) 성취감이 부족한 요즘.. 느슨해진 나에게 긴장감을 주기 위해 목표를 설정했다. 최종 목표는 물론 ADP 자격증! ADP를 따기 위해선 학위뿐만 아니라 경력도 필요하기 때문에 거의 유일한 선택지인 ADsP 자격을 먼저 취득하기로 했다. 곧 다가올 8월 시험을 목표로 과연 나의 행방은...? 일단 교재로 선택한 것은 바로바로.........이것! 일명 국민 이라고 불리는 이 책으로 공부를 시작해보자 화이팅! (9/23) 놀랍게도 한번에 합격했다!! 시험 중에서는 쉬운편이라는 말이 많더라도 나에겐 작은 성취감이 필요했기에 너무 감사한 일이다. 행복해ㅠㅠ Chapter 1. 데이터의 이해 라틴어 'dare'에서 유래. '주어진 것'이라는 뜻 - data는 추론과 추정의 근거를 이루는 사실이다. ..
[k-Digital] Final Project 스따뚜-! (완료) (11/19) 드디어 대망의 파이널 프로젝트가 시작했다. 이번 주제는 총 4가지로 1. Recommendation System 2. NLP 3. Computer Vision 4. 자유 주제(...) 라는 선택지가 주어졌고, 놀랍게도 나의 선택은 자유 주제이다...(스불재) 일단 하고 싶은게 생겼고, 바로 앞에 배운 강의가 추천 시스템이었기 때문에 해보자 싶은 마음이 컸다. (재미추구파) 최종 플젝인만큼 기간도 길고 최대한 배운것들을 모두 적용시켜서 처음부터 끝까지 해보는게 정리하는 관점에서 좋겠다는 생각을 했고, 개인적으로 생활고에 시달리고 있기 때문에...(?) 일하면서 플젝 진행하는 것에 다른 팀원들에게 민폐를 끼치지 않아야겠다 싶어서 개인 프로젝트로 도전한다. (역시 스불재) 미리 말하지만 난 팀 ..
[WandB] WandB 알아보기 정리 WandB(Weights & Biases) : 더 나은 모델을 빨리 만들 수 있도록 도와주는 머신러닝 Experiment tracking tool이다. [주요기능] W&B Platform 1. Experiments : 머신러닝 모델 실험을 추적하기 위한 Dashboard 제공. (모델을 학습할 때, 모델 학습 log를 추적하여 Dashboard로 시각화) 2. Artifacts : Dataset version 관리와 Model version 관리 3. Tables : Data를 Loging하여 W&B로 시각화하고 query하는 데 사용 4. Sweeps : Hyper-parameter를 자동으로 tuning하여 최적화 함 5. Reports : 실험을 document로 정리하여 collaborators와..
[Computer Vision] 01. OpenCV 정리 OpenCV API 1. 영상 파일 불러오기 cv2.imread(filename, flags=None) -> retval - filename : 불러올 영상 파일 이름 (문자열) - flags : 영상 파일 불러오기 옵션 플래그 -> cv2.IMREAD_COLOR : BGR 컬러 영상으로 읽기 (기본) [shape = (rows, cols, 3)] -> cv2.IMREAD_GRAYSCALE : 그레이스케일 영상으로 읽기 [shape = (rows, cols)] -> cv2.IMREAD_UNCHANGED : 영상 파일 속성 그대로 읽기 [shape = (rows, cols, 4)] - retval : 불러온 영상 데이터 (numpy.ndarray) 2. 영상 파일 저장하기 cv2.imwrite(filena..
[EDA] PIL(Python Imaging Library) pillow 정리 pillow module : 이미지 분석 및 처리를 위한 라이브러리. 다양한 이미지 파일 형식을 지원하고, 강력한 이미지 처리와 그래픽 기능을 제공하는 이미지 프로세싱 라이브러리의 한 종류이다. [주요기능] - pixel 단위의 조작 - 마스킹 및 투명도 제어 - 흐림, 윤곽 보정, 다듬어 윤곽 검출 등의 이미지 필터 - 선명하게, 밝기 보정, 명암 보정, 색 보정 등의 화상 조정 - 이미지에 텍스트 추가 - 기타 등등 ※ 모듈 설치는 로 하지만, import 할 때는 from PIL import Image처럼 모듈을 import 해야 한다. 1. .resize((tuple)) : 크기 변경 - Image.BICUBI : 크기 조정을 위해 출력 값에 기여할 수 있는 모든 pixel에서 "삼차 보간법"을 ..

티스토리툴바