StudyStudyStudyEveryday

공부하다가 알게된 평가방법론을 몇가지 끄적여본다. 먼저, 금융권에서 신용 평가 모델의 성능을 측정할 때 많이 사용하는 KS(Kolmogorov-Smirnov Statistics) 통계량이다.1. K-S 통계량1-1. K-S 통계량이란?KS(Kolmogorov-Smirnov) 지표는 모델이 양성(예: 부도 고객)과 음성(예: 정상 고객)을 얼마나 잘 구분하는지를 측정하는 통계적 지표이다.예측 점수 분포에서 양성(Positive) 그룹과 음성(Negative) 그룹의 누적 분포 차이의 최대값을 KS 값으로 정의한다.보통 신용평가, 보험사기 탐지, 고객 세분화 등에서 모델의 판별력을 평가하는 데 활용된다. 1-2. K-S 통계량 계산 방법모델의 예측 점수를 기준으로 고객을 내림차순 정렬각 고객이 실제로 부도(..

※ 2025.03 기준 정보이고, 이후 변경되었을 수 있습니다.※  참고로 저는 perplexity만 유료로 사용중입니다.. (서술하는 정보차이가 있을 수 있다는 점!)    내가 아는 것들을 정리하기 위해 작성한다.각각 홈페이지에서 찾기 너무 힘들고.. 특장점이 너무 자주 바뀌어서 시계열로 기록차 적어본다.물론 나는 사람이기 때문에 실수가 있을 수 있다. (휴먼에러) 그럼 바로 본론시작!# 1. ChatGPT, Perplexity 특징 및 장단점 비교구분ChatGPTPerplexity특징- 공감성 대화 포함 대화가 더 잘 통함- 학습된 데이터를 통해 일반적인 질의에 퀄리티있는 대답을 해줌- 타 생성형AI에 비해 창작을 잘함- 실시간 웹기반 검색- 투명한 출처 제공(ChatGPT도 있지만 Perplexi..

안녕하세요.다른 데이터관련 자격증에 비해 ADP 후기가 적은 것 같아, 조금이라도 도움이 되고자 올려봅니다.  # 1. 배경지식저는 통계학과 출신이고, 현재 데이터분석가가된지 얼마 안 된 신입 직장인입니다.ADsP는 한 3~4년 전쯤 대학교 재학 중에 취득해두어서 기억은 거의 안 나는 상태였습니다.그 사이에 Sqld나 빅분기 필기 정도 따긴 했습니다.  # 2. 시험 준비먼저, 제가 메인으로 두고 공부했던 책입니다. https://product.kyobobook.co.kr/detail/S000201458496 ADP 필기 데이터 분석 전문가 : 올패키지 | 윤종식 - 교보문고ADP 필기 데이터 분석 전문가 : 올패키지 | 본 도서는 한국데이터베이스진흥원에서 실시하고 있는 『데이터 분석 전문가(ADP)』 ..

데이터프레임에서 기존에 있는 변수를 기반으로 파생변수를 만들고 싶은데 if문이나 for문을 이용해 복잡하게 구하기 싫을 때가 있다. 그럴 때 map과 lambda를 이용하면 아주 쉽게 해결이 가능하다. import pandas as pd df = pd.DataFrame([[1, 'a'], [2, 'b'], [3, 'c']], columns=['number', 'alphabet']) df 이런 간단한 데이터프레임이 있다고 해보자. 여기서 'alphabet' 변수에 기반하여 새로운 파생변수를 만들어보겠다. dict = {'a': '사과', 'b':'바나나', 'c':'전화'} df['word'] = list(map(lambda x: dict[x], df.alphabet)) df 짠 각 a, b, c에 map..

데이터프레임을 만드는데 다음과 같은 에러가 떴다. import pandas as pd df = pd.DataFrame([1, 2, 3], ['a', 'b', 'c'], columns=['number', 'alphabet']) print(df) ValueError: Shape of passed values is (3, 1), indices imply (3, 2) 구글링 안 하고 바로바로 데이터프레임을 만들다보면 종종 발생하는 문제이다. 위 코드대로 하면 데이터프레임은 2*3 행렬로 만들어진다. 1 2 3 a b c 하지만 열 이름은 'number'와, 'alphabet' 두 가지만 입력되어 나타난 에러이다. 심지어 각 리스트를 묶어주지도 않았다. 원래 의도대로 데이터 프레임을 만드려면 3*2 행렬로 다음과..

8. 차원 축소 8-1. 차원의 저주 8-2. 차원 축소를 위한 접근 방법 8-3. PCA 8-4. 커널 PCA 8-5. LLE 8-6. 다른 차원 축소 기법 4. 커널PCA (kernel PCA, kPCA) 커널 트릭: 샘플을 매우 높은 고차원 특성 공간으로 암묵적으로 매핑하여 SVM의 비선형 분류와 회귀를 가능하게 해주는 수학적 기법 (5장 참고) 같은 기법을 PCA에 적용해 차원 축소를 위한 복잡한 비선형 투영을 할 수 있다. 이 기법은 투영된 후 샘플의 군집을 유지하거나 꼬인 매니폴드에 가까운 데이터셋을 펼칠 때도 유용하다. from sklearn.decomposition import KernelPCA rbf_pca = KernelPCA(n_components=2, kernel="rbf", gam..

아이디어를 코드로 바꾸는 구현 피지컬로 승부하기 코딩 테스트에서의 구현 (Implementation) : 머릿속에 있는 알고리즘을 소스코드로 바꾸는 과정 일반적으로 구현 유형의 문제는 '풀이를 떠올리는 것은 쉽지만 소스코드로 옮기기 어려운 문제'를 의미한다. 알고리즘은 간단한데 코드가 지나칠 만큼 길어지는 문제, 특정 소수점 자리까지 출력해야 하는 문제, 문자열이 입력으로 주어졌을 때 한 문자 단위로 끊어서 리스트에 넣어야 하는(파싱) 문제 등이 있다. 즉, 대체로 사소한 조건 설정이 많을수록 코드로 구현하기 어렵다. 완전 탐색, 시뮬레이션 유형을 구현 유형으로 묶고있다. 완전 탐색 : 모든 경우의 수를 주저 없이 다 계산하는 해결 방법 시뮬레이션 : 문제에서 제시한 알고리즘을 한 단계씩 차례대로 직접 ..

그리디 (Greedy) 그리디 알고리즘은 현재 상황에서 지금 당장 좋은 것만 선택하는 문제 해결 방법이다. 다른 말로 탐욕법이라고도 한다. 코딩 테스트에서의 그리디 ? 사전에 외우고 있지 않아도 풀 수 있을 가능성이 높은 문제 유형 정렬, 최단 경로 등의 알고리즘 유형은 이미 그 알고리즘의 사용 방법을 정확히 알고 있어야 한다. (플로이드 워셜 Floyd-Warshall / 다익스트라 Dijkstra 알고리즘) 단, 그리디 알고리즘의 문제 출제 폭이 매우 넓어 다익스트라 알고리즘을 제외하고는 단순 암기를 통해 모든 문제 해결은 어렵다. 창의력을 요구한다. 특정한 문제를 만났을 때 단순히 현재 상황에서 가장 좋아 보이는 것만 선택해도 문제를 풀 수 있는지를 파악할 수 있어야 한다. 문제에서 '가장 큰 순서..