제 10장 📒데이터 분석_Numpy-1📒

Numpy

• Numeriacal Python
• 파이썬 머신러닝 패키지인 scikit-learn에서 기본 데이터 구조로 사용되어 Numpy 배열 형태의 데이터를 사용
• 파이썬 기반 데이터 분석 환경에서 행렬 및 벡터 연산에 필요한 다양한 함수를 제공
• 메모리 소모가 많은 반복문 없이 전체 데이터 배열에 빠른 연산을 처리할 수 있는 표준 수학 함수

배열 : 동일한 특성(데이터 타입) 및 일정한 규칙을 가지는 여러 개의 요소가 나열되어 있는 데이터 집합

• 파이썬 list 객체를 사용할 때 보다 Numpy의 ndarray 객체를 사용하면 연산 속도가 개선되어 더 많은 데이터를           더 빠르게 처리

📌 라이브러리 가져오기 : numpy
      as 별칭 선언 이후에는 별칭으로 해당 라이브러리의 기능을 호출할 수 있다.
      import 라이브러리 as 별칭

🔑 import numpy as np

 

Numpy 배열 : numpy.ndarray

• 다차원 배열(1차원, 2차원, 3차원)으로 입체적인 데이터 구조를 구성하고 여러 개의 데이터 방향을 가진다.
• 배열 속성 : shape, ndim, dtype 등
• 데이터 방향 : axis = 0(행/높이), 1(열/폭), 2(채널/깊이) 사진을 집어넣을때는 img태그 를 사용합니다.

 

1. 배열 생성

• np.array(data)
  • 파이썬 list객체를 전달받아 numpy list로 교환해주는 명령어
  • 배열 속성
    • shape : 구조 (행, 열, 차원)
    • ndim : 차원
    • dtype : 데이터 타입
    • size : 요소 개수 = 행 * 열 * 차원
  • 배열 메서드
    • astype() : 데이터 타입 변환(문자를 숫자로 라던지...)
  • 파이썬 내장함수를 사용한 속성값
    • type() : 객체의 자료형 확인
    • len() : 요소 내부의 자료 길이.
  • Numpy 함수를 사용한 속성
    • reshape(row, column) : 배열 재배치(1 * 12를 3 * 4 형태로 바꾼다던지...)
  • kind : 데이터 종류에 대한 구분 기호
    • b boolean
    • i 정수(int)
    • u 부호없는 정수(unsigned int, +- 개념 없이 절대값만 존재)
    • f 실수
    • c 복소 부동소수점
    • O 객체
    • S 바이트 문자열(ascii 코드, 영문자, 일부특문, 숫자)
    • U 유니코드 문자열(한글, 중국어, 태국어, 아랍어 등 영어와 다른 문자)
  •  배열 구조 변환
     기본 배열의 요소 총 개수(6개)와 변환하려는 구조의 총 개수(6개)는 일치해야 한다.
    arr.reshape(2,3) # (2 * 3이 6이므로), reshape(행,열)

array([[1, 2, 3],
       [4, 5, 6]])

• 파이썬 2차원 리스트로 Numpy 배열 생성  🔑" [ ] 1차원, [[ ]] 2차원, [[[ ]]] 3차원" 🔑
   2차원 배열의 shape 속성은(행(row,세로축개수), 열(colum,가로축개수))만 변환
  tmp = [[1,2,3,4],
         [5,6,7,8]]
  arr = np.array(tmp)
  np_print(arr)

---

 

생성 및 초기화  🚩 arr = np."zeros,ones,full,eye,empty((_,_)) 

                                 np_print(arr) 

1. 초기값을 지정하여 데이터를 자동으로 가지는 배열을 생성
   • np.zeros()
   • np.ones()
   • np.full()
   • np.eye()
   • np.empty()

 

1-1 np.zeros(shape(모양), dtype = float)

• 지정된 구조의 배열을 생성하고 모든 요소를 0으로 초기화(zeros)  
• shape : tuple형태로 행, 열을 지정
• dtype : 배열에서 사용하는 데이터 타입을 지정,기본값은 numpy.float64

1-2. np.ones(shape(행,열),dtype = float)

• 지정된 구조의 배열을 생성하고 모든 요소를 1로(ones) 초기화.
• shape : tuple 자료로 행, 열 구조를 지정
• dtype : 배열의 데이터 타입을 지정, 기본값 = numpy.float64

1-3. np.full(shape, fill_value,dtype)

• 지정된 구조의 배열을 생성하고 모든 요소를 fill_value 값으로 초기화
• shape : tuple 자료형으로 행,열 구조를 지정
• dtype = 배열의 데이터 타입을 지정,기본값 = 들어오는 데이터의 자료형

1-4. np.eye(N, M= None,dtype=float)

• (N,M) 구조의 단위 행렬을 생성
• M : 열 개수를 지정, 기본값 = N
• dtype : 배열의 데이터 타입을 지정, 기본값 = numpy.float64

1-4. np.eye(N, M= None,dtype=float)

• (N,M) 구조의 단위 행렬을 생성
• M : 열 개수를 지정, 기본값 = N
• dtype : 배열의 데이터 타입을 지정, 기본값 = numpy.float64

---

like 함수

• 전달받은 배열과 동일한 shape으로 초기값을 설정하여 새로운 배열을 생성
  • np.zeous_like() : 초기값을 0으로 가지는 배열 생성
  • np.ones_like() : 초기값을 1로 가지는 배열 생성
  • np.full_like() : 초기값을 fill_value 값으로 가지는 배열 생성

 

---

Ⅱ. 배열 생성 및 초기화

1. 범위와 조건이 있는 데이터를 가지는 1차원 배열 생성
   • np.linspace()
   • np.arange()
   • np.logspace()

2-1. np.linspace(start, stop, num=50, endpoint=True, retstep=False, dtype=None)

• 시작값(start)부터 마지막값(stop) 사이의 범위에서 균등한 간격으로 일정 개수(num)개의 데이터를 가지는 배열 생성
• num : 데이터 개수, 기본값 = 50
• endpoint : 마지막값에 stop을 포함/제외하는 조건 지정, 기본값 = True(포함)
• retstep : True로 전달하면 (배열, 데이터 사이의 간격)의 데이터를 담은 tuple을 반환
• dtype : 배열의 데이터 타입을 지정, 기본값 = None

예시

 

- 기본값
  0이상 1이하의 범위에서 발생한 숫자 5개를 포함하는 배열

arr= np.linspace(0, 1, num=5)
np_print(arr)  

type : <class 'numpy.ndarray'>
    shape : (5,)
    ndim : 1
    dtype : float64
    array data : 
 [0.   0.25 0.5  0.75 1.  ]

- endpoint를 False로 변환

arr = np.linspace(0, 1, num=5, endpoint=False)
np_print(arr) 

 type : <class 'numpy.ndarray'>
    shape : (5,)
    ndim : 1
    dtype : float64
    array data : 
 [0.  0.2 0.4 0.6 0.8]

endpoint 를 False로 변환했기 때문에 1을 뺀 나머지 값으로 나타나기때문에

데이터 값이 다른것을 볼 수 있다.

 

2-1. np.arange(start=0, stop, step=1, dtype=None)

• 시작값(start)부터 마지막값(stop) 사이의 범위에서 지정한 간격(step)으로 일정 개수(num)개의 데이터를 가지는 배열 생성
• 파이썬 내장함수 range()와 유사
• start : 시작값, 기본값 = 0
• stop : 마지막값으로 범위에 포함되지 않음
• step : 데이터 사이의 간격, 기본값 = 1
• dtype : 배열의 데이터 타입을 지정, 기본값 = None

arange() 메서드로 생성된 배열과 shape(1, 5)인 배열은 동일해 보이지만
❌ shape 와 dimetion이 서로 다르다 ❌

예시

 shape : (4,)
    ndim : 1

shape : (1, 4)
    ndim : 2

 

Ⅱ. 배열 생성 및 초기화

1. 난수(특정한 순서나 규칙을 가지지 않는 무작위의 수)를 데이터로 가지는 배열을 생성
   • np.random.normal()
   • np.random.rand()
   • np.random.randn()
   • np.random.randint()
   • np.random.random()

3-1. np.random.normal(loc=0.0, scale=1.0, size=None)

• 정규 분포 확률 밀도에서 표본을 추출하여 데이터로 가지는 배열을 생성
• loc : 정규분포의 평균, 기본값 = 0.0
• scale : 정규분포의 표준편차, 기본값 = 1.0
• size : (행,열,차원)의 배열 구조, 기본값 = single value(배열이 아닌 하나의 값을 반환)
•  

3-2. np.random.rand(d0, d1, ..., dn)

• 지정한 shape(d0, d1...)에 따라 배열을 생성한 후 난수로 초기화
• 사용되는 난수는 0 이상 1미만의 범위에서 균등 분포로 추출

3-3. np.random.randn(d0, d1,....dn)

• 지정한 shape(d0,d1...)에 따라 배열을 생성한 후 난수로 초기화
• 사용되는 난수는 표준정규분포에서 추출된 데이터

3-4. np.random.randint(low, high=None, size=None, dtype = ' ')

• low 이상 high 미만의 범위에서 양수로 구성된 데이터를 가지고 지정한 size의 배열을 생성
• low : high 값이 지정되지 않으면 low 값이 최대값(포함하지 않음)으로 설정
• high : 최대값(포함하지 않음), 기본값 = None
• size : 배열의 구조, 기본값 = None(배열이 아닌 하나의 값으로 변환)

※ 난수 = 무작위의 숫자

• 프로그래밍에서 추출되는 난수는 무작위로 만들어진 것 처럼 보이지만 실제로는 고정된 기준(시작점)을 가지고 규칙적으로 생성
• 시작점을 설정한다면 동일한 난수를 똑같이 생성 가능
• 난수의 시작점 설정 : np.random.seed()

 

🤢오늘의 고난(difficulty)🤢 분산과 표준편차

어떤 집단간 평균이 같다고 해서 반드시 분포가 같지는 않습니다.

평균에서 어떤 요소가 얼마나 멀리 떨어져있는지를 나타내는 분산값을 구한 다음

분산에 제곱근을 씌워 표준편차화 시켜야 비로소 분포가 눈에 보입니다.

제곱근 알아보기

어떤 수를 두 번 곱하여 나오는 수에 대해 그 수가 나오도록 두 번 곱하는 수 지수 꼴로 바꾼 다음 다음 지수에서 1을 빼면서 원래 지수의 값을 곱한다.

 

68-95-99.7규칙  = 3시그마규칙이라고도 불리는데  평균에서 양쪽으로 3 표준편차 의    범위에 거의 모든 값들(99.7%)이 들어간다는 것을 나타낸다.

 

 

분산은 관측값에서 평균을 뺀 값을 제곱하고, 그것을 모두 더한 후 전체 개수로 나눠서 구한다.

즉, 차이값의 제곱의 평균이다. 관측값에서 평균을 뺀 값인 편차를 모두 더하면 0이 나오므로 제곱해서

더한다.

 

표준 편차는 분산을 제곱근한 것이다. 편차들의 제곱합에서 얻어진 값의 평균치인 분산의 성질로부터 다시

제곱근해서 원래 단위로 만들어줌으로써 얻게된다.

 

-기본값
v = np.random.normal(평균값_,표준편차_)  평균 _, 표준편차 _로 설정하고 난수 뽑기

---

 

- 정규분포 데이터로 이루어진 배열에 대한 시각화
 ✅ 평균 10, 표준편자 2인 정규분포에서 추출한 10000개의 데이터

✅ data = np.random.normal(10, 2, size = 10000)

data
 8 ~ 12 = 약 70%
 6.08 ~ 13.92 = 95%(2 * 1.96)