분류 (30) 썸네일형 리스트형 Generative Models (pixel rnn/cnn, VAE, GAN) Generative 모델의 큰 분류 Generative models Explicit densityImplicit densityTractable densityApproximate densityMarkov chainDirectFully Visible Belief Nets- NADE-MADEPixel RNN/CNNchange of variables models (nonlinear ICA)Vriational Markov chainGSNGANVariational Autoencoder (VAE)Boltzmann Machine Genrative model's GOAL : 비지도 학습의 일종으로, 동일한 분포에서 새로운 샘플들을 생성해 내는 것. Explicit density : 데이터의 분포에 대한 정보 필요. p.. Shortened LLaMA [ 사전 개념 ]* Width Pruning :어텐션 헤드의 개수를 줄이는 방법들처럼, 레이어의 개수는 유지하되 projection weight matrices size를 줄이는 방법 batch size가 제한된 생황에서 width pruning 방식은 inference speed를 향상시키는 데에 전혀 도움이 되지 않았다. * Depth Pruning : weights의 사이즈는 유지하되, layers or blocks의 개수를 줄이는 방법 상대적으로 크고 거칠게 pruning하는 방법이라 width pruning보다 덜 효율적일거라고 생각하지만, simple depth pruning과 LoRA 방식이 혼용된 방법이 zero-shot에서 최근 연구들과 경쟁할만한 결과를 보임. 게다가, depth-pru.. Neural Net Regression : 1805년도에 나온 개념. [뇌 과학] 생물학적 뉴론들이 저마다 생김새가 다름 -> 뉴론의 종류가 다르다. 뇌 신호가 linear하지 않음 모델링의 첫 번째 내용 : 실제 복잡한 현실의 세상을 바로 표현할 수 없다. 고로, 단순화 하자.(no-free lunch ) 여러 뉴론이 합쳐져서 다음 뉴론으로 전달됨. 하나로 합쳐진 값 (자극) 이 일정이상 넘어가면 행동하고, 그렇지 않으면 행동하지 않는다. (역치) 10이 합쳐 졌어도, 10이 전달되는 것은 아니다. -> w (전달되는 특성) (x란 자극을 받았을 때, w를 곱한 만큼 전달된다.) 저마다 역치가 다르다. -> 자기가 가지는 고유한 bias -> b 0보다 크면 1, 0보다 작으면 0으로 classification도 가능하다.. 김광호 대표님 - 음성처리 (3) 메일 주소 : kwangho.kim@voiceprint.kr (강의 들은 학생임을 밝히기) 음성인식 - 시계열 data [voice 연구] - 화자인식 - 음성인식 - 음성합성 (네오피엔스) + 노래 (보컬) (magenta, ...) [sound 연구] - 음악(악기소리) - 그 외 사운드 (ex. 지하철 소리, 강아지 짖는 소리..) [음성처리 분야의 목표] - 화자 인식 (발화자가 누구인가?) - 음성 오디오 신호가 들어오면, 잡음처리(노이즈 제거) / 음성특징 추출(시계열 데이터 - 벡터의 시퀀스를 만듦). y = A * sin(2*pi*f*t + phi) A : Amplitude (진폭 크기) f : 주파수 (진동수) -> 천천히 가면 저주파, 빨리 가면 고주파 phi : 위상 (phase) -.. 데이터 수집 기초 - url, request, 개발자도구 보기 목적 : 내가 원하는 데이터를 수집하기 위함. 목표 : 지구상에 못 가져오는 데이터가 없도록 하는 것. t3q : 개발자,빅데이터 한국경제 : 포트폴리오로 쓰기 좋은 것들.. 선동우 : AI 딥러닝 류기곤 : 머신러닝 => 프로젝트 : ai 활용한소프트웨어를 만드는게 목표 데이터 수집 -- 데이터 저장/관리 --- 분석 -- 시각화 ---------------------- (R)DB(MS) SQL ORM 숙졔 : POP 을 하면 객체가 나오고, DELETE 하는 것. [url 안에 구성 요소] protocol server port file body가 무조건 있어야 하는 건 아니다. 프론트를 url / uri (서비스를 지칭) [브라우저가 헤더를 구성해서 상대방 서버로 요청 보내기] * 수정 : port .. 함수형 패러다임( recursive / comprehension / iterator / generator) 참고 paper - 라이브러리 : 함수형 프로그래밍 모듈 https://docs.python.org/ko/3/library/index.html - itertools : 효율적인 루핑을 위한 이터레이터를 만드는 함수 - functools : 고차 함수와 콜러블 객체에 대한 연산 - operator : 함수로서의 표준 연산자 - 파이썬 HOWTO - 함수형 프로그래밍 HOWTO https://docs.python.org/ko/3/howto/functional.html - 수업 자료 : Functional Programming in Python first class function = function object로 사용 higher order function -> function을 argument로 사용 / .. sqlalchemy -> ORM -- core단 orm 은 실제 데이터를 저장하고 관리하는데에는 사용하지 않을 것. -> 느림 그럼 언제 사용? -> 기능적인 부분을 개발(서비스 개발)할 때 사용하자! sqlalchemy를 사용할건데, core 단에서 어떤 일이 벌어지는지 먼저 알아야 함. Core : RDBMS 통합 관리/연결/ 필요한 부분 import - sqlalchemy 2.0 기준 import sqlalchemy from sqlalchemy import create_engine, MetaData from sqlalchemy.schema import Table, Column, ForeignKey from sqlalchemy.types import Integer, Text from sqlalchemy.sql import Select, insert.. 함수 / * ,** / 함수 설명 보기 / 예외처리 (else, as, from, with) pythond의 function은 first class function 'first class function' ? : 객체 지향에서 object(값)를 의미함. q. 다음중 파이썬의 함수는? (1) x (2) x() (3) x(t) a. 1번. x x는 함수의 이름. def x(t): return t 괄호(call)는 선택사항 -> callable : 괄호를 붙일 수 있니? callable(x) True 괄호를 붙여서 argument로 쓴다는 것은 함수로서 사용하는 것이 아니라 return값을 활용한다는 의미. parameter : t 를 사용할 때 (2)가지 용법 - 함수를 사용할 땐, 파라미터의 개수와 argument의 개수를 맞춰야 한다. (1) positional 방식 (위치기반) x(3) 3 .. 이전 1 2 3 4 다음 목록 더보기
