전체 글 186

[선형대수] 전사함수와 일대일함수: ONTO and ONE-TO-ONE

출처 : www.boostcourse.org/ai251 # 선형변환(사상)의 설명이다. 전사함수 ONTO ONTO : 전사 = 전체에 사형(mapping)을 시켰다. 전체가 이미지, 함수의 값이다. 모든 공의역(codomain)이 정의역(domain)에게 최소 하나 이상의(at least) 화살을 맞아야 한다. 공의역(domain) == 치역(range) 딥러닝에서 의미 공의역 == span 2차원 -> 3차원 ONTO일 수 없다. 3차원 -> 2차원 항상 ONTO이진 않다. 디코더 역할(내용 보완 필요) 인코딩 된 2차원 벡터를 다시 3차원으로 복원하는 디코딩 과정을 생각하자. 이미지의 픽셀 전체(3차원) == 공의역(Domain) 학습된 선형변형의 의한 치역이 생성됨. (치역 == 공의역) 2차원으로..

개발/수학 2024.03.25

[선형대수] 선형변환 Linear Transformation (with Neural Networks)

출처 : www.boostcourse.org/ai251 Transformation Domain : 정의역. x가 될수 있는 수의 집합.(백터라고 생각) Co-domain : 공의역. y가 될수 있는 수의 집합.(백터라고 생각) Image : 함수의 상. 함수의 output. x에 의한 y의 값 Range : 치역. Image의 집합. 실제 y의 값 집합 그 외 함수의 특징 : x는 모두 사용되어야 하고 하나의 x에 대한 결과는 하나의 y이다. 등등 Linear Transformation(or mapping) 선형 변환(or 사상) (행렬이 아닌 선형이라고 표현하는 이유) 선형변환 𝑇 의 조건 : 𝑇(𝑐𝐮 + 𝑑𝐯) = 𝑐𝑇(𝐮) + 𝑑𝑇(𝐯) for all 𝐮, 𝐯 in the domain of 𝑇 an..

개발/수학 2024.03.24

[선형대수] 부분공간(Subspace)의 기저(Basis)와 차원(Dimension) 그리고 행렬의 계수(Rank)

출처 : www.boostcourse.org/ai251 Span and Subspace subset : 부분집합 subspace : 부분공간 = 부분집합 + 선형 결합 아래에 닫혀있다.(:= span) 닫혀있다(closed under) '곱셈에 닫혀있다' : 집합의 원소를 뽑아 곱셈을 하였을 때 결과값이 집합에 있다. '선형결합에 닫혀있다' : 선형결합을 해도 기존 벡터에 포함되어 있다.(:= span) Basis of a Subspace Basis : 기저 벡터 조건1 : Fully spans the given subspace H (Span에 포함되어 있다) 조건2 : Linearly independent (선형 독립) where 𝐻 = Span {𝐯1, 𝐯2, 𝐯3}, Span {𝐯1, 𝐯2} for..

개발/수학 2024.03.24

[Transformer] Attention, Self-Attention 설명

출처: https://www.youtube.com/watch?v=kyIw0nHoG9w 출처: https://www.youtube.com/watch?v=6s69XY025MU Attention 개요 RNN의 단점 Encoder의 마지막 Hidden state 벡터 정보만 넘어간다. 예를들어 '오늘은' '금요일' '입니다.'에서 마지막 '입니다.'의 hidden state vector가 넘어간다. Attention 구조 여기서 Attention 제안됨 Encoder 부분에서 생성되는 각 단어에 대한 hidden state 정보를 모두 decoder로 전달 각각의 hidden state가 5차원일 경우 3*5 행렬인 [h0, h1, h2] 로 decoder로 전달 Decoder에서 'Today is Fri..

개발/AI 2024.03.08

[선형대수] 선형결합, 선형독립과 선형종속

Linear Independence (Practical) Definition 방정식의 해가 없거나 하나 이상인가? 백터로 span이 확장되는가 기존 span에 포함되는가? 백터를 기존의 백터로 표현이 안되는가 가능한가? (선형 결합(linear combination)으로 표현이 되는가?) linearly independence : 선형 독립 - 해가 하나 이상 존재한다. linearly dependence : 선형 의존 - 해가 없다. (Formal) Definition trivial solution(하찮은 해) : 해가 0인 경우. (𝐴𝐱 = 𝐛) 상수 𝐛 가 0으로 이루어진 영백터인 경우. linearly independence : trivial solution 만 존재 할 경우 linearly de..

개발/수학 2024.03.07

[선형대수] 선형방정식과 선형시스템

학습 자료 : www.boostcourse.org/ai251 Scalar, Vector, and Matrix 스칼라 - 일반 숫자 Vector(백터) - 열백터를 기본으로 한다. 행백터는 열백터의 transpose 된 형태이다. Set - 순서가 없는 리스트 Matrix(행렬) - two-dimensional array of numbers Matrix Notations square matrix - 정방행렬. rows == columns rectangular matrix - 직사각형 행렬 transpose of matrix - 행/열 변환 2x3 -> 3x2 Vector/Matrix Additions and Multiplications element-wise addition A + B = B + A sca..

개발/수학 2024.03.05

[llama.cpp] quantize: 양자화 예시

환경 OS: Ubuntu server 22.04 GPU: 4060ti 16gb Get the Code git clone https://github.com/ggerganov/llama.cpp.git; cd llama.cpp Build 상세 내용: https://github.com/ggerganov/llama.cpp?tab=readme-ov-file#build make LLAMA_OPENBLAS=1 CLI로 로컬에 다운로드 모델 다운로드: https://huggingface.co/docs/huggingface_hub/ko/guides/download#download-from-the-cli 굵은 글씨는 수정해서 사용. huggingface-cli download yanolja/KoSOLAR-10.7B-v0.1..

개발/AI 2024.01.04