For Engineering

출처 : www.boostcourse.org/ai251 # 선형변환(사상)의 설명이다. 전사함수 ONTO ONTO : 전사 = 전체에 사형(mapping)을 시켰다. 전체가 이미지, 함수의 값이다. 모든 공의역(codomain)이 정의역(domain)에게 최소 하나 이상의(at least) 화살을 맞아야 한다. 공의역(domain) == 치역(range) 딥러닝에서 의미 공의역 == span 2차원 -> 3차원 ONTO일 수 없다. 3차원 -> 2차원 항상 ONTO이진 않다. 디코더 역할(내용 보완 필요) 인코딩 된 2차원 벡터를 다시 3차원으로 복원하는 디코딩 과정을 생각하자. 이미지의 픽셀 전체(3차원) == 공의역(Domain) 학습된 선형변형의 의한 치역이 생성됨. (치역 == 공의역) 2차원으로..

출처 : www.boostcourse.org/ai251 Transformation Domain : 정의역. x가 될수 있는 수의 집합.(백터라고 생각) Co-domain : 공의역. y가 될수 있는 수의 집합.(백터라고 생각) Image : 함수의 상. 함수의 output. x에 의한 y의 값 Range : 치역. Image의 집합. 실제 y의 값 집합 그 외 함수의 특징 : x는 모두 사용되어야 하고 하나의 x에 대한 결과는 하나의 y이다. 등등 Linear Transformation(or mapping) 선형 변환(or 사상) (행렬이 아닌 선형이라고 표현하는 이유) 선형변환 𝑇 의 조건 : 𝑇(𝑐𝐮 + 𝑑𝐯) = 𝑐𝑇(𝐮) + 𝑑𝑇(𝐯) for all 𝐮, 𝐯 in the domain of 𝑇 an..

출처 : www.boostcourse.org/ai251 Span and Subspace subset : 부분집합 subspace : 부분공간 = 부분집합 + 선형 결합 아래에 닫혀있다.(:= span) 닫혀있다(closed under) '곱셈에 닫혀있다' : 집합의 원소를 뽑아 곱셈을 하였을 때 결과값이 집합에 있다. '선형결합에 닫혀있다' : 선형결합을 해도 기존 벡터에 포함되어 있다.(:= span) Basis of a Subspace Basis : 기저 벡터 조건1 : Fully spans the given subspace H (Span에 포함되어 있다) 조건2 : Linearly independent (선형 독립) where 𝐻 = Span {𝐯1, 𝐯2, 𝐯3}, Span {𝐯1, 𝐯2} for..

출처: https://www.youtube.com/watch?v=kyIw0nHoG9w 출처: https://www.youtube.com/watch?v=6s69XY025MU Attention 개요 RNN의 단점 Encoder의 마지막 Hidden state 벡터 정보만 넘어간다. 예를들어 '오늘은' '금요일' '입니다.'에서 마지막 '입니다.'의 hidden state vector가 넘어간다. Attention 구조 여기서 Attention 제안됨 Encoder 부분에서 생성되는 각 단어에 대한 hidden state 정보를 모두 decoder로 전달 각각의 hidden state가 5차원일 경우 3*5 행렬인 [h0, h1, h2] 로 decoder로 전달 Decoder에서 'Today is Fri..

Linear Independence (Practical) Definition 방정식의 해가 없거나 하나 이상인가? 백터로 span이 확장되는가 기존 span에 포함되는가? 백터를 기존의 백터로 표현이 안되는가 가능한가? (선형 결합(linear combination)으로 표현이 되는가?) linearly independence : 선형 독립 - 해가 하나 이상 존재한다. linearly dependence : 선형 의존 - 해가 없다. (Formal) Definition trivial solution(하찮은 해) : 해가 0인 경우. (𝐴𝐱 = 𝐛) 상수 𝐛 가 0으로 이루어진 영백터인 경우. linearly independence : trivial solution 만 존재 할 경우 linearly de..

학습 자료 : www.boostcourse.org/ai251 Scalar, Vector, and Matrix 스칼라 - 일반 숫자 Vector(백터) - 열백터를 기본으로 한다. 행백터는 열백터의 transpose 된 형태이다. Set - 순서가 없는 리스트 Matrix(행렬) - two-dimensional array of numbers Matrix Notations square matrix - 정방행렬. rows == columns rectangular matrix - 직사각형 행렬 transpose of matrix - 행/열 변환 2x3 -> 3x2 Vector/Matrix Additions and Multiplications element-wise addition A + B = B + A sca..

환경 OS: Ubuntu server 22.04 GPU: 4060ti 16gb Get the Code git clone https://github.com/ggerganov/llama.cpp.git; cd llama.cpp Build 상세 내용: https://github.com/ggerganov/llama.cpp?tab=readme-ov-file#build make LLAMA_OPENBLAS=1 CLI로 로컬에 다운로드 모델 다운로드: https://huggingface.co/docs/huggingface_hub/ko/guides/download#download-from-the-cli 굵은 글씨는 수정해서 사용. huggingface-cli download yanolja/KoSOLAR-10.7B-v0.1..

nginx -> streamlit 프록시 설정. 추후 streamlit 서버를 도커로 올리고, k8s에서까지 구동 되도록... 노력할 예정... 최상단?에 있는 nginx 정방향 프록시 설정 server { listen 80; server_name llama.sample.site; # HTTP에서 HTTPS로 리다이렉션 return 301 https://$host$request_uri; } server { listen 443 ssl; server_name llama.sample.site; ssl_certificate /etc/letsencrypt/live/sample.site/fullchain.pem; ssl_certificate_key /etc/letsencrypt/sample.site/privkey...

참고글: https://zsoo.net/post/2022-05-16-proxmox-gpu-passthrough.html 공식링크 : https://pve.proxmox.com/wiki/PCI_Passthrough https://blog.quindorian.org/2018/03/building-a-2u-amd-ryzen-server-proxmox-gpu-passthrough.html/ PVE 설정 # vi /etc/default/grub # 수정. AMD경우 amd_iommu GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt pcie_acs_override=downstream,multifunction nofb video=efifb:off vga=off"..

개인 메모장... colab에서 개인 리포에 사본 저장하는건 쉽다. Organization 에 사본 저장하는건 자료가 많지 않다. 순서 : Organization - Setting - Applications - Authorized OAuth Apps