For Engineering

출처: https://www.youtube.com/watch?v=kyIw0nHoG9w 출처: https://www.youtube.com/watch?v=6s69XY025MU Attention 개요 RNN의 단점 Encoder의 마지막 Hidden state 벡터 정보만 넘어간다. 예를들어 '오늘은' '금요일' '입니다.'에서 마지막 '입니다.'의 hidden state vector가 넘어간다. Attention 구조 여기서 Attention 제안됨 Encoder 부분에서 생성되는 각 단어에 대한 hidden state 정보를 모두 decoder로 전달 각각의 hidden state가 5차원일 경우 3*5 행렬인 [h0, h1, h2] 로 decoder로 전달 Decoder에서 'Today is Fri..

환경 OS: Ubuntu server 22.04 GPU: 4060ti 16gb Get the Code git clone https://github.com/ggerganov/llama.cpp.git; cd llama.cpp Build 상세 내용: https://github.com/ggerganov/llama.cpp?tab=readme-ov-file#build make LLAMA_OPENBLAS=1 CLI로 로컬에 다운로드 모델 다운로드: https://huggingface.co/docs/huggingface_hub/ko/guides/download#download-from-the-cli 굵은 글씨는 수정해서 사용. huggingface-cli download yanolja/KoSOLAR-10.7B-v0.1..

ConvBlock import torch import torch.nn as nn class ConvBlock(nn.Module): def __init__(self, in_channels, out_channels, kernel_size, padding=0, stride=1): super(ConvBlock, self).__init__() self.layers = nn.Sequential( nn.Conv2d(in_channels=in_channels, out_channels=out_channels, kernel_size=kernel_size, padding=padding, stride=stride), nn.ReLU() ) def __call__(self, x): x = self.layers(x) return ..

참고자료 : https://pytorch.kr/hub/pytorch_vision_vgg/ 모델 구성 class VGG11(nn.Module): def __init__(self): super(VGG11, self).__init__() self.conv1 = nn.Sequential( nn.Conv2d(in_channels=3, out_channels=64, padding=1, kernel_size=3), nn.ReLU(), nn.MaxPool2d(kernel_size=2, padding=0, stride=2) ) self.conv2 = nn.Sequential( nn.Conv2d(in_channels=64, out_channels=128, padding=1, kernel_size=3), nn.ReLU(),..

model import torch.nn as nn class Classifier(nn.Module): def __init__(self): super(Classifier, self).__init__() self.fc1 = nn.Linear(in_features=2, out_features=16) self.fc_act1 = nn.ReLU() self.fc2 = nn.Linear(in_features=16, out_features=32) self.fc_act2 = nn.ReLU() self.fc3 = nn.Linear(in_features=32, out_features=4) def forward(self, x): x = self.fc1(x) x = self.fc_act1(x) x = self.fc2(x) x ..

환경 : colab model import torch.nn as nn class XorModel(nn.Module): def __init__(self, n1=3): super(XorModel, self).__init__() self.fc1 = nn.Linear(in_features=2, out_features=n1) self.fc_act1 = nn.Sigmoid() self.fc2 = nn.Linear(in_features=n1, out_features=1) self.fc_act2 = nn.Sigmoid() def forward(self, x): x = self.fc1(x) x = self.fc_act1(x) x = self.fc2(x) x = self.fc_act2(x) x = x.view(-1) re..

모델의 Forward, Backward 구현 import numpy as np class AffineFunction: def __init__(self): self.w = np.random.randn(2) self.b = np.random.randn() def forward(self, x): self.x = x z = np.dot(self.w, x) + self.b return z def backward(self, dJ_dz, LR): dz_dw = self.x dz_db = 1 dJ_dw = dJ_dz * dz_dw dJ_db = dJ_dz * dz_db self.w -= dJ_dw * LR self.b -= dJ_db * LR return dJ_dw class Sigmoid: def forward(se..

Model = Affine + Sigmoid BCELoss 함수로 Model w,b 업데이트 import numpy as np class AffineFunction: def __init__(self): self.w = np.random.randn(2) self.b = np.random.randn() def forward(self, x): self.x = x z = np.dot(self.w, x) + self.b return z def backward(self, dJ_dz, LR): dz_dw = self.x dz_db = 1 dJ_dw = dJ_dz * dz_dw dJ_db = dJ_dz * dz_db self.w -= dJ_dw * LR self.b -= dJ_db * LR class Sigmoid: ..

GBL 학습을 위해 파이썬으로 구현한다. 그리고 update 횟수, Learning rate, gradient(기울기) 등 변경하면서 그려지는 그래프를 보며 이해하면 도움이 된다. 변수가 하나일 경우 import numpy as np def f(x, grad): return grad * ((x)**2) def df_dx(x, grad): return 2 * grad *(x) gradient = [1/10, 1/8, 1/6] # 일반적인 기울기 gradient = [1/10, 1.1, 2] # 발산하는 케이스 ITERATIONS = 20 # 총 n번의 update를 할 것 lr = 0.3 # learning rate import matplotlib.pyplot as plt fig, axes = plt.su..

역쇄법칙을 사용하여 미분계수 구하기.(연습) 밑바닥 153p 참고 class Function1: def forward(self, x): z = x - 2 return z def backward(self, dy_dz): self.dy_dx = 1 self.dy_dx *= dy_dz # chain rule return self.dy_dx class Function2: def forward(self, z): self.y = 2*(z**2) return self.y def backward(self): return self.y * 4 class FunctionUnion: def __init__(self): print(f'f(x) = 2*(x - 2)**2\n') self.f1 = Function1() self.f..