For Engineering

[BM25] 사용 예제

영어import nltkfrom nltk.tokenize import word_tokenizefrom rank_bm25 import BM25Okapi# NLTK의 punkt 리소스를 다운로드합니다.nltk.download('punkt')# 문서 집합을 정의합니다.documents = [ "The cat sat on the mat.", "Dogs are great pets.", "Cats and dogs can be friends.", "The quick brown fox jumps over the lazy dog."]# 문서 토큰화tokenized_documents = [word_tokenize(doc.lower()) for doc in documents]# BM25 모델 초기화bm..

[KoBERT] ChromaDB 사용 예제

KoBERT 임베딩 모델을 활요한 Chromadb 사용 예시 import torchimport numpy as npfrom transformers import BertTokenizer, BertModelimport chromadbfrom chromadb.api.types import Documents, EmbeddingFunctionclass KoBERTEmbeddingFunction(EmbeddingFunction[Documents]): def __init__(self): self.tokenizer = BertTokenizer.from_pretrained('monologg/kobert') self.model = BertModel.from_pretrained('monolog..

Windwos pro 버전만 gpedit.msc 지원된다. 아래 코드를 bat 파일로 작성 후 관리자 권한 실행.@echo offpushd "%~dp0"dir /b %SystemRoot%\servicing\Packages\Microsoft-Windows-GroupPolicy-ClientExtensions-Package~3*.mum >List.txtdir /b %SystemRoot%\servicing\Packages\Microsoft-Windows-GroupPolicy-ClientTools-Package~3*.mum >>List.txtfor /f %%i in ('findstr /i . List.txt 2^>nul') do dism /online /norestart /add-package:"%SystemRo..

출처 : www.boostcourse.org/ai251 # 선형변환(사상)의 설명이다. 전사함수 ONTO ONTO : 전사 = 전체에 사형(mapping)을 시켰다. 전체가 이미지, 함수의 값이다. 모든 공의역(codomain)이 정의역(domain)에게 최소 하나 이상의(at least) 화살을 맞아야 한다. 공의역(domain) == 치역(range) 딥러닝에서 의미 공의역 == span 2차원 -> 3차원 ONTO일 수 없다. 3차원 -> 2차원 항상 ONTO이진 않다. 디코더 역할(내용 보완 필요) 인코딩 된 2차원 벡터를 다시 3차원으로 복원하는 디코딩 과정을 생각하자. 이미지의 픽셀 전체(3차원) == 공의역(Domain) 학습된 선형변형의 의한 치역이 생성됨. (치역 == 공의역) 2차원으로..

출처 : www.boostcourse.org/ai251 Transformation Domain : 정의역. x가 될수 있는 수의 집합.(백터라고 생각) Co-domain : 공의역. y가 될수 있는 수의 집합.(백터라고 생각) Image : 함수의 상. 함수의 output. x에 의한 y의 값 Range : 치역. Image의 집합. 실제 y의 값 집합 그 외 함수의 특징 : x는 모두 사용되어야 하고 하나의 x에 대한 결과는 하나의 y이다. 등등 Linear Transformation(or mapping) 선형 변환(or 사상) (행렬이 아닌 선형이라고 표현하는 이유) 선형변환 𝑇 의 조건 : 𝑇(𝑐𝐮 + 𝑑𝐯) = 𝑐𝑇(𝐮) + 𝑑𝑇(𝐯) for all 𝐮, 𝐯 in the domain of 𝑇 an..

출처 : www.boostcourse.org/ai251 Span and Subspace subset : 부분집합 subspace : 부분공간 = 부분집합 + 선형 결합 아래에 닫혀있다.(:= span) 닫혀있다(closed under) '곱셈에 닫혀있다' : 집합의 원소를 뽑아 곱셈을 하였을 때 결과값이 집합에 있다. '선형결합에 닫혀있다' : 선형결합을 해도 기존 벡터에 포함되어 있다.(:= span) Basis of a Subspace Basis : 기저 벡터 조건1 : Fully spans the given subspace H (Span에 포함되어 있다) 조건2 : Linearly independent (선형 독립) where 𝐻 = Span {𝐯1, 𝐯2, 𝐯3}, Span {𝐯1, 𝐯2} for..

출처: https://www.youtube.com/watch?v=kyIw0nHoG9w 출처: https://www.youtube.com/watch?v=6s69XY025MU Attention 개요 RNN의 단점 Encoder의 마지막 Hidden state 벡터 정보만 넘어간다. 예를들어 '오늘은' '금요일' '입니다.'에서 마지막 '입니다.'의 hidden state vector가 넘어간다. Attention 구조 여기서 Attention 제안됨 Encoder 부분에서 생성되는 각 단어에 대한 hidden state 정보를 모두 decoder로 전달 각각의 hidden state가 5차원일 경우 3*5 행렬인 [h0, h1, h2] 로 decoder로 전달 Decoder에서 'Today is Fri..

Linear Independence (Practical) Definition 방정식의 해가 없거나 하나 이상인가? 백터로 span이 확장되는가 기존 span에 포함되는가? 백터를 기존의 백터로 표현이 안되는가 가능한가? (선형 결합(linear combination)으로 표현이 되는가?) linearly independence : 선형 독립 - 해가 하나 이상 존재한다. linearly dependence : 선형 의존 - 해가 없다. (Formal) Definition trivial solution(하찮은 해) : 해가 0인 경우. (𝐴𝐱 = 𝐛) 상수 𝐛 가 0으로 이루어진 영백터인 경우. linearly independence : trivial solution 만 존재 할 경우 linearly de..

학습 자료 : www.boostcourse.org/ai251 Scalar, Vector, and Matrix 스칼라 - 일반 숫자 Vector(백터) - 열백터를 기본으로 한다. 행백터는 열백터의 transpose 된 형태이다. Set - 순서가 없는 리스트 Matrix(행렬) - two-dimensional array of numbers Matrix Notations square matrix - 정방행렬. rows == columns rectangular matrix - 직사각형 행렬 transpose of matrix - 행/열 변환 2x3 -> 3x2 Vector/Matrix Additions and Multiplications element-wise addition A + B = B + A sca..

환경 OS: Ubuntu server 22.04 GPU: 4060ti 16gb Get the Code git clone https://github.com/ggerganov/llama.cpp.git; cd llama.cpp Build 상세 내용: https://github.com/ggerganov/llama.cpp?tab=readme-ov-file#build make LLAMA_OPENBLAS=1 CLI로 로컬에 다운로드 모델 다운로드: https://huggingface.co/docs/huggingface_hub/ko/guides/download#download-from-the-cli 굵은 글씨는 수정해서 사용. huggingface-cli download yanolja/KoSOLAR-10.7B-v0.1..