티스토리

NLP RL lab

검색하기

블로그 홈

NLP RL lab

uponthesky.tistory.com/m

NLP와 RL을 공부하고 있습니다

구독자: 1

방명록 방문하기

주요 글 목록

[pytorch] Batch 연산하면 값이 달라지는 이유 문제 상황 pytorch에서 텐서 연산 시 빠른 처리를 위해 batch로 연산하는 경우가 많다. 그런데 하나씩 하나씩 연산하는 것과, 배치로 한꺼번에 연산하면 결과값이 미세하게 달라지는 현상을 발견했다. 다음은 전체 코드이다. 코드 import torch from torch.nn import Linear, Module class NN(Module): def __init__(self): super().__init__() self.fc1 = Linear(64, 2) def forward(self, x): x = self.fc1(x) return x def main(): batch_size = 10 x = torch.rand((batch_size, 64)) nn = NN() # one by one l = [].. 공감수 0 댓글수 0 2023. 4. 23.
[AKG K361 리뷰] 밀폐형 헤드폰이 예쁘기까지 구매하기까지 써본 헤드폰으로는 크리에이티브 오르바나 라이브 베이어다이나믹 DT770 pro 32옴 Koss KSC75 로 그렇게 많지 않다. 연구실에서 쓸 거라서 패시브 노이즈캔슬링이 필요했고 그래서 밀폐형 중에 열심히 알아봤다. HD569, K371과 고민하다가 K361로 결정했다. HD569는 호불호가 많이 갈리는 소리라는 리뷰가 꽤 많았고, K371보다도 K361이 더 괜찮았다는 리뷰가 있어서,,, 그리고 5만원정도 더 싸서 고르게 되었다. K361은 블루투스 모델과 유선 모델이 있는데 이것도 5만원정도 싸고 유선모델이 가벼우니까 착용감이 더 좋을 거라고 생각해서 유선으로 골랐다. 블루투스 모델이었으면 배터리에 조금이라도 신경을 써야 한다는 점이 거슬릴 것 같아서 유선이 오히려 좋았다. 소리 해상력.. 공감수 0 댓글수 0 2022. 8. 31.
부동소수점 연산이 어떨 때는 맞고 어떨 때는 틀리는 이유 1.1+0.1과 1.1+0.2의 차이 사진은 파이썬 콘솔에서 실행한 모습이지만, 파이썬이 아닌 대부분의 프로그래밍 언어에서 비슷한 결과를 보인다. 이 문제의 원인은 컴퓨터 프로그래밍을 맨 처음 배울 때 알게 될 정도로 많은 사람들이 알고 있을 것이다. 원인은 컴퓨터가 소수를 저장하는 방식에 있다. 컴퓨터는 이진수의 부동소수점 방식으로 소수를 저장하기 때문에 우리가 쓰는 십진수 소수를 모두 정확히 표시할 수 없고, 어떤 값들은 근삿값으로 저장할 수밖에 없다. 하지만 사진처럼 어떤 연산은 정확히 나오고, 어떤 연산은 기대하지 않은 결과를 출력하는 모습을 보인다. 그래서 1.1+0.1==1.2은 False이고, 1.1+0.2==1.3은 True가 나오는 과정을 컴퓨터처럼 비트 단위로 계산해보면서 원인을 알아보.. 공감수 0 댓글수 0 2022. 8. 15.
[Solved] device-side assert triggered, Assertion `t >= 0 && t < n_classes` failed. 1. 에러 코드 RuntimeError: CUDA error: device-side assert triggered. For debugging consider passing CUDA_LAUNCH_BLOCKING=1. /opt/conda/conda-bld/pytorch_1656352657443/work/aten/src/ATen/native/cuda/Loss.cu:271: nll_loss_forward_reduce_cuda_kernel_2d: block: [0,0,0], thread: [0,0,0] Assertion `t >= 0 && t = 0 && t = 0 && t = 0 && t = 0 && t = 0 && t 공감수 0 댓글수 0 2022. 8. 5.
[1107] 리모컨 문제 수빈이는 TV를 보고 있다. 수빈이는 채널을 돌리려고 했지만, 버튼을 너무 세게 누르는 바람에, 일부 숫자 버튼이 고장났다. 리모컨에는 버튼이 0부터 9까지 숫자, +와 -가 있다. +를 누르면 현재 보고있는 채널에서 +1된 채널로 이동하고, -를 누르면 -1된 채널로 이동한다. 채널 0에서 -를 누른 경우에는 채널이 변하지 않고, 채널은 무한대 만큼 있다. 수빈이가 지금 이동하려고 하는 채널은 N이다. 어떤 버튼이 고장났는지 주어졌을 때, 채널 N으로 이동하기 위해서 버튼을 최소 몇 번 눌러야하는지 구하는 프로그램을 작성하시오. 수빈이가 지금 보고 있는 채널은 100번이다. 아이디어 주어진 리모컨 버튼(+, - 제외)으로 목표하는 채널 L과 가장 가까운 숫자 E로 가야 한다. 목표하는 채널의 자릿.. 공감수 0 댓글수 0 2022. 8. 4.
로지스틱 일반화, 소프트맥스 유도하기 이 글에서는 로지스틱 함수를 일반화하여 소프트맥스 함수를 유도하는 과정을 살펴봅니다. 읽기 전에 선형 회귀, 로지스틱 회귀와 소프트맥스 함수의 활용에 대해 알아야 합니다. 선형 회귀를 분류에 적용하기 우리가 아는 일반적인 선형 회귀는 다음 그림이다. 이는 독립변수가 하나일 때의 모형이다. 독립변수가 여러 개일 때의 multiple linear regression의 식은 다음과 같다. $$ \large{y={\beta}_0+{\beta}_1x_1+...+{\beta}_nx_n} $$ 이를 분류(classification)에 활용하기 위해, 간단히 \(y\)를 \(p\)로 바꿔보자. $$ \large{p={\beta}_0+{\beta}_1x_1+...+{\beta}_nx_n} $$ 이 식의 문제점은 \(p\.. 공감수 0 댓글수 3 2022. 5. 3.
02. 다중 선택 문제와 행동 가치 방법 [CH2 다중 선택] 비연합(nonassociatiive) 구조: 하나의 상황에 대해서만 행동을 학습하는 단순화된 구조. 다중 선택 문제(k-armed bandit problem) k개의 서로 다른 옵션이나 행동을 중에 한 가지를 선택하는 문제. 매 선택 후에는 보상이 주어진다. 이 보상은 행동에 따라 결정되는 정상확률분포(stationary probability distribution)로부터 얻어진다. 예를 들어, 1000번 선택할 때 주어지는 보상 총량의 기댓값을 최대화하는 것이 목표이다. 가치(value): 다중 선택 문제에서 k개의 행동 각각에 할당된, 그 행동이 선택되었을 때 기대할 수 있는 평균 보상값. $$ q_*(a)= \mathbb{E}[R_t|A_t=a] $$ \( A_t \)는 시간단계 \( t \)에서 .. 공감수 0 댓글수 0 2022. 5. 2.
PaLM: Scaling Language Modeling with Pathways 내 코멘트 2022년 4월에 구글에서 나온 따끈따끈한 거대 언어 모델 논문이다. 성능 향상을 위해 모델의 크기를 늘리는 방법이 어떤 결과를 가져오는지 알 수 있다. 또한 프롬프트를 이용한 단계적 추론으로 마치 모델이 사람처럼 생각하는 듯한 모습 또한 볼 수 있다. 실험 결과 파라미터의 개수를 늘리는 방식으로 성능을 더 높일 수 있을 것으로 예측된다. 하지만 강력한 성능의 거대 언어 모델도 한계가 있었다. 모델이 너무 많은 웹 상의 데이터를 가지고 학습했기 때문에 벤치마크 시 성능이 과장됐다는 지적도 받을 수 있다. 이 때문에 벤치마크 결과를 정당화하기 위한 챕터도 흥미롭다. 기존 논문의 4, 5장은 거대한 언어 모델을 어떻게 효율적으로 훈련했는지에 대한 최적화 방법을 논하고 있기 때문에 여기서는 필요없을.. 공감수 0 댓글수 0 2022. 4. 20.
01. 틱택토로 알아보는 강화학습 [CH1 소개] ☆ 이 글은 '단단한 강화학습(리처드 서튼, 앤드류 바르토, 옮긴이 김성우)' 책 내을 요약합니다. 틱택토 게임에서 강화학습하기 틱택토 게임은 설명하지 않아도 될 것 같다. 유저가 X로 먼저 시작하고 상대방은 늘 최선의 수는 두지 않는다고 가정하자. 그리고 무승부도 패배로 간주한다. 보드판에서 가능한 모든 경우의 수에 대해 해당 상황에서의 승리 확률 표를 가치(value)로 정의한다. 가치의 초기 값은 모두 0.5이다.(승리 확률 반반) 게임을 하는 동안 나는 가치를 변화시키며 가치가 승리 확률에 대한 정확한 추정이 필요하다. 이때 항상 최적의 선택을 하는 것이 아니라 무작위의 선택을 할 수도 있는데, 이를 탐험적(exploratory) 선택이라고 한다. 그리디 서치로 행동을 선택한다. 이때 선택 이전의.. 공감수 0 댓글수 0 2022. 4. 18.
00. 강화학습 용어 한국어 번역 정리 김성우 번역자님의 책인 '단단한 강화학습' 에서 사용된 번역을 정리한 글입니다. 신뢰 할당 메커니즘 ☆ credit assignment mechanism 단일 선택 ☆ one-armed bandit 다중 선택 ☆ k-armed bandit 행동자-비평자 구조 ☆ actor-critic architecture 정상 확률 분포 ☆ stationary probability distribution 연관 탐색 ☆ associative search 맥락적 다중 탐색 ☆ contextual bandits 공감수 0 댓글수 0 2022. 4. 18.
GPT-1, GPT-2, GPT-3 Language Model 이전 글에서 Generative Model과 Discriminative Model 각각의 방법론에 대해 알아봤다. GPT의 G는 Generative Model을 뜻한다. GPT는 Language Model을 사용한다. Language Model의 training 방법은 둘 중에 전자를 택했다. 언어 모델은 단어 시퀀스에 확률을 할당하는 일을 하는 모델을 뜻한다. 가장 보편적으로 사용되는 언어 모델은 이전 단어들이 주어졌을 때 다음 단어를 예측하도록 하는 것이다. GPT1의 핵심은 Language model의 학습 방법으로, 엄청난 데이터를 통해 뛰어난 모델을 만드는 것이 핵심이다. 또한 GPT는 순방향 언어 모델이다. 이는 이전 단어들(컨텍스트)이 주어졌을 때 다음 단어를 맞히.. 공감수 2 댓글수 0 2022. 4. 8.
Generative model, Discriminative model Generative model vs Discriminative model 분류 모델의 방법론은 크게 Generative model과 Discriminative model로 나뉜다. 각각의 방법론에 대해 알아보자. Discriminative model 어떤 입력값(input) \(x\)가 주어졌을 때, 그 결과값(label)이 \(y\)일 확률, 즉 조건부확률 $$P(y|x)$$를 알아내는 방법이다. 이 방식의 머신러닝은 아래의 방법으로 이루어진다. 특정 입력값 $x$에 대한 조건부확률분포를 만들어낸다. 조건부확률분포에 근거해서 $x$와 $y$에 대한 벡터를 만들어낸다. $x$값들에 대한 성질을 가장 잘 구분할 수 있는 구분선(decision boundary)를 만든다. 만들어진 선을 기반으로 얼마나 멀리.. 공감수 0 댓글수 0 2022. 4. 8.
ELMo 엘모는 세서미 스트리트의 캐릭터다. TV는 아닌 것 같은데 어디서 봤을까...? 그렇다! Sake L의 노동요에서 본, 핵폭발을 배경으로 하고 있는 그 캐릭터다. 이후 등장하는 임베딩 모델인 버트도 세서미 스트리트에 등장하는 캐릭터 이름을 땄다. 문맥을 반영한 워드 임베딩의 필요성 실제 문장에서는 같은 단어라도 문맥에 따라 임베딩을 다르게 해야 할 때가 많다. 이는 다의어에 대해 임베딩할 때 많이 발생한다. ‘고소하다’라는 단어는 법대로 하자는 뜻과 고소한 맛이라는 뜻을 가지고 있는데, Word2Vec과 GloVe에서는 이를 문맥에 따라 제대로 반영하지 못하고 다른 의미인데도 같게 임베딩해버린다. 같은 표기여도 다르게 임베딩할 수 있도록 문맥을 고려해서 임베딩하자는 아이디어가, 문맥을 반영한 워드 임베딩.. 공감수 0 댓글수 0 2022. 3. 12.
Word2Vec, GloVe, FastText 요약 자연어처리 바이블, 딥 러닝을 활용한 자연어 처리 wikidocs 등을 참조해서 공부하며 정리했습니다. 과거의 단어 임베딩 기술이 채택했던 아이디어와 각 알고리즘의 단점을 개선하고자 했던 방법들을 알아본다. 0. 요약 Word2Vec 이전 1990년대 초부터 널리 사용 잠재 의미 분석(latent semantic analysis, LSA), 잠재 디리클레 할당(latent dirichlet allocation, LDA) 활용 Word2Vec 단어 임베딩 열풍을 불러옴 ELMo 이전까지의 임베딩은 단어 단위 임베딩 2013년도 Mikolov et al.이 발표한 두 편의 논문에서 제안된 알고리즘의 이름 두 개 계층을 사용하는 얇은 것 : 학습 방법이 단순해서 더 많은 데이터를 활용할 수 있고 성능 향상됨... 공감수 0 댓글수 0 2022. 3. 12.
계층적 소프트맥스(Hierarchical Softmax, HS) in word2vec 계층적 소프트맥스(Hierarchical Softmax, HS)란? 기존 softmax의 계산량을 현격히 줄인, softmax에 근사시키는 방법론이다. Word2Vec에서 skip-gram방법으로 모델을 훈련시킬 때 네거티브 샘플링(negative sampling) 방법과 함께 쓰인다. 어떤 건지 알아보자. 내용은 유튜브 ChrisMcCormicAI 채널의 설명을 참조했다. 기존 소프트맥스를 Word2Vec에 적용할 때의 문제점 우리가 아는 일반적인 softmax 함수를 MNIST와 같은 간단한 데이터셋에 적용할 때는 문제가 없었다. MNIST는 주어진 그림을 0부터 9까지 분류하는 문제였으므로 output이 10개면 충분했다. 하지만 Word2Vec 훈련 시에는 output의 개수가 Vocabulary.. 공감수 1 댓글수 3 2022. 3. 11.
GPU 떼놓고 Colab과 속도 대결, i5-10210U vs Google Colab 쿨러 없는 M1 맥북에어한테도 성능으로 못 비비는 나의 LG 노트북...ㅠㅠ 구글 코랩한테도 못 비비면 내 노트북은 더이상 컴퓨터로서 의미가 없다..... 그래서 시작된 자존심 대결...! def work(st): li = [i + 1 for i in range(400)] for I, K, S in product(li, li, li): assert math.ceil((I - (K - 1)) / S) == math.floor(((I - K) / S) + 1) return 요 코드 빨리 실행하는 게 오늘의 과제. 먼저 구글 코랩의 성능을 보자. Google Colab 무료버전 약 33.8초...! i5-10210U 코멧레이크(4코어 8스레드, 1.60GHz/4.20GHz, 6M) 힘내 노트북아!!!!!!!!.. 공감수 2 댓글수 0 2022. 3. 11.
Context Free Grammar, CYK(CKY) 알고리즘 다루는 내용 문맥 자유 언어 문맥 자유 문법 촘스키 정규형 CYK 알고리즘 문맥 자유 언어(Context-Free Language, CFL) 문맥 자유 언어(Context-free language, CFL)는 문맥 자유 문법이 생성하는 형식 언어이다. (같은 문법이 다른 언어를 생성할 수도 있다.) 문맥 자유 문법(Context-Free Grammar) 문법 \( G=(N, \Sigma, R, S) \) 에서 모든 생성 규칙이 $$ A\,\to\, w $$ 의 형태이면 \(G\)를 문맥 자유 문법(Context-free grammer, CFG) 라고 한다. 이때 \( A \in N \) 이고, \( w \in (N\cup \Sigma)^{*} \) 이다. 여기서 \(N\)은 a finite set of .. 공감수 0 댓글수 2 2022. 3. 1.
오토마타 이론과 형식 언어 오토마타 이론(Automata Theory)이란? 계산 능력이 있는 추상 기계와 그 기계를 이용해서 풀 수 있는 문제들을 연구하는 컴퓨터 과학의 한 분야이다. 추상 기계를 오토마타(Automata, 복수형) 또는 오토마톤(Automatnon, 단수형) 이라고 한다. 기계는 일반적으로 유한한 상태의 집합을 갖고 있다. 유한한 개수의 상태를 가질 수 있는 기계를 유한 상태 기계(finite-state machine), 오토마톤을 유한 오토마톤(finite automaton)이라 한다. 기계는 입력에 따라 현재 상태에서 다음 상태로 전이하며 출력을 내놓는다. 이는 계산 문제를 해결할 능력과 같다. 특정한 유한 오토마톤은 어떤 사건(event)에 의해 현재 상태(current state)에서 다른 상태로 변화할.. 공감수 0 댓글수 2 2022. 3. 1.
구구조와 의존 구조 분석 이번 장에서는 구문 분석의 대략적인 분류와 이론을 다룬다. A. 구구조 구문 분석 - 규칙 기반 - 통계 기반 - 딥러닝 기반 B. 의존 구조 구문 분석 - 구구조 구문 분석과의 차이 - 의존의 종류 - 분석 방법 C. 중의성 구구조 구문 분석 구구조란 문장의 요소들이 서로 짝을 지어 구와 절을 이룸으로써 형성되는 구조이다. 분석 방법으로는 규칙 기반, 통계 기반, 딥러닝 기반 분석이 있다. 규칙 기반 구구조 구문 분석 S → NP VP VP → V NP NP → DT NP S는 Sentence, NP는 Noun Phrase, VP는 Verb Phrase, DT는 Determiner를 의미한다. 이 문법 규칙을 'John hit the ball.'이라는 문장에 적용하면 위의 그림과 같은 분석 트리를 얻을.. 공감수 0 댓글수 0 2022. 3. 1.
계산 그래프를 활용한 편미분 구하기, 역전파법 이해 0. 계산 그래프를 이용해 편미분을 구하는 방법이란? $$ z=(a+b) \cdot c|_{a=50, b=70, c=2} =240 $$ 이 식을 위의 그림처럼 계산 그래프로 표현할 수 있다. 역전파법을 이용해서 편미분을 구하면 $$ \left.\frac{\partial z}{\partial a}\right|_{a=50, b=70, c=2}=2 $$ $$ \left.\frac{\partial z}{\partial b}\right|_{a=50, b=70, c=2}=2 $$ $$ \left.\frac{\partial z}{\partial c}\right|_{a=50, b=70, c=2}=120 $$ 로 해석적으로 구한 해와 일치함을 확인할 수 있다. 왜 1부터 시작하는지, 왜 덧셈은 그냥 흐르고 곱셈은 반대쪽.. 공감수 0 댓글수 2 2022. 2. 8.
[numpy] + 연산과 += 연산의 차이점 0. 요약 import numpy as np a = np.array([1, 2]) print(id(a)) a += 1 print(id(a)) b = np.array([1, 2]) print(id(b)) b = b + 1 print(id(b)) 1906123730816 1906123730816 1906122615264 1906162448144 Process finished with exit code 0 위 코드를 실행 시 알 수 있는 것처럼, numpy 배열 연산 시 a += 1 a = a + 1 은 다르게 동작한다. 위의 코드(제자리 연산)는 변수 a의 주소를 바꾸지 않고, 아래의 코드는 a의 주소를 바꾼다. 이를 알지 못하면 함수에 매개변수로 전달 시 예상치 못한 결과를 가져올 수 있다. 1. 문제 인.. 공감수 0 댓글수 0 2022. 2. 7.
선형대수 복습 Transpose property \( (A+B)^T=A^T+B^T \) \( (AB)^T=B^TA^T \) \( (A^{-1})^T=(A^T)^{-1} \) \( A^T \) is invertable exactly when \(A\) is invertable. Transpose의 정의 : 세로줄을 가로줄로 바꾸는 행위(X) 모든 \(x\)와 \(y\)에 대해, \((Ax)^Ty=x^T(A^Ty)\)이도록 하는 \(A^T\)를 \(A\)의 transpose라고 한다.(O) Subspace의 정의 : 다음을 만족하는 벡터들의 집합을 subspace라 한다. If \(v\) and \(w\) are vectors in the subspace and \(c\) is any scalar, then (i) \(v.. 공감수 0 댓글수 0 2022. 1. 9.
[하만카돈 인피니티 CLUBZ 250] 큰 기대가 없다면 괜찮음 쿠팡에서 43000원에 샀다. 블루투스 스피커 주제에 로켓배송이 된다. 쿠팡 리뷰에 개봉된 상품이 온다는 말이 있었는데, 나한테도 개봉된 상품이 왔다! 근데 물건은 멀쩡했다. 영디비 같은 사이트들에서 이거저거 알아보고 샀는데, 10만원 이상을 지르기는 좀 그래서 요걸로 샀다. 소리는 생각보다 별로다. 틀자마자 이게 뭐지 싶었다. 가성비로 쓰고 있던 KOSS KSC75랑 너무 비교된다. 얘가 진짜 명물이라는걸 다시 느끼게 해 준다. 그래도 생긴게 예쁘고 듣다 보니 또 괜찮은것 같기도. 무엇보다 폰스피커로 못듣는 베이스를 들을 수 있어서 넘 좋다 ㅎㅎ $ sin(a) $ $$ sin(a) $$ $$ \large{sin(a)} $$ $$ \huge{sin(a)} $$ $$ \Huge{sin(a)} $$ $$ .. 공감수 0 댓글수 0 2021. 10. 10.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.