유사컴공님의 블로그

허프만 인코딩은 정보 엔트로피와 밀접하게 연결되어있다. 정보 엔트로피의 의미는 정보를 표현하는 데에 필요한 평균 '최소' 자원량이다. 여기서 자원량은 비트로 해석할 수 있다. 여기서 중요한 건 '최소' 자원량이라는 점인데, 허프만 인코딩을 활용하여 정보를 표현하면 정보들을 이론적 '최소'자원량에 가까운 비트수로 표현 가능하기 때문이다. 허프만 인코딩은 각 기호의 등장 확률에 따라 가변 길이의 비트 코드를 부여함으로써, 전체 데이터를 표현하는 데 필요한 평균 비트 수를 최소화한다. 이는 정보 이론에서 정의하는 정보 엔트로피가 의미하는 '이론적인 최소 자원량'에 가까운 실제 값을 제공하며, 따라서 허프만 인코딩을 통해 데이터 표현에 필요한 최소 자원량을 구할 수 있다. 정보 엔트로피의 수식은 다음과 같다. ..

3학년 여름방학 동안 꽤 신경을 많이 쏟았던 LG Aimers 7기 해커톤이 저번주에 끝났다! 최종적으로 예선은 818명중 23등으로 마무리하였고 본선은 6등까지 올라갔지만 마지막에는 public score기준 9등, private score 기준 14등으로 마무리하게 되었다. 사실 참여하면서 너무 즐거웠어서 끝나자마자 이 즐거웠던 기억을 바로 기록하고 깨닫게 된 교훈도 바로 복습을 하고 싶었지만 이리저리 치이다보니 이제서야 남기게 되었다... 사실 이 해커톤은 방학에 할 게 많아 참여할 생각이 없었는데 해커톤에 참여하기 전에 국내 AI분야에서 굉장히 유명하신 교수님들의 강의를 제공한다는 것이 매력적으로 다가와 참여하게 되었다. 또한 우수한 성적을 낸 참여자들에게 LG그룹 채용 연계과 두둑한(?) 상..

본 게시글의 설명자료로 사용된 사진은 김종현 저서 '컴퓨터구조론' 4장 내용을 기반으로 합니다. 본 게시글에서는 CPU의 명령어 사이클이 어떻게 마이크로명령어를 통해 구현되는지 설명하고자 한다.CPU의 동작 사이클은 기본적으로 인출 사이클, 실행사이클로 나누어진다. 말그대로 명령어 인출사이클은 현재 명령어가 어떠한 명령어인지 명령어를 인출해오는 단계이고, 실행사이클은 인출해온 명령어를 실행하는 단계이다. 이때 명령어가 간접지정방식으로 이루어진 경우 명령어 인출사이클과 실행사이클 사이에 간접사이클이 포함되게 된다. 명령어 사이클에 대한 자세한 내용은 아래 링크를 참고하길 바란다 :https://velog.io/@hyunji015/%EC%BB%B4%ED%93%A8%ED%84%B0%EA%B5%AC%EC%..

그래프 푸리에 변환은 GNN과 그래프 신호 처리에서 왜 중요할까? 이는 그래프 내 중요한 구조적 특성, 예를 들어 커뮤니티 구조, 노드 간 연결 패턴, 경계나 노이즈를 주파수 도메인에서 포착하기 위한 핵심 도구다. 전통적인 푸리에 변환처럼 신호를 주파수별로 분해함으로써, 그래프의 복잡한 패턴을 효과적으로 분석하고 활용할 수 있다. 이 과정은 스펙트럴 필터링을 통해 구체화되며, 필터링은 주파수별로 신호를 조작해 원하는 패턴을 강조하거나 억제한다. 아래에서 이 흐름을 단계별로 설명하며, GFT가 그래프의 어떤 특성을 포착하는지, 그리고 필터링이 이를 어떻게 구체화하는지 알아보자.1. 그래프 신호와 라플라시안 고유벡터의 의미- 그래프 신호 $x$그래프의 각 노드는 하나의 값(스칼라) 또는 벡터(예: 사용자 노..

원본 논문: https://arxiv.org/abs/1312.6114 Auto-Encoding Variational BayesHow can we perform efficient inference and learning in directed probabilistic models, in the presence of continuous latent variables with intractable posterior distributions, and large datasets? We introduce a stochastic variational inference and learningarxiv.org 이번 글에서는 잠재변수의 확률분포를 정규분포로 근사하여 데이터를 생성하는 변분 오토인코더(VAE)에 대해 리뷰한..

원본 논문: https://arxiv.org/pdf/1609.02907 이번 글에서는 그래프 구조 데이터를 효과적으로 처리하는 딥러닝 모델인 GCN:"Graph Convolutional Network" 을 리뷰한다. GCN은 2016년 Thomas Kipf와 Max Welling이 발표한 논문 “Semi-Supervised Classification with Graph Convolutional Networks”에서 처음 제안된 모델로 그래프에서 노드 간의 이웃 구조를 활용해 효과적으로 노드 임베딩을 학습시키고 분류 문제를 해결할 수 있다.Introduction논문의 제목에서도 드러나듯이 GCN 모델은 노드와 엣지로 구성되어있는 그래프를 기반으로 한다. GCN모델에서는 그래프에서 노드를 잘 표현하는 임베..