Kyung Son Park

토큰 (Token) 토큰(Token)은 LLM이 텍스트를 이해하고 생성하기 위해 문장을 잘게 분해한 최소 의미 단위다. 단어 전체가 하나의 토큰이 될 수도 있고, 단어를 더 작은 서브워드(Subword)로 쪼갠 조각일 수도 있다. LLM의 비용·속도·맥락 길이를 결정하는 핵심 요소다. Ⅰ. 토큰이란 무엇인가? 사람에게는 문장·단어가 익숙한 단위지만, LLM은 텍스트를 그대로 처리하지 않고 이를 작은 조각(토큰)으로 변환한다. 토큰은 다음과 같이 구성될 … 더 읽기

ASIC (Application-Specific Integrated Circuit) ASIC은 특정 기능을 매우 빠르고 효율적으로 수행하도록 맞춤 설계된 전용 집적회로(Special-Purpose Chip)다. 범용 처리 장치인 CPU·GPU와 달리 목적에 최적화된 구조를 사용해 압도적인 효율을 제공한다. TPU 역시 딥러닝 전용 ASIC의 대표 사례다. Ⅰ. ASIC 반도체란? ASIC(Application-Specific Integrated Circuit)은 특정 작업을 빠르고 효율적으로 처리하도록 회로를 완전히 목적 기반으로 설계한 반도체다. 불필요한 범용 기능을 … 더 읽기

벡터 DB (Vector Database) 벡터 DB(Vector Database)는 문서·문장·이미지·코드 등을 임베딩 벡터로 변환해 저장하고, 의미적 유사도(Semantic Similarity)에 기반해 가장 관련성이 높은 결과를 빠르게 검색할 수 있도록 설계된 데이터베이스이다. RAG 파이프라인에서 핵심적인 역할을 담당하며 생성형 AI의 사실성과 정확도를 높이는 데 필수적이다. Ⅰ. 개념과 특징 전통적인 데이터베이스는 키워드 기반 검색을 수행하지만, 벡터 DB는 문서의 “의미”를 벡터 공간에 표현하고 … 더 읽기

HBM (High Bandwidth Memory) HBM(High Bandwidth Memory)은 GPU·AI 가속기·HPC 서버에서 사용되는 초고대역폭·저전력 3D 적층 메모리다. 기존 GDDR·DDR 메모리보다 훨씬 높은 메모리 대역폭을 제공하며 대규모 병렬 연산·AI 학습·추론 처리에서 필수적인 차세대 고대역폭 메모리 규격이다. Ⅰ. HBM 이란? HBM은 여러 개의 DRAM 다이를 수직으로 적층(3D TSV)하여 인터포저(Interposer)를 통해 초고속으로 연결하는 메모리 기술이다. 대역폭은 높으면서 전력은 낮고, 지연시간도 … 더 읽기