https://wnsx0000.github.io/blog/Efficient ML/DL, AI, CS 등에 대해 공부하고 작업한 내용을 개인적으로 정리하는 공간입니다. 2026-06-25T17:25:05+09:00 Jun-hyeok Lee https://wnsx0000.github.io/blog/ Jekyll © 2026 Jun-hyeok Lee /blog/assets/img/favicons/favicon.ico /blog/assets/img/favicons/favicon-96x96.png 2026-01-06T16:00:00+09:00 2026-01-08T21:39:16+09:00 https://wnsx0000.github.io/blog/posts/OpenVLA/ Jun-hyeok Lee

지난 번 읽어본 Efficient VLA survey 논문에 이어, 이번에는 해당 survey에서 소개하는 여러 논문 중 거의 가장 인용수가 높으면서 그 이름대로 코드와 모델이 오픈소스인 OpenVLA(PMLR 2025, 1435회 인용)라는 논문을 읽어봤다. 관련 내용을 잘 설명하고 있는 블로그 글인 옥토와 오픈VLA 심층 분석(25.12.14.)도 읽어보면 좋다. Introduction Abstract & Motivation 로봇 공학 분야에서는 오랜 시간 동안 특정 상황과 기기에 최적화된 specialist 모델을 개발해 사용해왔지만, 이런 방식은 공장 등 정형화된 환경을 벗어나 일상생활 등 비정형화된 환경에 적용되었을 때의 한계가 명확하다. 기존 robotics 관련 모델들의 주요...

2026-01-06T13:25:00+09:00 2026-01-07T22:34:06+09:00 https://wnsx0000.github.io/blog/posts/evla-survey/ Jun-hyeok Lee

지난 주에는 연구실에서 겨울방학 동안 공부하고 실험해 볼 분야를 찾아봤었다. 현재 내 관심사는 edge에서의, 또는 edge-server간 협응을 통한 efficient AI model serving이다 보니, edge에서의 효율적이고 빠른 연산이 중요한 Efficient VLA 관련 논문을 읽어보려 했다. 이에 따라 본 포스트에서는 교수님께서 제안서와 함께 공유해주신 논문들 중 하나인 A Survey on Efficient Vision-Language-Action Models의 내용을 간략히 정리한다. 해당 survey 논문은 2025년 10월 27일에 arxiv에 올라온 논문으로, 나름 최신 논문이면서 efficient VLA와 관련된 논문들을 model/training/dataset의 관점에서 여...

2025-12-15T15:33:00+09:00 2026-06-25T17:24:26+09:00 https://wnsx0000.github.io/blog/posts/totrm/ Jun-hyeok Lee

본 포스트에서는 2025년 3학년 2학기 데이터사이언스(김창훈)와 머신러닝(김창훈) 수업에서 진행한 프로젝트인 ToTRM에 대해 설명한다. 이 프로젝트는 3주 가량 혼자서 방향성을 정하고 실험하며 진행했다. 해당 프로젝트에서 TRM, ToT, FiLM 등에 대해 처음 접했고, 직접 pretraining 및 fine-tuning을 수행했다. 이 과정에서 모델 아키텍처의 각 부분에서 최선의 method가 무엇일지 결정하고, hyperparameter를 조정하며 성능을 향상시켜보는 경험을 했다. 또한 수업 마지막에 프로젝트에 대한 포스터 발표가 있어서 포스터도 제작했었는데, 당시에 그렸던 model architecture 관련 그림도 활용해서 이 포스트에 정리했다. 간단하지만 나름 재미있는 프로젝트였으며,...

2025-09-16T20:56:00+09:00 2026-01-07T13:28:36+09:00 https://wnsx0000.github.io/blog/posts/y704-rooting/ Jun-hyeok Lee

이전 글에서 다룬 llm.npu에 대한 reproducing에서 NPU utilization 등을 찍어 보려고 했는데, Snapdragon 8 elite를 탑재한 순정 기기에 대해서 snapdragon profiler를 사용했을 때 NPU/DSP 관련 항목이 뜨지 않아 성능을 구체적으로 파악하기 어렵다는 문제가 있었다. 교수님께서 NPU profiling의 경우 rooting을 해서 내부 파일을 직접 확인해봐야 한다고 하셨고, 이에 따라 Lenovo y700 4세대(이하 y704)에 대한 rooting과 profiling을 수행했다. Rooting은 교수님께서 공유해주신 포럼(XDA)에 방법이 나와있어서 이걸 참고해서 진행했다. 결과적으로 rooting 이후 setenforce로 SELinux를 해제해...

2025-09-02T16:29:00+09:00 2026-01-07T13:28:36+09:00 https://wnsx0000.github.io/blog/posts/llm-npu-reproduce/ Jun-hyeok Lee

llm.npu Reproducing NPU 활용 테스트와, 성능 확인을 위해 이전에 정리한 논문인 Fast On-device LLM Inference with NPUs의 artifact 코드로 reproducing을 시도했다. 해당 논문에서는 mobile SoC에서 NPU를 활용하여 prefill latency를 efficient하게 줄인 llm.npu를 제안한다. 제공된 artifact 코드로 llm.npu를 포함한 여러 engine에 대한 accuracy와 prefill latency를 찍어볼 수 있다. 이때 기본적으로 accuracy는 server의 A100 GPU를 활용해 측정하고, prefill latency는 Redmi K70 Pro 24G(Snapdragon 8 gen 3)에서 측정하도...