주요 내용

• 영상 개요: "LLMs Are Databases — So Query Them"은 트랜스포머 모델의 FFN(Feed‑Forward Network) 가중치를 그래프 데이터베이스처럼 다룰 수 있다는 아이디어를 제시한다.
• 핵심 개념 – LARQL: LARQL이라는 새로운 쿼리 언어를 정의해 모델 내부 엔티티(노드)와 관계(edge)를 조회·조작한다.
  • DESCRIBE : 엔티티 속성을 확인
  • SELECT : 특정 관계의 엣지를 선택
  • SHOW : 모델이 학습한 관계 유형을 표시
  • INFER : 프롬프트를 그래프 탐색으로 변환해 답을 도출
• 엔티티와 특성(Features): 모델 내부에 존재하는 엔티티는 토큰, 레이어, 뉴런 등이며, 각각은 특성 벡터(게이트·다운 벡터)로 표현된다.
• 관계(Relations): 엔티티 간의 연결은 FFN 가중치를 그래프의 엣지로 해석한다.
• 차원성 격차(Dimensionality Gap): 단순 특성만으로는 모델의 모든 정보를 설명할 수 없으며, 관계 정보를 포함해야 충분히 표현 가능하다.
• 그래프 탐색 기반 추론(INFER): K‑Nearest‑Neighbour 방식의 그래프 워크를 통해 기존 매트릭스 곱 연산을 대체하고, 동일한 출력 결과를 얻으며 메모리 사용량이 감소한다.
• 지식 삽입(INSERT): 새로운 사실을 그래프에 추가하고, 회귀 없이 검증한다.
• 가중치 컴파일(COMPILE): 삽입된 그래프 정보를 실제 모델 가중치(FFN)로 변환한다.
• 구현 상세: Rust 로 구현된 LARQL 엔진, Gemma 3‑4B 모델 사용, 전체 348 160개의 엣지 포함.
• 부가 자료: GitHub 레포지터리(https://github.com/chrishayuk/larql)와 Hug‑ging Face 데이터셋 링크 제공.
• 영상 메타데이터: 10,854 조회, 12 시간 전 업로드, 802 좋아요, 크리에이터 Chris Hay (구독자 26.5 K).