MacMind, HyperCard 안에서 transformer를 손에 잡히게 만들었다

MacMind가 HN에서 주목받은 이유는 transformer를 직접 들여다볼 수 있을 만큼 작게 만들었기 때문이다. 이 project는 Apple HyperCard의 scripting language인 HyperTalk만으로 1,216-parameter, single-layer, single-head transformer를 구현한다. 작성자는 Macintosh SE/30에서 훈련했다고 설명하며, model의 모든 부분을 HyperCard script editor 안에서 읽을 수 있다고 적었다.

task는 의도적으로 좁다. Fast Fourier Transform의 시작 단계에서 쓰이는 bit-reversal permutation을 배우는 것이다. MacMind는 formula를 받지 않는다. random example을 보고 embeddings, positional encoding, scaled dot-product self-attention, cross-entropy loss, backpropagation, stochastic gradient descent를 통해 positional pattern을 학습한다. repository에는 pre-trained stack, 직접 training할 수 있는 blank stack, math를 검증하는 Python/NumPy reference implementation도 있다.

community의 에너지는 대비에서 나왔다. AI 논의 대부분은 더 큰 cluster, 더 긴 context window, 더 비싼 inference로 흘러간다. MacMind는 반대 방향으로 간다. modern scale이 거대하더라도 core training loop 자체는 magic이 아니라는 점을 보여준다. HN의 한 흐름은 old hardware가 개념을 눈앞에 놓는다는 것이었다. parameter가 1,216개뿐이면 attention map과 weight update가 infrastructure 뒤에 숨은 추상이 아니라 읽을 수 있는 대상이 된다.

그렇다고 MacMind가 tiny LLM이라는 뜻은 아니다. 이것은 language system이 아니라 structured permutation problem을 위한 teaching demo다. 가치는 작동하는 transformer를 가까이서 만질 수 있게 만드는 데 있다. HyperCard로 programming을 배운 사람들에게는 1987년 scripting environment가 오늘의 model boom을 이루는 기본 장치를 품는다는 nostalgia도 있다.

AI literacy 측면에서도 유용하다. vintage Mac에서 열고, 고치고, 저장하고, 다시 열어 inspect할 수 있다면 “attention”은 branding word가 아니라 operation들의 묶음이 된다. HN이 이 project를 단순한 retro stunt 이상으로 본 이유가 여기에 있다.

Sources: HN discussion, MacMind repository.