NEvo는 특정 시각 뇌 영역을 가장 강하게 반응시키는 영상을 AI로 찾아내는 연구 프로젝트다. EPFL과 Johns Hopkins 연구진의 프로젝트 페이지는 이를 “Neural-Guided Evolutionary Video Synthesis”라고 설명한다. 먼저 영상에 대한 뇌 반응을 예측하는 encoding model, 일종의 digital twin을 만들고, 그 예측값을 보상으로 삼아 생성 영상을 여러 세대에 걸쳐 고른다.

과정은 진화 알고리즘에 가깝다. 영상은 subject, lighting, motion, mood 같은 “genes”로 표현되고, 한 묶음을 생성한 뒤 digital twin이 각 영상을 점수화한다. 높은 점수를 받은 후보를 섞고 바꾸며 다음 세대를 만든다. 검색 비용을 줄이기 위해 먼저 강한 still image를 찾고, 그 뒤 motion을 붙여 2초짜리 clip으로 확장하는 2단계 방식도 쓴다.

기술적으로는 시각 피질이 어떤 자극에 민감한지 더 선명하게 맵핑하려는 도구다. 프로젝트 설명에는 얼굴, 장소, 몸, motion, social scene 등 영역별로 알려진 선택성이 합성 영상과 맞물린다는 내용이 나온다. 실험자가 “이 영역은 아마 이런 것에 반응할 것”이라고 가정하고 자극을 고르는 대신, 모델이 직접 후보 공간을 탐색하게 만드는 접근이다.

댓글의 긴장은 연구 목적과 사회적 함의 사이에 있었다. 일부는 social media가 이미 사용자를 붙잡는 영상을 고르는 데 능숙한데, 생성 모델까지 결합하면 visual superstimulus를 자동 탐색하는 방향으로 갈 수 있다고 우려했다. 다른 쪽에서는 논문을 먼저 읽어야 한다며, 이 연구가 뇌 기능을 덜 편향적으로 이해하기 위한 도구라는 점을 짚었다. 두 시각 모두 같은 핵심을 가리킨다. 뇌 반응을 최적화하는 모델은 실험실 안에서는 정밀한 측정 도구이고, 밖에서는 강한 설계 유혹이 된다.

HN discussion · Source

#neuroai

뇌 영역을 가장 강하게 자극하는 AI 영상, NEvo가 던진 불편한 질문