노션 AI 대화 일부 노출, 지금까지 밝혀진 내용

노션 AI에게 회의록 요약을 맡기거나 초안을 다듬어 달라고 한 적이 있다면 이번 공지는 한 번 읽어 둘 만합니다. 노션은 도움말 센터에 "Notice about the Fireworks AI incident that may impact some Notion workspaces"라는 제목의 안내를 올렸습니다. 노션이 쓰던 외부 AI 업체 파이어웍스(Fireworks AI)에서 보안 사고가 났고, 그 과정에서 노션 AI와 나눈 대화 기록 일부가 노출됐을 수 있다는 내용입니다.

숫자부터 보면 노션은 자체 조사 결과 전체 워크스페이스의 1% 미만이 영향을 받았을 수 있다고 밝혔습니다. 노출됐을 수 있는 것은 "unattributable" 상태의 노션 AI 채팅 기록입니다. 노션은 이 단어를 두 가지로 풀었습니다. 대화마다 누가 썼는지, 어느 워크스페이스에서 나왔는지 꼬리표가 붙어 있지 않았고, 대화 기록 안에 도구 호출 결과도 들어 있지 않았다는 것입니다. 도구 호출 결과의 예로는 노션 페이지 내용과 노션 AI가 바깥에서 가져온 데이터를 들었습니다.

그래서 노션 설명대로라면 이번에 나간 것은 사용자가 노션 AI 입력창에 직접 쓴 문장과 AI의 답 정도입니다. 워크스페이스 안의 다른 데이터는 영향이 없다고 적었습니다. 다만 대화 기록 자체에 이름, 회사명, 거래처, 숫자 같은 게 들어 있었다면 꼬리표가 없어도 내용으로 누구인지 짐작할 수 있습니다. 노션도 이 점을 의식했는지 "노출된 것으로 간주하라"고 권했습니다. 이 부분은 아래에서 따로 다룹니다.

노션 도움말 About the Fireworks AI security incident 단락. 1% 미만의 노션 워크스페이스가 영향을 받았을 수 있고 unattributable 채팅 세션이 노출됐을 수 있다는 문장
노출된 것은 누가 썼는지 표시 없는 노션 AI 대화 기록이고, 워크스페이스의 다른 데이터는 영향이 없다는 설명.Notion Help Center · 원문

근거 [1]

파이어웍스와 노션의 관계: Insights 기능과 오픈 웨이트 모델

파이어웍스는 오픈 웨이트 모델(가중치가 공개된 AI 모델)을 대신 돌려 주고 학습도 맡아 주는 AI 인프라 회사입니다. 일반 사용자에게는 이름이 낯설지만, 여러 AI 서비스가 화면 뒤에서 이런 업체를 씁니다. 노션 설명에 따르면 파이어웍스는 수만 곳의 고객과 수십만 명의 개발자가 쓰는 플랫폼입니다.

노션은 파이어웍스를 두 군데에 썼습니다. 하나는 Insights라는 기능으로, 고객이 자기 조직의 AI 사용 현황을 파악하도록 대화를 분류하는 작업이었습니다. 다른 하나는 노션 안에서 오픈 웨이트 모델을 돌리는 일반 추론 업체 역할입니다. 노션 공식 계정이 7월에 Kimi K3를 노션에 넣으면서 파이어웍스가 호스팅한다고 밝힌 게시물이 그 예입니다.

이번에 노출된 대화 기록은 이 가운데 Insights 기능에 쓰인 것이라고 노션은 적었습니다. 노션은 조사 기간 동안 Insights 기능을 껐고, 파이어웍스를 통한 오픈 웨이트 모델 제공도 멈췄습니다. FAQ에는 11월 3일 기준으로 파이어웍스와 시스템 연결을 끊고, 파이어웍스 쪽에 있던 데이터를 모두 지웠으며, 데이터와 트래픽 전송과 학습 작업도 모두 멈췄다고 나와 있습니다.

하나 더 있습니다. 노션에는 고객이 자원해서 데이터를 내주고 새 AI 기능을 먼저 시험하는 LEAP(Learning and Early Access Program)라는 프로그램이 있습니다. 노션은 과거에 이 자원 데이터로 파이어웍스에서 특정 작업용 모델을 학습하는 실험을 했다고 밝혔습니다. 회사에서 이 프로그램에 참여했다면 관리자에게 한 번 물어볼 만한 대목입니다.

노션 안의 오픈 웨이트 모델을 파이어웍스가 호스팅한다고 알린 노션 공식 게시물.X에서 원문 보기

근거 [1] [5]

파이어웍스 해킹 경과: 10월 6일 첫 발견부터 11월 9일 업데이트까지

파이어웍스 사고는 이번이 처음 알려진 게 아닙니다. 파이어웍스는 10월 6일(미국 태평양 시간) 내부 자격 증명이 무단으로 쓰인 사실을 발견했고, 10월 9일 첫 보안 공지를 냈습니다. 그때 확인된 피해는 일부 고객 계정에서 평가 작업에 쓰이던 환경변수, 즉 API 키와 토큰 같은 비밀 값이 빠져나간 것이었습니다. 당시 공지에는 고객 모델, 데이터셋, 학습 데이터, 추론 트래픽, 개인정보에 대한 무단 접근 증거는 찾지 못했다고 적혀 있었습니다.

11월 9일 갱신된 두 번째 공지에서 범위가 넓어졌습니다. 파이어웍스는 첫 공지 이후 계정과 결제 정보에도 영향이 있었고, 일부 계정에서는 비밀 값과 데이터셋, 학습이 끝나지 않은 모델까지 영향을 받았다고 밝혔습니다. 경로도 하나 더 나왔습니다. 파이어웍스 연구개발 장비를 호스팅하던 외부 클라우드 업체가 10월 23일 보안 사고를 겪었고, 공격자가 10월 24일 이를 통해 파이어웍스 개발 장비에 들어가 승인되지 않은 작업을 돌렸다는 것입니다. 파이어웍스는 그날 바로 탐지했고 10월 25일 이후로는 추가 침입 증거가 없다고 했습니다.

파이어웍스가 밝힌 노출 범주는 세 가지입니다. 리소스 이름과 설명 같은 메타데이터, 청구지와 배송지 주소와 결제 내역과 크레딧 사용량 같은 결제 정보, 그리고 일부 고객의 미완성 모델 가중치와 데이터셋입니다. 카드 번호는 파이어웍스가 저장하지 않아 영향이 없었다고 했습니다. 추론(Inference), Training SDK, Nexus는 기본이 데이터 무보관(ZDR)이고 영향이 확인되지 않았다는 설명도 붙였습니다.

노션 쪽 시간표와 맞춰 보면 이렇습니다. 노션은 이달 초 파이어웍스로부터 사고 가능성을 듣고 연결을 끊었고, 11월 6일 파이어웍스로부터 고객 데이터에 접근이 있었을 수 있다는 통보를 받았습니다. 11월 8일 파이어웍스가 새로 확인한 데이터 묶음을 넘겨줬고, 노션이 이를 분석하다가 Insights용 노션 AI 대화 기록이 들어 있다는 걸 찾았습니다.

파이어웍스 보안 공지 Data involved 단락. Resource metadata, Billing information, Model weights and datasets 세 항목과 카드 번호는 저장하지 않아 영향이 없다는 문장, Inference와 Training SDK와 Nexus는 영향이 확인되지 않았다는 문장
메타데이터, 결제 정보, 일부 고객의 모델 가중치와 데이터셋이 노출 범주로 나와 있다.Fireworks AI · 원문
날짜(미국 기준)파이어웍스노션
10월 6일내부 자격 증명 무단 사용 발견, 차단 시작-
10월 9일첫 보안 공지 발행-
10월 23~24일외부 클라우드 업체 사고, 이를 거쳐 개발 장비 침입-
11월 3일-파이어웍스 연결 차단, 데이터 삭제, 학습 중단
11월 6~8일고객 데이터 접근 가능성 통보, 새 데이터 묶음 확인Insights용 AI 대화 기록 포함 확인
11월 9일두 번째 공지 갱신-

두 회사 공지에 적힌 날짜만 옮겼다. 노션 칸의 11월 3일은 FAQ 기준.

근거 [1] [2] [3]

내 노션 워크스페이스 해당 여부 확인 방법

가장 먼저 볼 것은 연락을 받았는지입니다. 노션은 영향을 받은 워크스페이스(전체의 1% 미만)의 소유자에게 따로 연락했다고 밝혔고, 나도 워크스페이스 소유자도 노션에서 아무 연락을 받지 않았다면 해당되지 않으니 지금은 따로 할 일이 없다고 적었습니다. 개인 요금제로 혼자 쓰는 경우라면 내가 소유자이니 노션에서 온 안내가 있는지 계정 메일함부터 보면 됩니다. 회사 워크스페이스의 일반 멤버라면 관리자나 소유자에게 연락을 받았는지 묻는 쪽이 빠릅니다.

해당 워크스페이스의 소유자는 노션 안에서 노출된 데이터를 직접 볼 수 있습니다. 경로는 워크스페이스 사이드바에서 ? 를 누른 뒤 Security incident review로 들어가는 것입니다. 노션 데스크톱 앱이나 웹 브라우저에서 최신 버전으로 열어야 하고, 모바일 앱에서는 이 데이터를 볼 수 없습니다.

요금제에 따라 받는 자료가 다릅니다. 엔터프라이즈 요금제 소유자는 영향받은 데이터를 담은 CSV 파일과, 같은 데이터에 대화마다 연결된 사용자 같은 정보를 덧붙인 주석판 CSV를 받습니다. 주석판에 붙은 정보는 사고 때 노출된 것이 아니라 분석을 돕기 위해 노션이 붙인 것이고, __metadata나 __analysis 표시로 구분됩니다. 이 자료는 워크스페이스에 관리 대상 멤버(managed members)가 있을 때만 제공됩니다. 그 밖의 요금제 소유자는 영향받은 멤버에게 공유할 수 있는 링크가 담긴 페이지를 받고, 멤버는 그 링크로 자기 데이터만 담긴 CSV를 볼 수 있습니다.

노션 도움말 What affected workspace owners should do 단락. 사이드바 → ? → Security incident review 경로, 엔터프라이즈 소유자가 받는 CSV와 주석판 CSV, 그 밖의 요금제 소유자가 받는 공유 링크 페이지 설명
사이드바 → ? → Security incident review 경로와 요금제별로 받는 자료.Notion Help Center · 원문

근거 [1]

노션 AI에 비밀번호나 API 키를 붙여 넣은 적이 있다면

노션은 이 데이터를 노출된 것으로 간주하라고 권했습니다. 그리고 그 기간에 본인이나 팀원이 비밀번호, API 키 같은 인증 정보를 노션 AI에 붙여 넣었다면 바로 교체하라고 했습니다. 공지 본문에는 그 기간이 정확히 언제부터 언제까지인지 날짜로 적혀 있지 않습니다. 영향받은 워크스페이스라면 Security incident review에서 내려받은 대화 기록을 직접 훑어보는 게 가장 확실합니다.

"이 코드 왜 안 돼"라며 설정 파일을 통째로 붙여 넣거나, 서버 접속 정보를 정리해 달라고 한 경우가 흔한 예입니다. 이런 대화가 있었다면 키를 발급한 서비스에 들어가 기존 키를 폐기하고 새로 발급하는 게 맞습니다. 노션 대화나 페이지에서 그 문장을 지우는 것만으로는 키가 무효가 되지 않습니다. 파이어웍스도 첫 공지에서 고객에게 저장된 비밀 값을 지우는 것만으로는 원래 자격 증명이 무효가 되지 않으니 발급처에서 교체하라고 안내했습니다.

반대로 너무 걱정하지 않아도 되는 부분도 있습니다. 노션 설명대로라면 노출된 기록에는 노션 AI가 읽어 온 페이지 내용이나 외부 연결 데이터가 빠져 있고, 워크스페이스의 다른 데이터도 영향이 없습니다. 노션 AI에게 페이지를 요약하라고만 하고 민감한 문장을 직접 입력하지 않았다면 바뀌는 건 거의 없습니다.

근거 [1] [3]

공격자가 노린 것: LLMJacking과 AI 기능 뒤의 외부 업체

파이어웍스는 이번 공격이 금전 목적의 사이버 범죄 집단과 연결돼 있고, 대형 언어 모델에 무단으로 접근해 얻은 사용량을 불법 중개 서비스에 파는 이른바 LLMJacking을 노렸다고 밝혔습니다. 구글 위협 인텔리전스 그룹(GTIG)과 맨디언트가 11월 초 낸 분석에 따르면 이런 공격은 몇 시간 만에 클라우드 요금을 크게 끌어올립니다. 사례에 따라 하루 10만 달러가 넘는 부정 사용 요금이 나왔고, 접근을 끊기 전까지 누적 100만 달러에 이른 조직도 있었다고 합니다.

노션 사용자 입장에서 남는 교훈은 단순합니다. 노션 AI 하나를 쓰더라도 그 뒤에는 모델 회사와 인프라 업체가 여러 겹으로 붙어 있고, 이번처럼 그중 한 곳에서 사고가 나도 데이터가 영향을 받을 수 있습니다. 해커뉴스 토론에서도 파이어웍스가 기본 데이터 무보관을 내세우는데 왜 대화 기록이 남아 있었느냐는 질문이 나왔습니다. 두 회사 공지를 나란히 놓으면, 노션은 노출된 기록이 Insights 분류 작업에 쓰인 것이라고 했고 파이어웍스는 기본이 데이터 무보관인 추론 경로에서는 영향이 확인되지 않았다고 했습니다.

노션은 보안과 개인정보 관행을 보안 페이지와 Notion Trust Center에 모아 두고 있습니다. 회사에서 노션 AI를 쓰는 관리자라면 이번 기회에 AI 기능 사용 범위와 LEAP 같은 데이터 제공 프로그램 참여 여부를 한 번 점검해 둘 만합니다. 개인 사용자라면 AI 입력창에 비밀번호와 키를 넣지 않는 습관 하나가 이번 같은 일에서 가장 큰 차이를 만듭니다.

근거 [1] [2] [4]