밀레니엄 문제를 풀었다는 발표와 함께, 그 결과가 성립하는 가정과 실제 적용 범위를 두고 전문가 반박이 나왔습니다.

OpenAI는 약 1만 개의 동시 에이전트를 활용해 나비에-스토크스 방정식의 특정 시나리오, 즉 완전히 매끄러운 비압축성 초기 조건에서 유한한 에너지를 가진 경우에도 특이점이 발생할 수 있음을 보였다고 발표했습니다①.

항공우주공학 교수 크리스 콤스는 이것이 일반해를 구한 것이 아니라 매우 제한적인 수학적 가정 아래의 결과이며, 실제 항공우주 분야의 방정식 활용 방식에는 거의 영향이 없다고 반박했습니다②.

같은 결과를 두고 발표 측과 해당 분야 전문가가 다르게 평가한 지점은 정확도가 아니라 적용 범위였습니다. 발표에서 제시된 결과는 특정 초기 조건이라는 가정 아래 성립하는 것으로 설명됐고, 반박에서는 실제 활용 방식과의 관련성이 쟁점으로 제시됐습니다.

AI 성과 발표를 도입 검토의 근거로 볼 때는 결과와 함께 그 결과가 성립하는 조건이 명시돼 있는지를 확인할 필요가 있습니다. 이번 사례처럼 조건에 대한 평가가 해당 분야 전문가 쪽에서 별도로 제시되는 경우가 있으므로, 발표 문구만으로 판단하기 전에 후속 평가를 함께 확인하는 것을 검토 항목으로 둘 수 있습니다.

미공개 초안이 학습에 활용됐는지를 두고 의혹과 부인이 엇갈렸고, 소량 데이터의 영향력을 다룬 연구 결과도 함께 언급됐습니다.

수학자 Tristan Buckmaster와 Levent Alpöge는 강제 3D 오일러 방정식의 유한 시간 폭발 문제를 연구하며 작업 초안을 OpenAI의 Codex에 계속 입력했고, 출판을 앞둔 시점에 OpenAI가 동일한 문제의 해법을 공개하자 자신들의 비공개 작업물이 학습에 활용됐을 가능성을 제기했습니다①.

OpenAI는 연구진이나 에이전트가 이들의 특정 사용자 데이터에 직접 접근하지 않았다고 밝혔으나, 비식별화된 데이터가 모델 개선에 기여했을 가능성은 배제하지 못한다고 답했습니다②. Sebastien Bubeck은 관련 의혹에 대해 반박하는 입장을 공개했습니다③.

전직 OpenAI RL 부문 VP였던 Jerry Tworek은 모델이 접근하지 말아야 할 데이터에 접근했을 가능성이 0보다 크다고 언급했습니다④.

함께 언급된 데이터 포이즈닝 연구에서는 130억 파라미터 모델을 2600억 토큰으로 학습시킨 실험에서 오염 문서 250개, 전체의 0.00016%만으로도 특정 백도어 행동을 안정적으로 심을 수 있었다는 결과가 제시됐습니다⑤.

제기된 의혹은 확인되지 않았고, 직접 접근은 없었다는 설명과 비식별 데이터의 기여를 배제할 수 없다는 설명이 함께 나온 상태입니다. 같은 자료에서 극소량의 문서로도 모델 행동에 영향을 줄 수 있다는 실험 결과가 언급된 만큼, 입력한 데이터가 학습에 어떻게 반영됐는지를 사후에 확인하는 문제가 쟁점으로 볼 수 있습니다.

미공개 연구나 선점이 중요한 문서를 외부 서비스에 입력하는 경우, 해당 서비스의 학습 활용 정책과 옵트아웃 설정 상태를 확인 항목으로 둘 수 있습니다. 이번 사례처럼 사후에 귀속을 다투기 어려운 상황이 확인된 만큼, 외부에 입력할 자료와 내부에서만 처리할 자료를 구분해 두는 것도 검토할 수 있습니다.

물리적 장치 제어와 저수준 코드 분석에서 모델이 작업을 수행한 사례가 각각 공유됐습니다.

한 개발자가 Astra에 로봇과 붓, 카메라를 제공하고 금문교를 실제로 그려보게 한 사례가 공유됐습니다. Astra는 스스로 로봇을 제어하는 방법을 학습했고, 시도를 반복할수록 그림 완성도가 점진적으로 개선되는 모습이 타임랩스 영상으로 공개됐습니다①.

다른 게시글에서는 Astra가 별도의 에뮬레이터 없이 SNES 롬 이미지를 분석해, 사람이 읽을 수 있는 소스 코드를 가진 독립 실행형 게임으로 디컴파일한 사례가 공유됐습니다②.

두 사례는 다루는 대상이 다르지만, 모델이 한 번에 결과를 내는 대신 작업을 수행하고 그 결과를 반영해 개선하는 과정이 함께 공유됐다는 점에서 같은 흐름에서 볼 수 있습니다. 두 사례 모두 커뮤니티에 공유된 개별 시연이며, 측정된 성능 지표는 아닙니다.

이런 시연을 업무 적용 근거로 볼 때는 몇 번의 시도가 필요했는지, 중간 결과를 누가 확인했는지를 함께 확인할 필요가 있습니다. 자사 환경에 적용하기 전에는 같은 작업이 동일한 조건에서 재현되는지 확인하는 절차를 두는 것이 적절합니다.

동일 모델을 다른 엔진으로 돌린 비교와 하드웨어 조합별 동시 실행 측정값이 각각 공유되며, 확인 대상이 모델 스펙 밖으로 넓어졌습니다.

한 사용자는 2× RTX 4090으로 3주간 동시 에이전트 실행을 측정해 컨텍스트 64k 기준 소프트 캡 5개, 하드 캡 9개라는 결과를 공유했습니다. 122B MoE 모델은 도구 호출당 11.91초로 27B의 3.40초보다 느려 제외했고, 35B MoE는 디코딩 78tok/s로 가장 빨랐지만 코드 작업 5개 중 1개를 실패해 5개 모두 성공한 27B를 최종 선택했다고 밝혔습니다①.

다른 사용자는 7900XTX 1~2장에 최적화한 커스텀 llama.cpp 빌드를 공개했고, Qwen3.8 27B Q8_0 기준 PCIe x4로 연결된 카드에서도 프롬프트 처리 1600tk/s, 코드 생성 100tk/s 이상을 기록했다고 공유했습니다②.

RTX PRO 6000 Blackwell 환경에서 Qwen3.8-Flash-Next를 세 엔진으로 비교한 결과도 공유됐습니다. 262K 풀 컨텍스트 기준 첫 토큰까지 SGLang 35.4초, FreeToken 80.4초, llama.cpp+MTP 210.2초, llama.cpp 기본 258.4초로 최대 7.3배 차이가 났고, 컨텍스트가 길어질수록 llama.cpp 디코딩은 101.9에서 20.2tok/s로 떨어진 반면 FreeToken은 100.1에서 94.8tok/s를 유지했습니다③.

이 밖에 GPU별 용량당 가격과 대역폭을 정리한 가이드④, Qwen-Drive-1.0-4B, Nex-N2.5-mini, Ling-3.0-flash-VL, Spark-X2.5-4B 등 소형 모델 공개와 DeepSeek V4.1 Flash의 API 베타 테스트 소식이 공유됐습니다⑤.

공유된 측정값에서 결과를 가른 항목은 파라미터 수가 아니라 사용한 엔진과 하드웨어 구성, 컨텍스트 길이였습니다. 같은 모델에서 첫 토큰 지연이 최대 7.3배까지 벌어졌고, 파라미터가 큰 모델이 항상 유리하지는 않았다는 사례도 함께 공유됐습니다. 실행 조건에 따라 결과가 달라질 수 있다는 사례로 볼 수 있습니다.

로컬 실행을 검토한다면 모델명과 파라미터 수만으로 판단하기 어렵습니다. 사용할 엔진, 양자화 수준, 컨텍스트 길이, 동시에 돌릴 작업 수를 함께 정한 뒤 그 조건에서 측정할 필요가 있습니다. 공유된 수치는 개별 사용자 환경에서 나온 값이므로, 그대로 적용하기보다 자사 조건에서 재검증할 기준선으로 삼는 편이 적절합니다.

탐지 도구의 확률값 하나로 대규모 탈락 처리가 이뤄졌고, 같은 도구가 심사자 논문에도 높은 확률을 매긴 사실이 확인됐습니다.

NeurIPS Position Paper Track이 사설 AI 탐지기 Pangram을 사용해 전체 제출 논문의 18.4%인 178편을 인간 검토나 이의제기 절차 없이 데스크 리젝했습니다. 이 탐지기는 당초 제출 논문의 42.7%를 AI 작성물로 의심했고, 주최 측이 텍스트 분석 범위를 줄여 탈락률을 12.7%까지 낮췄다는 사실이 드러났습니다①.

독립 연구자들이 같은 탐지기로 트랙 체어 3명의 최근 논문을 검사한 결과 AI 확률이 24~69%로 나왔고, 22편은 저자가 AI를 사용하지 않았다고 명시했음에도 탐지 점수 0.5 초과만을 근거로 거짓 진술로 간주돼 탈락 처리됐습니다①.

스탠퍼드 연구에 따르면 비영어권 저자의 정형화된 영어 문체 탓에 인간이 작성한 TOEFL 에세이의 61.22%가 AI로 오탐지되는데, NeurIPS는 이런 인구통계학적 보정 데이터를 공개하지 않았습니다①.

확인된 사실에서 문제로 지적된 지점은 탐지 정확도 자체가 아니라 확률값을 단독 판정 근거로 사용한 절차입니다. 분석 범위를 조정하자 탈락 규모가 42.7%에서 12.7%로 달라졌고, 심사자 본인의 논문에도 24~69%의 확률이 나왔으며, 인간 검토와 이의제기 절차가 없었다는 점이 함께 확인됩니다.

AI 사용 여부 판별이나 문서 검증에 외부 탐지 도구를 도입한다면, 임계값의 근거, 사람이 확인하는 단계, 당사자의 소명 절차를 함께 설계할 필요가 있습니다. 특정 집단에서 오탐지 비율이 높게 보고된 연구가 함께 제시된 만큼, 도구를 적용하기 전 자사 데이터로 오탐지 분포를 확인하는 것도 검토 항목으로 둘 수 있습니다.