이번 사례들에서 AI 에이전트(사람 대신 여러 단계의 작업을 스스로 수행하는 AI)의 보안 문제는 기능의 수준보다 허용된 권한 범위를 넘었는지에서 드러났습니다.

공격 사례에서는 에이전트가 짧은 시간 안에 관리자 권한까지 도달했고, 은행 사례에서는 고객 계정 안에서 사용자가 승인하지 않은 활동이 발견됐습니다. 출발점은 외부 공격과 계정 내부 활동으로 다르지만, 두 경우 모두 에이전트가 허용된 범위를 넘어선 지점이 문제로 보고됐습니다.

이번 보안 사례들에서 AI 모델은 공격 도구가 아니라 결함을 먼저 찾아낸 주체로 등장했습니다.

PHP 사례에서는 단순한 지시만으로 발견이 이뤄졌다고 전해졌고, Bank of America 사례에서는 AI가 찾은 결함을 수정하는 데 1,000명 규모의 계약직 고용이 뒤따랐습니다②. AI가 찾아낸 결함이 발견으로 끝나지 않고, 사람이 처리해야 할 수정 작업의 규모로도 나타날 수 있다는 사례로 볼 수 있습니다.

이번 지능 지표에서 모델의 전체 파라미터 규모는 점수 순위를 그대로 설명하지 못했습니다.

500B를 넘는 모델들 사이에서도 552B 모델이 816B 모델보다 6점 높았고, 27B 모델이 501B 모델을 앞선 경우도 있었습니다①. 이번 비교에서는 모델 크기와 점수가 같은 방향으로 움직이지 않은 사례가 여러 구간에서 함께 나타났습니다.

Muse Spark Open처럼 전체 파라미터와, 답을 만들 때 실제 계산에 쓰이는 활성 파라미터가 따로 제시되는 모델도 있습니다. 모델을 비교할 때 전체 파라미터, 활성 파라미터, 지표 점수를 서로 다른 항목으로 나눠 볼 수 있습니다.

모델의 가중치를 더 적은 비트로 표현하는 방식이 이번에는 음성 합성 모델에서 두 가지 형태로 제시됐습니다.

다만 두 사례가 근거로 내세운 항목은 다릅니다. Whissle AI는 파일 용량과 음질 지표의 변화를, KittenTTS 2는 CPU만으로 실시간 동작한다는 실행 조건을 제시했습니다. 같은 저비트 모델이라도 용량, 품질 지표, 실행 하드웨어 중 무엇을 근거로 내놓았는지가 서로 다르게 나타났습니다.

이번 로컬 모델 사용 후기에서는 속도나 양자화 정밀도 같은 수치가 좋다는 것과 실제 작업을 잘 해낸다는 것이 별개로 평가됐습니다.

한 사례에서는 초당 130토큰의 빠른 속도에도 반복과 코드 오류 문제가 지적됐고, 다른 사례에서는 모델 용량을 크게 줄이는 2비트대 양자화 설정(IQ2)을 적용한 모델이 8비트 설정(Q8)으로 실행한 다른 모델보다 버그를 더 잘 찾았다고 평가됐습니다. 두 사례 모두 개인 사용자의 경험으로, 실행 설정에 따라 체감 결과가 달라질 수 있다는 사례로 볼 수 있습니다.

로컬 모델을 비교할 때 속도·양자화 수치와 별도로, 반복 출력이나 코드 오류, 검증 없는 완료 주장처럼 실제 작업 결과에서 드러나는 항목을 따로 확인 항목에 둘 수 있습니다.