AI 역량평가 가이드: 직원 AI 실력을 점수로 확인하는 법
"직원들 AI 구독은 해줬는데, 정말 잘 쓰고 있는 걸까?"
"AI를 잘 쓰는 직원이 누구인지 어떻게 알 수 있을까?"
AI 교육을 맡은 담당자라면 한 번쯤 들어 봤을 질문입니다. AI 역량평가는 이 질문에 숫자로 답하는 과정이에요. 구성원이 AI로 실제 업무를 얼마나 해내는지 측정해서, 누구에게 어떤 교육이 필요한지와 교육 뒤에 무엇이 달라졌는지를 근거로 보여 줍니다.
조코딩AX파트너스가 2,078명을 조사한 「2026 하반기 AX 트렌드 리포트」에서 AI 도입의 병목 1위는 구성원 간 AI 활용 수준 편차(48.6%)였어요. 수준이 제각각인데 측정할 기준이 없으니 교육도, 성과 보고도 감에 기댈 수밖에 없습니다. 이 글에서는 AI 역량평가가 왜 필요한지, 어떤 방식이 있는지, 조코딩AX파트너스의 AI 역량평가 APTA가 무엇을 어떻게 재는지 정리했어요.
매일 쓰는 AI, 실력은 아무도 모르는 이유
같은 리포트에서 AI를 매일 쓴다는 응답은 91%였어요. 그런데 AI 활용이 업무 표준으로 정착했다는 조직은 12.5%에 그쳤습니다. 개인은 이미 쓰고 있는데 조직은 그 사용이 성과로 이어지는지 확인하지 못한다는 뜻이에요. (조사 표본은 AI를 적극 활용하는 실무자이며, 수치는 응답자가 평가한 본인 조직 기준입니다.)
문제는 "쓴다"와 "잘 쓴다"가 다르다는 점이에요. 같은 AI 도구를 써도 어떤 사람은 결과를 검증하고 고쳐서 업무에 반영하고, 어떤 사람은 AI가 준 답을 그대로 옮깁니다. 겉으로는 둘 다 AI를 쓰는 직원이라 차이가 보이지 않아요. AI 역량평가는 이 보이지 않는 차이를 꺼내 보이는 일입니다.
진단 없이 시작하면 막히는 세 장면, 교육·인재·실무
AI 역량을 측정하지 않고 교육과 인사를 운영하면 대개 세 군데서 막힙니다. 실제 기업 담당자들이 APTA 도입을 검토하며 꺼낸 고민이기도 해요.
1. 교육 효과: 전후를 비교할 숫자가 없습니다
전사 AI 교육을 마쳐도 보고서에 쓸 수 있는 건 만족도와 이수율 정도예요. 교육 전보다 업무에 AI를 얼마나 더 잘 쓰게 됐는지는 같은 기준으로 두 번 재야 알 수 있는데, 그 기준이 없으면 다음 해 예산을 설득하기도 어렵습니다.
2. 인재 식별: 누가, 어느 부서가 잘 쓰는지 가려낼 기준이 없습니다
AI 활용을 이끌 사내 리더를 뽑거나 이력서에 'AI 활용 가능'이라고 적은 지원자를 검증할 때도 같은 문제가 생겨요. 자기소개와 면접 답변만으로는 실제로 AI와 일하는 방식을 알 수 없습니다.
3. 시험과 실무: 지식 점수는 업무 활용 능력과 다릅니다
AI 용어를 잘 아는 것과 AI에게 일을 맡기고 결과를 바로잡는 것은 다른 능력이에요. 지식 문항만으로 평가하면 점수는 높은데 실무에서는 AI가 만든 오류를 그대로 넘기는 일이 생깁니다.
설문, 지식 시험, 실기형 평가, 무엇을 잴 수 있나
AI 역량을 재는 방법은 크게 세 가지예요. 목적에 따라 잘 맞는 방식이 다릅니다.
방식 | 무엇을 재나 | 장점 | 한계 |
|---|---|---|---|
자가진단 설문 | 스스로 느끼는 활용 수준 | 빠르고 비용이 적음, 전 직원 대상 가능 | 자기보고라 실제 실력과 차이가 큼 |
지식 시험(객관식 위주) | AI 원리·용어·윤리 지식 | 채점이 객관적, 대규모 운영 쉬움 | 업무 활용 능력은 드러나지 않음 |
실기형 평가 | AI로 실제 과제를 해결하는 과정과 결과 | 실무와 가장 가까움, 강점·약점이 구체적 | 설계와 채점이 어려움 |
설문은 관심도를 넓게 훑기에, 지식 시험은 기본기를 확인하기에 좋아요. 다만 "실무에서 AI를 잘 쓰는가"라는 질문에 답하려면 결국 실기를 봐야 합니다. 그런데 실기형 평가는 사람이 하나하나 채점하면 대규모로 운영하기가 어려워요. APTA는 이 지점을 풀려고 만든 평가입니다.
APTA는 정답이 아니라 해결 과정을 채점합니다
AI 역량평가 APTA(AX 인재실무진단)는 조코딩AX파트너스가 설계한 실기 중심 AI 역량평가예요. 지식 문항에 더해 AI로 실무 과제를 해결하는 과정까지 평가합니다.
🔹 실무형 과제 출제
정답을 외워서는 풀 수 없는 실제 업무형 문제를 냅니다. 실기 과제에는 AI가 틀리기 쉬운 자료가 섞여 있어서 응시자가 AI 결과를 그대로 받아쓰는지, 근거와 대조해 바로잡는지가 드러나요.
🔹 AI와 함께 해결
응시 화면 안에 AI 도구와 자료 폴더가 있는 업무 화면이 준비돼 있어요. 별도 설치 없이 웹 브라우저로 접속해 실제 업무처럼 자료를 읽고 AI에게 지시하며 결과물을 완성합니다.
🔹 과정과 산출물을 함께 평가
과제를 푸는 동안 입력한 프롬프트 전 과정이 기록되고, 최종 결과물과 함께 채점에 반영돼요. 채점에는 5,431명이 신청한 'AX 인재전쟁' 해커톤에서 산출물 1,400건을 채점한 심사 엔진을 옮겨 왔습니다. 문제 출제, AI 에이전트 심사, 사람 검수까지 세 단계를 거칩니다.
평가 기준은 AI로 문제를 해결하는 다섯 단계예요.
AI 문제해결 단계 | 시험에서 평가하는 행동 |
|---|---|
문제 인식·정의 | 이 일을 AI에 맡겨도 되는지 판별하고, 업무를 AI가 수행할 수 있는 과업으로 바꾸며 AI의 한계를 인식한다 |
접근 설계 | 알맞은 도구를 고르고, 과업을 나누고, 참조 자료와 맥락을 담아 입력을 설계한다 |
실행·활용 | 지시문을 쓰고 실행한 뒤 결과를 보며 지시를 고쳐 가는 반복 개선으로 산출물을 만든다 |
검증·평가 | AI 산출물의 오류와 환각을 찾아내고, 무엇을 검증해야 하는지 가려 근거 자료와 대조해 바로잡는다 |
통합·책임 | 결과를 업무에 반영하는 절차를 지키고, 개인정보·기밀을 보호하며, 저작권과 출처를 표기한다 |
시험은 70분이고 합격 기준은 100점 만점에 60점입니다.
구간 | 문항 수 | 배점 | 내용 |
|---|---|---|---|
객관식 | 10 | 20점 | AI의 원리와 한계, 실무 활용 지식 |
주관식 | 5 | 20점 | 실제 AI 활용 장면 속에서 판단하고 개입하는 문항 |
실기 | 2 | 60점 | AI를 실제로 사용해 실무 과제 해결 |
이론(객관식·주관식)에 30분, 실기 2문항에 각 20분이 주어지고 시간이 끝나면 자동으로 제출돼요. 주관식은 읽고 고르는 문제가 아니에요. AI와 나눈 대화 기록을 보여 주고, 사람이 어디서 멈춰서 확인했어야 했는지 직접 짚게 합니다.
개인 리포트와 조직 리포트, 결과가 남기는 것
평가가 끝나면 두 종류의 리포트가 나옵니다.
개인 리포트는 응시자 한 명에게 발행돼요. 총점과 같은 회차 안에서의 위치, 다섯 가지 역량(문제 정의, 접근 설계, 실행, 검증, 책임) 프로필을 보여 줍니다. 실기 과제는 항목마다 채점 근거를 문장으로 적고, 강점과 개선 우선순위를 정리해요. "AI 활용은 잘하는데 결과 검증이 약하다"처럼 무엇을 보완해야 하는지가 구체적으로 나옵니다.
조직 리포트는 담당자를 위한 요약이에요. 조직 전체의 총점과 다섯 가지 역량을 앞 회차와 비교해 교육 전후 변화를 보여 줘요. 부서·팀별 비교로는 어느 부서에 어떤 역량이 부족한지 짚어 줍니다. 팀 단위 리포트도 따로 받을 수 있어요. 교육 우선순위를 정하고 성과를 보고할 때 쓸 숫자가 여기서 나옵니다. 리포트를 받아 본 응시자의 이야기는 내 AI 역량을 점수로 확인해야 하는 이유에서 더 볼 수 있어요.
농협정보시스템과 광동제약, 교육과 평가를 잇다
APTA에는 기업 임직원과 개인 응시자를 합쳐 누적 1,000명 이상이 응시했어요. 먼저 도입한 두 기업은 교육과 평가를 한 흐름으로 묶었습니다.
농협정보시스템: 전 직원 온라인 교육을 마친 뒤 평가로 이수 확인
농협정보시스템은 상반기 실무진 집체교육과 사내 해커톤에 이어, 비개발 직군을 포함한 전 직원 약 600명으로 대상을 넓혔어요. 직원들은 조코딩AX파트너스가 만든 온라인 강의 「업무를 위한 AI 리터러시」를 모두 들은 뒤 APTA에 응시했어요. 완강과 응시를 마쳐야 이수로 인정했습니다. 문항은 문제 은행에서 응시자마다 다르게 출제했고, 결과는 개인·팀·조직 단위 리포트로 받습니다.
응시 후 설문에 답한 직원들의 시험 경험 만족도는 5점 만점에 평균 4.1점이었어요.
"생각보다 실무 관점에서 문제가 나와서, 잘 푼 것과 별개로 재밌었다." (농협정보시스템 직원)
"실기 시험이 신선하고 좋았습니다." (농협정보시스템 직원)
광동제약: 교육 전후 두 번 진단해 변화 비교
광동제약은 AI 교육 전과 후에 APTA를 한 번씩, 모두 두 번 진단해 변화를 비교했어요. 같은 기준으로 두 번 재면 조직 리포트에서 역량별로 얼마나 달라졌는지가 숫자로 남습니다. 앞에서 말한 '교육 효과를 보여 줄 숫자가 없다'는 고민에 가장 직접적으로 답하는 방법이에요.
공개 회차 응시자들의 반응도 비슷했어요. 2026년 9월 응시자 135명 조사에서 79%가 실기 과제가 실제 AI 활용 역량을 재기에 적합하다고 답했습니다.
"진짜 '실무' 진단이라는 말에 걸맞은 문제들이었습니다." (응시자)
"보안, 효율성 등 다양한 상황을 제시해 AI 활용도를 시험해 본 것이 좋았습니다. 난이도 배분도 좋았습니다." (기업 재직 개발자)
도입은 담당자 체험부터, 여섯 단계로 진행
APTA는 아래 여섯 단계로 진행합니다.
담당자 샘플 체험: AX아카데미 기업교육 페이지에서 담당자가 무료로 문제를 먼저 풀어 보고 우리 조직에 맞는지 판단해요.
명단 전달: 응시 대상 명단을 받습니다.
응시 안내: 응시자에게 일정과 접속 방법을 안내해요.
응시기간 개방: 정해진 기간 안에 각자 웹 브라우저로 응시합니다.
채점, 개인 리포트: 채점을 마치면 응시자마다 개인 리포트가 나가요.
조직 리포트, 결과 리뷰: 조직 리포트를 놓고 담당자와 결과를 함께 검토합니다.
대상 인원이나 일정, 교육과 묶는 방식은 조직마다 달라요. 진행 방식이 궁금하다면 상담 문의로 알려 주세요.
평가 결과를 바로 교육으로 연결할 수도 있어요. 조코딩AX파트너스의 온라인 강의 플랫폼에서 APTA 내용과 이어지는 「업무를 위한 AI 리터러시」 강의를 제공합니다. AI가 답을 만드는 원리, 어디까지 AI에게 맡겨도 되는지, 회사 자료를 안전하게 다루는 법, 결과를 검증하는 법을 다뤄요. 농협정보시스템처럼 강의를 먼저 듣고 평가로 확인해도 되고, 광동제약처럼 교육 전후에 평가를 두어도 됩니다.
자주 묻는 질문
Q1. 개발자가 아니어도 응시할 수 있나요?
네. Basic 단계는 직군과 관계없이 응시하는 공통 평가예요. 농협정보시스템도 비개발 직군을 포함한 전 직원이 응시했습니다.
Q2. 프로그램을 설치하거나 AI 계정을 따로 준비해야 하나요?
아니요. 웹 브라우저로 접속하면 되고, 시험에 필요한 AI 환경은 응시 화면 안에 준비돼 있어요.
Q3. 문항이 다른 직원에게 알려지면 어떻게 하나요?
문항은 문제 은행에서 응시자마다 다르게 출제해요. 같은 회차라도 옆 사람과 같은 문제를 받지 않습니다.
Q4. 교육 효과는 어떻게 비교하나요?
교육 전과 후에 같은 평가를 한 번씩 진행하면 조직 리포트에서 총점과 다섯 가지 역량의 변화를 앞 회차와 비교해 볼 수 있어요. 광동제약이 이 방식으로 진행했습니다.
Q5. 개인도 응시할 수 있나요?
네. 개인은 AX인재전쟁 온라인에서 응시권을 구매해 혼자 응시할 수 있어요. 취업이나 이직을 준비하며 AI 활용 능력을 확인하고 싶다면 AI 활용능력을 점수로 증명하는 법도 함께 읽어 보세요.
감으로 하던 AI 교육, 숫자로 설계하기
AI 역량평가는 교육을 대신하지 않아요. 교육을 어디서 시작할지, 끝나고 무엇이 달라졌는지 알려 주는 기준이 됩니다. 수준 편차를 확인하고, 약한 역량부터 교육하고, 같은 기준으로 다시 재는 흐름이 생기면 AI 교육도 다른 사업처럼 숫자로 보고할 수 있어요.
우리 조직의 AI 활용 수준을 알고 싶다면 담당자가 먼저 AX아카데미 기업교육 페이지의 무료 역량평가 체험으로 문제를 풀어 보세요. AXHub 계정으로 로그인하면 PC에서 바로 시작할 수 있어요. 문항 구성과 리포트 샘플은 APTA 소개서에 담았고, 우리 조직에 맞는 진행 방식이 궁금하다면 상담 문의를 남겨 주세요.