안녕하세요 여러분

커리어해커 알렉스입니다

오늘은 9년 차 Meta 개발자가

메타 AX 조직 경험담!

한 번에 정리해서

질의응답으로 풀어드리는

시간을 가져보도록 하겠습니다

저는 정말 감사하게도 몇 달 전부터

Agentic Transformation이라는

조직에서 Tech Lead로

일하게 되었거든요

그래서 최근에 Threads 포스트를

하나 올려봤었어요

AX라는 단어가 워낙에 핫하고

한국분들이 관심이 많다 보니

Meta에서는 과연

이거를 어떻게 하고 있는지,

어떻게 받아들이고 있는지

한번 설명을 해드리면

좋을 것 같다는 생각에 Threads를 올려서

답변을 정말 열심히 했거든요

답변을 100개 이상 한 것 같은데

오늘 그 모든 답변들을

정리해서 슬라이드로 한번 만들어서

이야기해 보도록 하겠습니다.

그럼 오늘의 주제

"AX 무엇이든 물어보세요."

시작해 보도록 하겠습니다

그래서 처음의 주제는요

AX란 무엇인가?

정의부터 다시 한번

설명드리면서 시작해보는

시간이 될 것 같아요

흔히 AX라는 단어를

한국에서 얘기할 때는 제가 봤을 때

AI 도입,

AI 네이티브 이러한 것으로

생각을 많이 하는 것 같은데,

이 A가 보통

AI 혹은 Agent를 뜻하고

X는 Transformation을

보통 X로 함축하거든요

그래서 AI를 도입해서

조직 문화를 바꾸는,

시스템을 바꾸는 그런

얘기들을 많이 하는데 제가 봤을 때는

AI 도입을

주로 얘기를 하는 것 같아요

뭔가 AI를 써서 뭔가를 바꾸고 싶은데

회사에서 임원분들이나

리더십들이 이렇게 얘기를 하는 거죠

"AI가 좋다던데

우리 회사도 한번 바꿔보자

AX 해보자."

이런 식으로 했다가

AX라는 단어가 많이 퍼진 것 같은데

제가 정의하는 바는 아무래도

Agent 중심의

워크플로우라는 생각을

하게 되는 것 같아요

그 이유는

사실 심플합니다

그동안 일에

관한 모든 것들은 인간 중심이었어요

어떻게 보면 회사도, 조직도,

아니면 우리가 일하는

워크플로우도 모두

인간에게 초점이 맞춰져 있다고

생각을 하거든요

왜냐하면 인간이 가장 중요하고

가장 차별화된 리소스였거든요

그러니까 사업이 돌아가기 위해서,

물론 지금은 소프트웨어도

많이 돌아가고

컴퓨터도 많이 돌아갔지만 결국 그것도

사람들에 의해서 만들어지고

사람들에 의해서

돌아가는 사업 구조인데,

이제는 Agent로

많이 바뀌게 될 거라는 전망도 있고,

실제로 산업도

그렇게 변화하고 있다 보니까

조직, 기업, 사업,

워크플로우 이런 것들을

만들고 설계하는 일이

AX지 않을까라고 생각을 합니다

실제로 제가 새로 몸담게 된 조직 이름도

Agentic Transformation이라는

조직 이름을 가지고 있습니다

그래서 Agent 중심의

워크플로우,

시스템적인 재설계다라고

말씀드릴 수 있을 것 같아요

그럼 두 번째 IT, DX, AI, AX

용어가 정말 많은데 어떻게 구분하냐

사실 미국에서는

이런 단어들을 거의 안 쓰거든요

저는 AX라는 단어

한 번도 들어본 적이 없어요

한국에서만 어떻게 보면

되게 핫한 키워드로

쓰이고 있는 것 같은데 물론 버즈워드

같은 거는 많죠

Agentic Workflow,

AI Native,

Context Engineering,

Harness

이런 거 많은데

그냥 굳이 용어가 중요한 것까지는

않다라고 말할 것 같습니다.

본질이 중요하죠

에이전트 중심의 워크플로우,

에이전트 중심의 조직 구조와

시스템이 중요하다라고

말씀드릴 것 같아요

그럼 그다음, 이 질문도 많이 받았는데

Meta에서는 어떤 것들을

AX를 하나요?

물론 자세한 거는 말씀드릴 수 없지만

확실하게 말씀드릴 수 있는 거는

전부 다 한다라고

말씀드릴 수 있을 것 같아요

앞서 말씀드렸듯이 AX는 기술을 하나

도입해서 끝나는 그런 일이 아니에요

그냥 사람이 하던 일을

에이전트 중심의 조직과

워크플로우로 어떻게 바꾸지에서

시작을 합니다

그러면 그냥 모든

개인과 조직과 팀이

가지고 있는 문제들을

가지고 와서 어떻게

이 문제들과 프로세스를

효율적으로 개선할

것인가를 고민하고 탐구하고

시스템적으로 설계를

하려고 하다 보니까

다 할 수밖에 없어요

그래서 자체 안에서도 만들고

메모리 시스템도 만들고

툴링, 인프라,

애플리케이션도 만들고 당연히

그리고 FDE라고 하는

Forward Deployment Engineer들을

배치를 해가지고 실제로 컨설턴트처럼

이렇게 각 팀들을 도와주는

일도 같이 하고 있습니다

아마 모든 조직이 그럴 거라고

생각을 해요 다 합니다

다 안 할 수가 없어요

그럼 두 번째 장으로 들어가서

어디서부터 시작하는가?

AX는 도대체 뭔가?

기술인가, 프로세스인가,

컬처인가, 뭔가?

보도록 하겠습니다

이 질문을 또 많이 받았거든요

보통 AX를 한다고 하면

AI 잘 쓰는 똑똑한 사람

한 명 뽑아가지고 그 팀의 프로세스를

바꿔야 하는가라고 많이 물어봐 주세요

그리고 실제로 그런 일들이 많은 것으로

알고 있습니다

Meta 안에서도 많이 봤고

밖에서도 정말 많이 봤고

그럴 수밖에 없는 게

AI 전문가라는 게 사실 없었잖아요,

몇 년 전까지만 해도

그러다 보니까 early adopters들,

AI를 조금 많이 써봤다 하는 사람들,

노하우들이 쌓인 그런 사람들 중심으로

프로세스를 만들어가는

과정들이 많았어요

하지만 제 생각에 AX

챔피언을 하나 뽑아서

그 팀을 바꾸려는 노력보다

리더십적인 차원으로

이 조직의 프로세스, 문화를 바꾸는 게

훨씬 더 중요하다라고

생각이 이제는 들어요

AI 써가지고 프롬프트 잘 써서

뭔가 보고서를

좀 더 빨리 만들었다 해봤자

결국 그 조직에 대한

않으면 사실 쓸모가 크게 없다고

생각이 되거든요 그러니까 병목 현상을

풀지 않으면

그 프로세스가 바뀌지 않는 거예요

예를 들어서 한국의 기업이

아무리 AI를 도입하고

AX를 한다고 해도 한글과 컴퓨터

HWP 파일을 굳이 고집을 한다면

프로세스가 바뀌지

않을 확률이 되게 높죠 왜냐하면 그거에

맞춰야 되니까 그러니까 그 병목 현상에

똑같이 들어가게 되는 거예요

그러면 사람들이

가지고 있던 그 프로세스의

주도적인 변화를

가져오기 어렵기 때문에 바뀌기 어렵다

그래서 챔피언 하나하나 두는 것보다

조직으로 봤을 때는

리더십이 바뀌어야 된다,

리스크 테이킹이 필요하다고

생각을 합니다

두 번째,

지식도 인력도 부족합니다

어디서부터 시작을 해야 되나요?

해야 한다고 했을 때,

예를 들어서 내가 직원인데

AI를 좀 써봤다고 하니까

회사에서 "자, 너 AX 해."

그러면 어디서부터 해야 되는가

저는 이렇게 생각해요

이 사람이 하고 있는 일의 가장 큰 병목이

어딘가 그러니까 병목이라고 하면

1에서 100까지 해서

일을 끝낸다고 했을 때

그 1과 100 사이에

가장 리소스가 많이

들어가는 곳이 어딘가 예를 들어서

품질 검수라든지,

아니면 보고서를 만들어서

프레젠테이션을 하는 거라든지,

아니면 미팅을 한다든지,

이런 여러 가지들이 있잖아요

그 가장 귀찮고

시간이 오래 걸리는 일들을 어떻게 하면

우리가 AI를 써서, Agent를 써서

더 효율적으로 만들 수 있을까?

그 고민에서 시작된다고 생각을 합니다

실제로 저희도 그렇게

고민을 하고 있고,

그래서 Agent를 통해서

이 많은 비효율적인 부분들을

효율적으로 만들어

나가려고 하고 있어요

그 예를 드는 것 중에 하나가 미팅을 할 때

노트 테이킹을 반드시 하고

그거를 정리를 해서

보고를 해야 되잖아요

그거를 아직도 사람이

손으로 하고 있다면

이미 꽤 늦어진 게

아닌가라는 생각을 합니다

이제는 AI가 노트 테이킹 너무 잘하고

요약 잘하고 하다 보니까 그거를

바로 Prompt로 갖다 쓰기도 하고,

이러한 많은 개선들이

되게 필요한 것 같아요

그래서 병목부터 찾는 게

중요하다고 생각을 합니다

사내 Agent는

어떻게 시작되고 확산되나요?

AI 도구를 만들고 AI 툴링을 만들고

Plugin을 만들고

했을 때 그게 어디에서

시작되고 어떻게 나아가는지

질문을 많이 받았는데

저는 그렇게 생각해요 결국 모든 기업은

그 기업의 고유한

Harness가 어느 정도는 필요하다

Harness라고 얘기를 하면

일종의 툴킷 같은 거죠

Agent 엔진이 될 수도 있고,

오픈 코드라든지 이런 거 포크 해가지고

진짜 모델을 가지고

Harness를 쌓아올리는 것들이라고

볼 수도 있는데 그 이유는 사실 간단해요

이런 거를 쓰다 보면

그 회사가 가지고 있는

Internal API랑 연동시키는 게

사실 되게 어려워요 왜냐하면 우리가

Codex, Claude Code를

컨트롤할 수 없으니까

물론 Plugin 같은 거를

만들어서 모두 설치하게

한 다음에 룰 같은 거를

넣어가지고 따라할 수 있기는 하겠죠

하지만 조금 더 깊게

들어가다 보면 그거를 다 고치고

싶을 수밖에 없거든요

기업이 크다면 더 그럴 수가 있겠죠

작은 기업이면 안 그럴 수도 있겠지만

결국 대기업들은

다 저마다의 Harness를 만들게 될 것 같다

Meta도 그런 시도를 하고

있다까지만 말씀드릴 수 있을 것 같습니다

그리고 세 번째

무엇으로 측정하는가?

저는 이게 되게 중요한 부분 중에 하나라고

생각을 하는데 하나씩 한번 보죠

AX의 성공 지표는

어떻게 설정하나요?

이 질문을 정말 많이 받았고

저는 아직도 이 질문이 되게

중요한 부분을

차지하고 있다고 생각을 합니다

AX는 AI 도입을 시켜서

끝나는 게 절대 아니에요

어떤 기업에 들어가서

"AI 이렇게 쓰시면 됩니다"

하고 나와서 끝나는 게

저는 절대 아니라고 생각을 해요

그래서 만약에 여러분들이

AI AX 컨설팅을 받았는데

"Claude Code 이렇게 쓰시면 돼요"

Plugin 이렇게 만들면 돼요

당연히 도움이 되겠지만

저는 AX는 그거보다는

훨씬 더 본질적인 문제를

가지고 있다고 생각을 하거든요

그러니까 Cost Cutting

결국 AX도 Resource Management

그리고 Driving Impact

이 2개라고 생각을 해요

최소한의 자원을 가지고

최대한의 아웃풋을 어떻게 낼 수 있는가?

결국 모든 성공 지표는

이 기업이 똑같은 인원과

똑같은 리소스, 자원을 썼다고 했을 때

얼마큼의 더 많은 결과물을

나타낼 수 있었는가가

핵심 지표라고 생각을 하거든요

그래서 AI를 더 많이 썼다

토큰을 많이 썼다

이런 거는 사실 어떻게 보면

Proxy Metric으로 쓸 수도 있겠지만

결국 중요한 건 사업 본질 그 자체다

이거를 혼동하시면 안 된다는

말씀을 드리고 싶습니다

토큰 맥싱이

어느 정도의 트렌드였잖아요

AI를 많이 쓰고 토큰을 많이 쓰면

AI 정말 잘 쓰는 회사다

하지만 이제는 그

공식이 성립되지 않는다고 생각을 해요

그렇지 않다는 게 판명이 났거든요

실제로 어떤 아티클에서 봤는데

AI를 도입하고 토큰 맥싱을 해서

수십 조를 쓴 여러 가지 회사들의

자료들을 검토를 해봤을 때

통계적으로 실제로

더 많은 성과를 낸 회사들은

단 5%에 그치지 않았다라는

연구 결과가 있었던 것 같아요

그만큼 토큰을 쓴 만큼

아웃풋이 나오지 않기 때문에

토큰을 계산하는 것보다

계속해서 비즈니스가

얼마큼의 가치 창출을 더 해낼 수 있었는가가

중요한 지표다라고 말씀드릴 수 있을 것 같습니다

그럼 이제 그다음 질문이죠

그러면 AI 도구를 만들어서

토큰도 많이 쓰고 사람들이 많이 좋아하고

쓰는 도구들을 만들었는데 이게

많이 쓴다고 좋은 게 아니잖아요

그럴 때는 어떻게 하나요?

이 가짜 도입, 가짜 성공 사례를

어떻게 판별하나요? 이게 사실 어떻게 보면

또 중요한 요소 중에 하나예요

그 측정 설계까지가 AX라고

저는 생각을 해요

그러니까 만약에 당장의 눈앞의 성과를

비즈니스 임팩트로 나타낼 수 없다면

그거에 대한 Proxy Metric을 만들어서

어느 정도 측정을 해야 된다고 생각을 하거든요

그래서 예를 들어서 어느 누군가의

시간을 10시간이 걸리던 걸 1시간으로 줄여줬다

그거를 측정을 해야 되고요

아니면 미팅을 시작해서부터 결과물이

나오는 데까지에

한 달이 걸렸었다면

그게 며칠로, 몇 주로 줄었는지 그런 것들

아니면 Efficiency,

그러니까 효율성을

어떻게 측정하는가는

프로세스마다 다르겠지만

결국 그 측정까지 하는 것도

AX의 부분 중에 하나다라고

말씀을 드릴 수 있을 것 같습니다

그냥 AI 도구 많이 만들었고

많이 썼다 해서 끝나는 게

아니라는 말씀을 드리고 싶은 거예요

이 다음 질문도 사실 비슷한 건데

임팩트가 숫자로 안 떨어지면

그다음, 리소스 쪽으로 들어가야 된다

리소스 utilization을 얼마나 잘했는가

시간과 자원을 얼마나

더 효율적으로 쓸 수 있었는가

그게 AX의 두 번째,

어떻게 보면 조금 더 측정

가능할 만한 임팩트 요소이지 않을까

생각을 합니다

그럼 그다음 운영은 어떻게 하는가

유지보수 그리고 피드백 루프

얘기를 해보자면요

"AX 이후의 유지보수는 어떻게 하나요?"

라는 얘기도 되게 많이 받았어요

그러니까 AX가 들어와서 컨설팅을 해서

AI를 도입을 하고

우리가 Claude Code를 쓰고 Codex를 쓰고

그다음은 어떻게 하는가

저는 이게 어떻게 보면

잘못된 AX의 정의라고 생각을 해요

AX를 맡는 사람들이

AI를 도입하고 사람들이

AI를 쓰면 된 거다라고 생각을 하는데

저는 AX의 끝이 그거보다는

훨씬 더 방대한 목표라고 생각을 하거든요

처음에 말씀드렸다시피

인간이 일해왔던 프로세스와 작업,

그리고 조직까지 재구성하고

재편하는 거라고 생각을 하거든요

그러니까 Agent 중심이 되어야 되는 거예요

사람은 정말 필요할 때만 들어가서

개입을 해야 되는

Human in the Loop 시스템을

궁극적으로 만드는 게 AX의 목표라고 생각하는데

예를 들어서 유지보수 같은 것도

사람들이 "이거 안 되는데요."

"이거 숫자 이상한데요."

이런 것들을 얘기하는 거잖아요

그것조차 이 피드백 루프 안에 들어가야 된다

그게 진짜 AX다라고 말씀드리고 싶어요

뭔가 잘못돼도 그것도

시스템적으로 처리하는 것까지

만드는 그런 AX 시스템

그러니까 AX 이후 같은 거는 없다,

개선만 있을 뿐이다라고 말씀드리고 싶습니다

그럼 그다음 평가

평가 어떻게 하는 건가요?

production Agent를 만들었고

도구들을 만들었는데 어떻게 평가하는지

Prompt tuning을 했고

뭔가를 조금 바꿔봤는데 어떻게 평가하는지

이게 사실 가장 어려운 작업 중에 하나거든요

실제로 시간 소요가 가장 많이 드는 곳이기도 해요

Evaluation이라고 하는데 두 가지가 있어요

Online Eval, Offline Evaluation

그리고 사람들에 대한 피드백을

받는 UXR 같은 것도 있죠

Online Eval이라는 건 뭐냐면

사람들이 쓰는 거를 가지고

그 Trajectory를 Anonymize 해서

평가를 하는 거예요

사람들의 대화 그런 것들을 분석을 해봤을 때

이거는 좋은 Use Case다, 시나리오대로 흘러갔다

여러 가지 검증 단계가 있겠죠

좋은 답변이었다, 좋은 Interaction이었다,

좋은 Turn-by-turn conversation이었다

아니면 아웃풋이 금방 잘 나왔다

이런 것들. 아웃풋을 측정할 수도 있고

사람들이 쓰는 것들을 측정하는 게 있고요

그리고 Offline Evaluation 같은 거는 뭐냐면

우리가 미리 예상해보는 그런 질문들

예를 들어서 Agent를 만들었는데

이 Agent는 보고서를 작성하는 Agent다

그러면 이런 보고서도 만들 수도 있고,

이런 Prompt가 나올 수도 있고,

그런 것들을 많이 모아서 미리 다 돌려보는 거예요

Alex라는 사람이

시장 보고서를 부탁을 했을 때

이 보고서가 나왔을 때

그 보고서를 어떻게 평가하는가

여러 가지가 있는데 결국

평가 단계를 잘 구성하는 것도

이 AX 시스템의 중요한 부분 중에 하나다라는

것을 말씀드리고 싶습니다

Evaluation이 정말 중요해요

모델이 업데이트될 때마다 Harness와 부딪히면요?

그러니까 이거는 Claude Code가 업데이트됐다

Fable이 나왔다

근데 우리가 가지고 있던 스킬들이

갑자기 작동을 하지 않는 거예요

이것도 그 전 질문으로 돌아가서

Evaluation을 어떻게 하는가에 포함된다고 생각을 해요

그리고 Harness가 만약에 바뀌었을 때

그거를

충분히 검증하고

Evaluation을 한 상태에서

업그레이드를 해야지,

막무가내로 "Fable이 나왔으니까

무조건 다 바꿔."

이렇게 하면

사실 산으로 갈 수가 있다

그게 꼭 더 좋은 것은 아니다

그리고 실제로

Opus 5가 나왔을 때

Opus 4.8보다

안 좋다라는 얘기를 많이 받았거든요

그 이유도

사람들이 Claude 같은 거,

스킬, Harness 이런 것들을

다 세팅을 해놨는데 5가 비헤이비어가

완전히 바뀌었다 보니까

더 안 좋게 느껴지는 거죠

그래서 이런 Evaluation을

하는 것들을 잘 가지고 있어야

그 다음 모델이 다음 Harness가 주는

Benefit이 어느 정도인지,

Value-add가 어느 정도인지

측정을 할 수 있다

그런 것도 AX에 포함된다라고

말씀드릴 수 있을 것 같습니다

그다음 기준과

퀄리티 보도록 하겠습니다

이런 질문도 많이 받았어요

AI를 도입하고 나서

사람들이 다 바이블 코딩을

시작하고 이제 각자의

영역을 침범하게 된 거죠

개발자들은 디자인을 하게 되고

디자이너들은 개발을 하게 되고

갑자기 PM이 가져와서

"나 다 만들어봤는데 이거 되던데?"

하고 개발자한테 이렇게 들이민다든지

이런 게 마찰을 많이

만들어 내고 있는데, 이것도 결국

'퀄리티의 기준을

어떻게 만들 것인가?'가

저는 중요하다고 생각을 해요

당연히 앞으로

개발자니까 개발해야 돼,

디자이너만 디자인을 해야 돼,

이런 세상은 없어질 거라고 생각을 해요

그냥 누구든 아웃풋을 만들고

가지고 오면 그거를 쓸 수 있는 상태의

조직을 만들어야 된다고 생각하는데

그렇지 않다면

그 조직은 이미 뒤처지고 있는 거겠죠

그러니까 AX는 이런 컬처한 것들도

바꾸는 게 되게 중요한 거예요

누구나 코딩을 할 수 있게,

누구나 디자인을 할 수 있게

하지만 그거를 검증하는

시스템이 되게 중요한 거죠

왜냐하면 PM이 뭔가를 가져왔는데

개발자가 이거를 검수하고

검토하고 하려면 시간이 너무 오래 걸리니까

왜냐하면 PM 100명이

갑자기 모든 걸 들고 와서

개발자들한테 다 떠밀면

그게 오히려 더 낭비가 될 수 있잖아요

그래서 그거를 Objective하게

Scalable하게 그 기준을

가지고 만드는 것도 되게 중요하다는

말씀을 드리고 싶습니다

누구나 개발을 하고 누구나

디자인을 만들 수는 있되,

모두가

이 공평하고 체계적인 평가 기준 안에서

검증받고 소통할 수 있도록 하자

그것 또한 AX의

중심되는 부분 중에 하나라고

생각을 합니다

Evaluation이랑 결국 비슷하죠

Harness도 중요하고요

근데 그 조직의 문화도

개선이 되어야 되는 것 같아요

그다음, 그러면 이런 질문도 있었어요

"팀마다 갑자기 에이전트를

만들고 스킬을 만들고

Plugin을 만들어서

뭔가 보고서 작성하는

스킬이 100개다

어떻게 해야 됩니까?"

이게 실제로

되게 큰 문제 중에 하나거든요

특히 대기업인 경우에

이제 다 각자

Reinventing the wheel이라고 해가지고

다 똑같은 거를 100명이서

만들고 있는 거예요

그러면 리소스 낭비가 엄청 큰 거잖아요

그래서 AX는 또 어떻게 보면

그거를 중심되게,

리소스가 분산되지 않도록,

퀄리티에 집중을 할 수 있도록,

집중적인 투자를 할 수 있도록

그 인프라와 플랫폼을

만드는 것도 포함이 된다고 생각을 해요

그래서 예를 들면

스킬 마켓플레이스를 관리한다든지,

Plugin 같은 거 eval 시스템을 만들어서

퀄리티 컨트롤을 한다든지,

이런 것들이 되게 중요한데

서로 공유하되

검증할 수 있는 그런 플랫폼과

인프라를 만드는 것도 되게 중요하다고

말씀드릴 수 있을 것 같습니다

그다음, "정보

접근 권한과 보안 문제는 없나요?"

저는 사실 이게

AX의 가장 어려운 문제 중에 하나라고

생각을 하거든요

예를 들어서 만약에 어떤 회사가 있는데

이 회사는 너무나도 AI Native고

모두가 Align 되어 있기 때문에

모두가 저마다 Agent와

대화하는 그런 내용들을

다 서로가 공유할 수 있다 하고

모두가 도장을 찍고

괜찮다고 약속을 했다면 괜찮겠죠

하지만 절대 그럴 일이

없다고 저는 생각을 해요

왜냐하면 예를 들어서 요즘에는 카톡

보여주는 것보다

내가 ChatGPT랑 대화하는 게

더 보여주기 꺼림칙하다는

얘기도 많잖아요

그런 식으로

사람의 그런 Privacy와

Sensitivity를 지켜주는 게

되게 중요한데

그러면 쓸 수 있는

정보가 줄어드는 거거든요

그래서 되게 중요한 게

AX를 정말 잘 하고자 한다면 쓸 수 있는

데이터를 얼마나 안전하게

그리고 잘 정제해서

보관할 수 있는가가

저는 핵심 문제라고 보는데

회사 Internal Employee들이

납득할 만한

그리고 시스템적으로

보안이 잘 설계된

그러한 인프라와 플랫폼을

만드는 것도 되게

중요한 과제라고 생각을 합니다

그래서 이게 되게 어려워요

이게 보통 많은 것들을

Slow down시키는 것 같습니다

제 생각에는

특히 대기업일수록요

"AI 결과물에서

AI 느낌을 빼려면 어떻게 하나요?"

이거는 사실 스킬 문제죠

Prompt Engineering을

볼 수도 있고

Harness라고 볼 수도 있고

그냥 이 Evaluation도

똑같이 들어가는 건데

원하는 아웃풋이

계속해서 나올 수 있을

만큼 깎아내는 작업

그거를 보통 Harness Engineering이라고 하는데

많은 시도와

많은 피드백을 가지고

정제하는 그런 것들이

AX의 어떻게 보면

핵심이 될 수 있겠죠

계속해서 피드백을 주는 거예요

"이 보고서는 이게 좀 별로인데."

"이 비주얼은 이게 좀 별로인데."

"이 글은 이런 오타가 있었는데."

그거를 계속해서 피드백으로

줘서 그 Prompt Tuning을 시키는

게 되게 중요하다고 생각을 합니다

앞으로 사람의 일은

보통 이런 피드백 위주의

Harness Engineering이지 않을까라고

생각을 합니다

에이전트한테 가르쳐주는 거죠

"이렇게 하지 마, 저렇게 하지 마,

앞으로 이렇게 해."

그다음 커리어 들어가 보죠

"AX는 코어하고 거리가 있는

소모적인 커리어 아닌가요?"

이러한 얘기를 또 제가 많이 들었거든요

뭔가 AX를 하고 나면

내 직업을 결국 내가

Replace 하는 거 아니냐

나는 Agent한테

모든 거를 위임시켜 준

다음에 나는 잘리는 거

아니냐고 많이 얘기를 하시는데

저는 오히려 완전히

반대라고 생각을 하거든요

정말 AX의 핵심은

비즈니스 그 자체라고 생각을 해요

그러니까 병목이 어디여서 어떤 식으로

사업이 비효율적으로 돌아가고

우리가 일을 할 때

그 프로세스의 비효율이

어디서 나타나는가를

정확하게 짚고 그 솔루션을 만드는 게

AX의 중심이라고 생각을 하기 때문에

AX를 배우면 배울수록

비즈니스를 더 잘 굴릴 수 있는

인재로 거듭난다는

생각을 저는 가지고 있어요

그러다 보니 뭔가

AX적인 커리어를 가져간다고 해서

내가 보통

SI라고 하는 시스템 서포트 해주고

그리고 나는 버려지는

그런 커리어라고 절대 생각을 하지 않아요

AX의 본질은 비즈니스다

프로세스다

운영이다

그리고 그 모든 역량은

반복해서 쓸 수 있다

그러한 능력이 있는 사람은 어딜 가서도

그 어떤 비즈니스에서도

프로세스를 optimize 할 수 있는

Agentic Workflow를 만들 수 있는

사람이 될 수 있다고 생각을 합니다

그러니 절대 소모적인 거라고 생각하진 않아요

그다음 질문

"Meta AX Tech Lead가 되려면

어떤 길을 밟아야 하나요?"라고도

질문을 받았는데

이거는 저도 좀 재미있는

부분인 것 같아요

세 가지라고 말씀을 드리긴 했는데

첫 번째는 reputation을

제가 잘 쌓아왔죠

한 팀에서 8년, 9년 일을 했고

차차 제 커리어를 쌓았기 때문에

"얘는 믿고 맡길 수 있다"라는

reputation을 쌓았다고 생각을 하고요

그리고 두 번째는

제 팀 밖에서의 risk taking,

AI Native한 시도를 계속해서 해왔어요

저는 광고팀이었지만

계속해서 이런 Plugin,

Skill 아니면 Claude Code 가르치는

educational program 이런 거를

많이 리드했고 발표를 많이 했기 때문에

"쟤는 AI 잘 쓰는 애"라고

인식을 받아왔던 것 같아요

그리고 실제로 제가 사이드로 했던 게

이 AX의 중심이 되는

사업 부분 하나로 채택이

되면서 자연스럽게 리크루팅이 됐죠

세 번째는

리더십이 정말 중요하다고 생각을 하는데

AX의 가장 큰 부분 중에

하나가 남들을 설득하는 일이거든요

그러니까 갑자기

누군가의 사업체에 들어가서

"나 엄청 좋은 솔루션 있으니까

그냥 무조건 쓰세요."

하면 아무도 안 쓸 거예요.

그 사람들의 문제점을 파악하고

소통하고 그들을 위한,

그들이 정말 원하는

솔루션을 잘 만들어서

설득하는 과정까지가

리더십과 action-driven한 거라고

생각을 하는데,

그 모든 것들을

잘 쌓아 올려야

그런 기회가 주어지지 않을까라고

생각을 합니다

저도 운이 너무 좋았죠

그다음 해외 빅테크 AX,

영어가 우선인지 질문을 받았는데요

저는 이것도 앞서 말씀드린 것처럼

AX가 기술이기보다는

프로세스, 운영,

비즈니스 중심적인

재정의, 재편이라고

생각을 하기 때문에

이 커뮤니케이션 능력이

정말 중요하다고 생각을 하거든요

그러니까 문제점을 잘 파악해야 되고,

그 솔루션을 잘 만들어 와야 되고,

그거를 잘 팔아야 돼요

설득시켜야 되는 거죠

그러다 보니까

영어가 중요할 수밖에 없다고

말씀드릴 수밖에 없을 것 같습니다

오히려 기술이 조금 덜 중요한 것 같아요

물론 잘 알아야 되지만

AI도 많이 써보고

기술 스택 같은 것도 잘 알아야 되고,

어떤 Harness가 어떤 Skill이

어떤 Prompt Engineering이

어떨 때 잘 먹히는지,

Eval은 어떻게 굴리는지,

Online, Offline Evaluation

이런 거 많이 얘기했잖아요

그런 것도 당연히 Default로

가져야 되지만 설득하고

커뮤니케이트하는 게

훨씬 더 중요하다고

말씀드릴 수 있을 것 같습니다

그다음, 일반 개발자들은

무엇을 목표로 해야 되나요?

저는 목표는 똑같다고 생각을 해요

내가 주어진 리소스를 가지고

얼마큼의 더 많은 아웃풋을

효율적으로 성취해 나갈 수 있는가

그러려면 더 많이 도전하고

더 많이 실패하고 거기서 배움을 얻고,

그리고 거기서 얻은 성장을

토대로 더 많이 이루어내는

것밖에 없다고 생각을 합니다

더 많이 Risk Taking을 해야 되고

더 빠르게 Early Adopter가 되어서

도전하고 만들어 나가는

수밖에 없다고 생각을 해요

당연히 남들을 설득하는 능력도 필요하고요

그럼 마지막,

이런 질문을 받았어요

"어차피 AI가 다 딸깍하면 되는 건데

AX는 그럼 뭘 하냐?"

근데 이거는 사실 AX를 좀 해봤다,

AI를 써봤다 하시는 분들은

다 아실 거예요 AI는 결코 딸깍한다고

다 만들어주지 않습니다

그래서 저는 오히려 이렇게 얘기하고 싶어요

진짜 그 딸깍 버튼이 될 수 있도록

더 많이 깎고 더 많이 도전하고

더 많이 투자해서

정말 최고의 사용자 경험을

만들 수 있게 해준다

심지어 딸깍 버튼을 누르지 않고서도

모든 것들이 이루어져 있는

그런 시스템을 구축하는 게

중요하다라고 말씀드릴 수 있을 것 같습니다

완전히 자동화된 회사

사람의 1분 1초가

정말 귀해지고 중요해지는

그런 시스템을 만드는 게

중요하겠죠

그래서 마지막으로 한 줄을

AI가 이렇게 정리를 해줬는데,

AX의 끝은

AI를 잘 쓰는 회사가 아닙니다

Human on the Loop을

만든 회사입니다

그리고 아직 그런 회사는

저는 없다고 생각을 해요

예를 들어서 회사의 95%의 결정을

Agent가 다 하고

나머지 5%의 결정을

사람이 하는 그런 회사는

아직까지는 만들어지지

않은 것 같은데,

궁극적으로 그런 게

목표가 되지 않을까

근데 그렇다고 해서

저는 사람이 잘린다고

생각하지도 않거든요 물론 여러 가지

변화의 과정들은 있겠지만

그러면 우리가 하고 있는 일이

지금 5%에

할당하게 된다면 회사는

20배만큼 더 많은 성과를

이뤄낼 수 있는 거잖아요

그러한 회사들을 꿈꾸고 있는 게 지금의

AX 조직들이라고 생각을 합니다

그래서 이 모든 것들을

블로그도 만들었으니까,

링크 달아둘 테니까 한번 참고해 보시면

좋을 것 같고요

그래서 오늘은 제가

AX 조직에 지금

한 반년 정도 몸을

담으면서 체득했던, 제가 생각하는,

그리고 주워들은, 그리고 배운 것들을

한번 정리해서 말씀드려 봤는데요

사람들의 관심이 정말 많은 만큼,

그리고 이거에 대한 정말

너무 많은, 어떻게 보면

노이즈가 많은

정보들이 있는 만큼

한번 추려서 정리해 드려보고

싶었습니다

이 외에도 추가적으로

질문이 있으신 분들은

언제든지 댓글이나

이메일 남겨주시면

제가 꼭 답변드릴

수 있도록 하겠고요,

그 외에도 카톡방 아니면

AI 네이티브 강의도

따로 운영하고 있으니까

더보기란에서 한번

참고해 주시면 감사하겠습니다.

드디어 제가 다음 주부터

육아 휴직을 쓸 수 있게 되었는데

조금 쉬어가면서도

여러분들에게

양질의 콘텐츠를 제공해 드리기 위해서

계속해서 고민하고

노력해서 콘텐츠

잘 깎아 오도록 하겠습니다

감사드리고

커리어 해킹하시는 한 주

되시기를 진심으로 바라겠습니다

안녕!