1. 책에서 가장 인상적이었던 내용
기술자를 존중하는 투명한 문화
이 책에서 특히 깊은 인상을 받았던 것은 ‘기술 중심의 리더십’을 표방하면서도, 그 리더십이 소수의 C-level 임원진에게만 독점적으로 적용되는 것이 아니라 조직 내 다수의 직원들과 직접적으로 공유·소통되는 방식이었다.
전통적인 기업 구조에서는 대개 중요한 의사결정이 임원진이나 고위직을 통해 하향식으로 이루어지고, 현장 실무자들은 그 결과만을 통보받거나 간략히 전달받는 경우가 많다.
반면, 엔비디아가 보여준 리더십은 지극히 ‘투명하고 개방적’이었다. 고위 임원이 아니라도, 각 부서나 실무 담당자들이 자신이 맡은 프로젝트 및 기술 현안에 대해 CEO인 젠슨 황을 포함해 서로 자유롭게 의견을 주고받는다.
이러한 구조가 가능했던 배경에는 엔비디아가 표방하는 ‘기술 중심의 철학’이 자리 잡고 있다.
기술 중심의 철학, 철저히 투명한 조직문화, 그리고 젠슨 황
책에서는 젠슨 황이 “위계보다 능력과 열정이 우선이다”라고 강조하는 대목이 자주 언급되는데, 이는 곧 엔비디아가 직원 개개인이 가진 전문지식과 문제 해결 능력을 얼마나 높이 사는지, 그리고 이를 조직 전체의 결정과 실행에 어떻게 연결하는지를 잘 보여주는 예시다.
기술 트렌드가 빛의 속도로 변하고, 그에 따라 신제품이나 신기술의 출시 주기가 짧아지는 21세기 시장 환경에서는, 현장의 엔지니어와 연구자들이 새로운 동향을 포착하고 직접 아이디어를 내는 과정이 무엇보다 중요하다. 소수의 경영진만이 모든 것을 결정한다면, 현장과 괴리된 전략이 나오기 쉽고, 변화에 민첩하게 대응하는 것이 어려워진다.
또한 책에서 젠슨 황은 “정보는 막힘없이 흘러야 한다”라는 철학을 자주 강조한다. 이는 엔비디아 직원이라면 누구든 회사의 비전과 목표, 그리고 현재 진행 중인 프로젝트가 어디까지 진행되었는지 파악할 수 있어야 한다는 뜻이다. 폐쇄적인 정보 구조는 혁신을 가로막고, 현장 직원들이 빠르게 상황을 파악해 대응하지 못하도록 만든다는 것이 젠슨 황의 주장이다.
엔비디아에서는 이러한 ‘투명한 정보 공유’를 바탕으로, 사소한 디테일부터 거시적 사업 전략에 이르기까지 복잡하고 다단계적인 의사결정 과정을 하나로 묶어낼 수 있었다. 그 결과, 우리가 종종 뉴스나 업계 소문으로만 접하던 “엔비디아는 회의실 불이 새벽까지 꺼지지 않는다”라는 말이 가능해진 것이다.
엔비디아가 경쟁 우위를 점한 비결은 조직문화와 리더십
기술 중심의 리더십은 단순히 “최고의 기술을 개발하자”라는 구호로 끝나는 것이 아니라, 그 기술을 다루는 인재들의 가치를 인정하고, 프로젝트의 중요한 순간마다 실제 기술 담당자들이 주도적으로 참여해 문제를 해결할 수 있도록 ‘문’을 열어주는 것이다. 엔비디아는 GPU라는 하드웨어 분야에서 시작했지만, AI, 자율주행, 로보틱스 등 다양한 산업으로 빠르게 진출할 수 있었던 이유 역시 이러한 개방적·통합적 접근이 뒷받침되었기 때문이다.
한편으로는 이러한 구조가 유지되려면, 리더 스스로가 날카로운 기술적 통찰력을 갖추고 있어야 하며 동시에 팀원들의 이야기를 경청하는 자세가 필수적이다. 젠슨 황은 소통할 때 방대한 자료나 복잡한 보고 체계에 의존하기보다, 핵심 요점을 가장 먼저 간결하게 짚어내고, 관련 팀원들이 즉시 피드백할 수 있는 환경을 조성한다.
팀원들은 CEO가 기술적인 세부사항까지 어느 정도 이해하고 있다는 것을 알고 있기 때문에, “어차피 윗선은 모른다”라는 체념이나 “보고용 자료만 잘 포장하면 된다”라는 태도가 일어나기 어렵다. 이 책에서 말하는 ‘위계 없애기’, ‘이야기는 간결하게, 우선순위 먼저’라는 원칙이 바로 여기에 적용된다.
결국, 책에서 제시되는 기술 중심의 리더십이란 ‘조직의 모든 층위가 동일한 비전을 공유하고, 기술적 현실에 대한 이해를 바탕으로 빠른 의사결정을 내리며, 소통이 막힘없이 이루어지도록 돕는 리더십’을 의미한다.
소수의 임원진만이 정보를 독점하고 지시를 내리는 방식이 아니라, 현장의 엔지니어와 과학자, 디자이너와 마케터 등 각 직무가 가진 전문 역량과 창의력을 적극적으로 활용해 조직을 움직이는 것이라 볼 수 있다.
21세기와 같은 초고속 기술 환경에서는 ‘선(先) 결정, 후(後) 공지’ 방식으로는 탁월한 혁신을 이루기가 어렵다. 엔비디아는 이미 그 반대의 문화를 만들어냄으로써, 복잡다단한 AI 시대에 누구도 넘볼 수 없는 경쟁 우위를 확보했다.
이러한 리더십 방식은 내외부적으로 많은 노력과 통찰력을 요구하지만, “가장 일하고 싶어 하는 회사”와 “끝까지 함께하고 싶은 회사”를 만들기 위해서는 필수불가결한 요소라는 점을 이 책에서 확실히 느낄 수 있다.
본문 곳곳에서 만나게 되는 엔비디아 내부의 에피소드는, 직원들이 자신이 하는 일에 얼만큼 몰입하고, 또 회사가 기술적 도전에 과감히 투자하도록 독려하고 있는지를 생생하게 보여준다.
이른바 ‘통념을 벗어나는 아이디어’가 제대로 빛을 발하기 위해서는 리더가 직접 직원들과 마주 앉아 문제를 검토하고, 필요하다면 과감하게 의사결정을 해주는 순간이 반드시 필요하다. 그리고 그러한 순간이 많이 발생할수록, 엔비디아는 무서운 기세로 성장할 수 있었다.
💡 삼성 AI LLM 연구원이 추천하는 엔비디아의 성공 비법서,
<더 라스트 컴퍼니> 더 자세히 보러가기
2. 직무에 관해 얻은 인사이트
모르는 것을 모른다고 하는 용기, ‘지적 정직함’
삼성 SDS AI 연구원으로서, 특히 Retrieval Augmented Generation(RAG) 분야에 대한 연구를 진행하면서 가장 크게 와닿은 책의 핵심 가치는 바로 ‘지적 정직함(intellectual honesty)’과 ‘실패로부터 배우는 태도’였다.
엔비디아가 성공 궤도에 올라서기 전까지 여러 번의 시행착오를 겪으면서도, 자신들이 정확히 무엇을 알고 무엇을 모르는지 겸허히 인식하고, 끊임없이 이를 개선하기 위해 조직 내부의 소통을 투명하게 유지했다는 점이 특히 인상적이었다. 이는 AI 연구 영역, 특히 RAG 시스템을 다룰 때 기본적으로 갖춰야 할 태도와 정확히 일치한다.
RAG는 대규모 언어모델(LLM)이 가진 ‘hallucination’ 문제를 줄이기 위해 신뢰할 수 있는 외부 지식 혹은 문서를 끌어와서 응답의 정확도를 높이는 방식을 취한다. 이때 개발자는 모델이 어떤 맥락에서 강점을 가지는지, 또 어떤 영역에서 한계를 가지는지 명확히 알아야 한다.
그러나 종종 프로젝트를 진행하다 보면, 모델의 잠재력에만 기대어 실제로 부족한 부분을 마치 충분히 해결할 수 있을 것처럼 과장해버리는 경우가 생긴다. 혹은 모델이 제공하는 답변을 ‘정확하다’고 가정하고 세부 검증 과정을 생략해버리는 상황도 빈번하다. 엔비디아와 젠슨 황이 말하는 ‘지적 정직함’은 바로 이런 함정에 빠지지 않도록 자기 인식 능력을 개발하고, ‘모르는 것을 모른다’고 분명히 선언할 수 있는 용기를 의미한다.
내가 맡고 있는 RAG 연구에서는 새로운 알고리즘을 실험할 때 종종 기대했던 결과가 나오지 않는 상황이 발생한다. 이는 모델이 예측하거나 생성해내는 결과가 실제로는 틀렸거나, 혹은 정답율을 높이기 위해 시도한 방법론이 기존 대비 오히려 성능 저하를 가져오는 경우도 포함된다.
과거에는 이러한 실패를 ‘문제 없는 것처럼’ 덮거나, 단순히 데이터 처리 실수로 치부하며 넘어가려는 유혹이 있었다. 그러나 엔비디아의 사례는 실패의 과정을 투명하게 공유하면서, 무엇이 실패를 야기했는지, 그리고 그 실패가 차후 개선 혹은 신규 아이디어를 얼마나 촉발시킬 수 있는지 면밀히 살펴보는 문화가 얼마나 중요한지를 보여준다.
엔비디아는 수없이 실패하면서 배웠다
엔비디아가 말하는 ‘실패에서 배우라’는 메시지는 RAG 연구에서도 그대로 적용된다. 예컨대, 대규모 언어모델 기반의 QA 시스템이 특정 분야(의학, 금융, 법률 등)에 대한 지식을 온전히 커버하지 못해 실패한다면, 그 원인이 ‘모델 파라미터가 부족해서인지’, ‘지식 그래프의 구조가 잘못되었는지’, ‘인덱싱 및 검색 절차에 최적화가 필요한지’ 등을 하나하나 살펴봐야 한다. 또한 실패를 통해 드러난 약점을 보완하기 위해 다른 접근 방식을 시도해보는 과감함도 필요하다.
엔비디아는 새로운 아키텍처나 기능을 시험해볼 때, ‘가설이 틀렸다면 왜 틀렸는지 더 깊이 파고들자’라는 태도로 꾸준히 실험하고 있었다. 결과적으로 이들의 실패 경험은 향후 AI 산업에 예측 불가능했던 아이디어의 씨앗으로 자리 잡았다는 것이 책에서 강조되는 부분이다.
결국, 내 직무인 AI 연구, 특히 RAG에서 중요한 것은 ‘모든 것을 아는 척하지 않고’ 모르는 것을 인정하고 파고드는 자세, 그리고 실패하는 과정을 두려워하지 않고 오히려 학습 기회로 삼는 태도다. 이러한 자세는 복잡도가 높은 AI 프로젝트에서 오히려 팀 내 신뢰를 높이고, 연구 방향을 보다 견고하게 설정할 수 있도록 돕는다.
책에서 제시하는 ‘지적 정직함’과 ‘실패를 통해 배우라’는 원칙은, 단지 말뿐인 가치가 아니라 RAG 프로젝트와 같은 고난도의 연구에서도 필수적으로 요구되는 탁월한 조직문화이자 개인의 역량 증진 전략이라 할 수 있다.
3. 책이 AI 업계에 던지는 화두는
RAG에게도 지적 정직함이 중요하다
엔비디아가 제시한 주요 성공 요인 중 하나는, AI 시대를 준비하고 이끌기 위해 GPU 기술을 극한까지 발전시키고, 이를 통해 대규모 언어모델(LLM)과 같은 혁신적 기술을 뒷받침해왔다는 점이다. 이는 RAG 분야에도 상당한 함의를 준다. RAG는 LLM의 한계를 보완하기 위한 방법론으로, 엔비디아가 GPU 생태계를 적극적으로 확장하며 AI 솔루션의 시장 지배력을 강화한 것처럼, 우리 업계도 RAG에 대한 인프라와 생태계를 구축해 나가는 과정이 필수적일 것이다.
구체적으로, LLM의 발전 속도는 GPU 성능의 향상과 밀접한 관련이 있다. 책에서 강조하는 ‘황의 법칙(Huang’s Law)’은 기존 무어의 법칙을 넘어서는 AI 처리 능력의 기하급수적 성장을 이야기한다.
덕분에 AI 모델은 점점 더 방대한 파라미터와 더욱 복잡한 구조를 채택하게 되었는데, 이는 RAG 시스템에서도 마찬가지다. 특히 Retrieval 파이프라인이 고도로 정교해질수록, 대규모 문서 집합에서 즉각적으로 적합한 정보를 검색하고, 다시 모델에 피드백해주는 과정이 GPU 자원의 성능에 크게 의존하게 된다. 따라서 엔비디아의 최첨단 GPU 기술은 RAG 시스템의 처리 속도 및 추론 성능을 극적으로 향상시켜줄 수 있으며, 이는 곧 더 빠르고 정확한 질의응답 또는 검색 결과를 제공할 수 있음을 의미한다.
하지만 RAG 업계가 놓치지 말아야 할 포인트는 단지 “모델 성능이 좋아졌으니 문제 없다”라는 식의 안일한 태도를 지양해야 한다는 것이다. LLM의 ‘hallucination’ 문제는 여전히 존재하며, 엔비디아가 새로운 하드웨어와 AI 플랫폼을 제시한다고 해서 그 문제가 스스로 해결되지는 않는다. 책에서 엔비디아의 조직 문화와 젠슨 황의 리더십이 강조되는 이유도, “새로운 가능성이 열렸을 때, 어떻게 적절한 문제 인식과 우선순위를 가지고 활용해나갈 것인가?”에 대한 답이 그들의 문화 속에 담겨 있기 때문이다.
우리 업계에서 RAG가 더욱 자리잡기 위해서는 대규모 언어모델에게 ‘이해하지 못하는 것을 아는 척하지 않도록’ 설계하는 것이 중요하다. 이는 엔비디아가 추구하는 지적 정직함과도 일맥상통한다. 모델이 자신이 모르는 분야에 대해서는 “나는 이 부분에 대해 확신이 없다”고 명시하거나, 추가 정보를 탐색하는 과정을 밝힘으로써, 신뢰도를 한 단계 높일 수 있어야 한다.
또한 프라이빗 환경에서의 RAG 활용 역시 빠질 수 없는 이슈다. 의료, 금융, 제조 등 각종 산업에서 민감 데이터나 기업 내부 문서가 LLM을 학습하는 데 직접적으로 노출되기 어려운 상황이 많다. 이때, 고성능 GPU 기반의 사내 전용 RAG 시스템을 구축해 내부 데이터만을 활용하여 질문에 답하도록 하는 방식을 고민해야 한다. 책에서 언급된 ‘하나의 구조, 하나의 팀’이라는 메시지는 이러한 상황에서 기술과 비즈니스를 긴밀히 연결하는 협업 구조를 강화해야 함을 시사한다.
또한, 엔비디아가 ‘카니발라이제이션’(스스로를 끊임없이 혁신하고, 과거 제품을 스스로 대체하는 것)을 통해 시장을 선도해온 사례는 RAG 업계에도 시사점이 많다. 우리에게도 현재의 LLM/RAG 모델이 언젠가 구식이 될 수 있다는 가정 아래, 새로운 아키텍처나 접근 방식을 도입해 ‘자기 잠식’을 두려워하지 않는 태도가 필요하다.
이는 책에서 말하는 “끝까지 함께하고 싶은 회사”, “가장 일하고 싶은 회사”가 가지는 핵심 동력 중 하나인 끊임없는 변화 추구와 맞닿아 있다. 결국 RAG 분야도 엔비디아가 보여준 혁신 패턴을 벤치마킹하여, 한편으로는 고성능 하드웨어를 적극 활용하고 다른 한편으로는 기술적, 문화적, 전략적 혁신을 멈추지 않는 태도로 경쟁력을 유지해야 한다는 결론에 도달하게 된다.
4. 책이 나의 커리어 성장에 미친 영향은
‘나를 뛰어넘는 자세’를 실천한다는 것
나는 이 책을 통해 특히 “빛의 속도로 대응하라(Speed of Light)”라는 구절에 깊은 인상을 받았다. 엔비디아가 미래 기술 트렌드의 변화를 재빨리 포착하고, 조직 전체가 일사불란하게 움직이면서 경쟁자를 압도하는 모습은 나의 커리어 전략에도 큰 영감을 주었다.
빠른 대응은 단지 ‘속도’를 의미하는 것이 아니라, 시장의 니즈와 기술의 발전 속도를 예리하게 감지하고, 그에 따라 우선순위를 조정하며 의사결정을 내리는 ‘민첩성(agility)’을 의미한다. 내가 담당하고 있는 RAG 연구 프로젝트에서도, 환경 변화와 새로운 데이터, 새로운 모델 아키텍처가 등장했을 때 가능한 한 빨리 실험하고 결과를 공유하며, 연구 방향을 조정하는 일련의 프로세스가 중요하다.
더 나아가 이 책을 읽으면서 ‘자신을 뛰어넘는 자세’를 실천한다는 것이 무엇인지 생각해보게 되었다. 엔비디아가 끊임없는 혁신을 통해 GPU 시장을 장악한 것처럼, 개인도 현재의 역량에 안주하지 말고 새롭게 등장하는 문제와 기술을 적극 수용해야 한다.
나의 경우, RAG가 급격히 부상하면서, 텍스트 뿐 아니라 이미지, 음성, 동영상 등 다양한 형태의 데이터를 처리할 수 있는 모델에 대한 지식을 강화하고 있다. 이때 단순히 “지금 이 정도면 충분하겠지”라고 머무르는 것이 아니라, 다음 단계, 그리고 그 다음 단계까지 미리 준비하려는 끊임없는 욕심과 열정이 필요하다는 점을 배웠다.
또한, 나는 현재 과제 PM으로서 프로젝트를 총괄하고 팀원들을 이끄는 역할을 맡고 있다. 이 책에서 말하는 ‘핵심 가치를 팀원들과 공유하고 하나의 목표를 이루기 위해 끊임없는 소통과 빠른 의사결정으로 주어진 과제를 성공적으로 이끌어가라’는 조언은 나에게 시사하는 바가 크다.
빠른 의사결정은 결코 독단이나 무모함과 동일한 말이 아니다. 오히려 ‘투명한 정보 공유’, ‘문제 해결을 위한 유연한 협업’, ‘명확한 우선순위 설정’이 뒷받침되어야만 가능하다. 팀원 각자가 자신의 역할과 책임을 분명히 인식하고, 공동의 목표를 향해 단합할 수 있도록 소통하는 과정이야말로 빠른 대응을 현실화할 수 있는 근간이 된다.
결과적으로 이 책이 내 커리어에 던져준 통찰은 크게 세 가지로 요약할 수 있다.
첫째, 엔비디아가 말하는 ‘끝까지 함께하고 싶은 조직’을 만들기 위해서는 개인적 성취 만을 쫓는 것이 아니라, 지적 정직함과 실패 학습 문화를 포함한 조직의 가치를 지키고 키우는 데 노력해야 한다는 점이다.
둘째, 기술 트렌드와 시장의 움직임을 예리하게 파악하고 빛의 속도로 대응하는 기업과 개인만이 살아남는 시대가 되었다는 점이다.
셋째, PM으로서 팀의 역량을 극대화하기 위해서는 신뢰와 투명성을 기반으로 신속한 의사결정을 내리고 실행하는 태도가 필수적이라는 점이다.
이러한 교훈들은 단지 추상적 이론이 아니라, 내가 매일 맞닥뜨리는 RAG 연구의 팀 프로젝트 현장에서 곧바로 적용할 수 있는 ‘실전 매뉴얼’과도 같다. 앞으로도 이 책에서 얻은 ‘황의 법칙’과 ‘AI 혁신’의 원칙들을 내 일에 녹여내어, 나 자신을 뛰어넘고 더 나아가 팀 전체가 새로운 가치를 창출할 수 있도록 노력할 것이다.
그리고 이 책에서 언급된 “카니발라이제이션”의 정신으로, 내 현재 성과나 방법론을 언젠가는 스스로 대체하고 더 뛰어난 방식으로 이끌어낼 수 있기를 기대한다. 그렇게 함으로써 AI 업계에서 끊임없이 변화를 이끌어가는 주체가 되겠다는 다짐을 다시금 하게 된다.
삼성 AI 연구원, 훈님임님의 서평 어떠셨나요?
💡 삼성 AI LLM 연구원이 추천하는 엔비디아의 성공 비법서,
<더 라스트 컴퍼니> 더 자세히 보러가기
글만 쓸 수 있다면 부수입을 벌 수 있습니다.
부수입이 되는 콘텐츠를 구독해보세요!