어떤 걸 고르시겠어요? 영화 매트릭스를 보면 주인공이 빨간약과 파란약 가운데 어떤 걸 선택해야 하는지 질문을 받는 장면이 나오죠. 파란약은 기억을 모두 지우는 것이고 빨간약은 영화 속에서 말하는 현실, 그러니까 메인 시스템을 해킹할 수 있는 신호를 내는 코드를 심게 되어 매트릭스와 실제 세계를 오갈 수 있게 되는 것이었죠.

요즘 감기 몸살이 유행처럼 번지고 있습니다. 개인적으로도 몇 주 동안 고생을 했는데 아직도 아예 끝난 것 같지는 않습니다만. 아무튼 오늘 후배도 몸살이라고 하면서 약을 꺼내던데 참 재미있네요. 파란색(녹색)과 빨간색 2가지 캡슐이 있지 뭡니까?

뭔가 싶어 물어봤더니 파란색은 잠이 덜 오게 조제한 것이고 빨간색은 잠이 오는 성분이 더 들어간 것이라고 합니다. 빨간색 먹으면 현실과 꿈속을 헤매게 되는군요. 매트릭스와 현실세계를 오가는 것처럼 말이죠. 이거 참 한참 아플 때가 지나서 아쉽군요. 주인공처럼 뭐 총알 피할 걱정이 아니라 몸살 때문이지만 덕분에 빨간색이냐 파란색이냐 철학적인 고민도 좀 하면서 먹을 수 있었는데. ^^

오늘 검색엔진을 개발하는 회사 관계자가 놀러왔었습니다. 전공이 전공인지라 관심이 또 관심인지라 당연지사 검색엔진과 검색 시장에 관한 얘기가 안줏거리였습니다. 이 회사는 구글을 따라잡겠다는, 아니 이보다는 구글 이상(Beyond Google)이 되겠다는 야심찬 포부가 있는 곳입니다. 요즘 패기 넘치는 벤처 보기 어려워졌다는 생각이 들었는데 오랜만에 (적어도 포부 면에서는) 가장 스케일 큰 곳을 본 느낌이네요.

아무튼 얘기하다가 보니 자연스레 국내 포털이 웹 페이지 검색에 취약하다는 얘기가 나왔습니다. 예로 시장조사기관 매트릭스의 조사 결과를 인용했더군요. 검색 시장 전체를 보면 국내 포털 검색 서비스에서 웹 검색이 차지하는 비중은 현저하게 낮습니다. 2006년 12월 기준으로 웹문서 검색은 1억 4,000만 건의 PV를 기록하고 있는데 대부분 구글에 의존하고 있습니다. 무려 78.8%에 이릅니다. 이미 웹문서 검색 시장은 우리나라도 구글이 점령하고 있는 셈이죠.

물론 검색 전체에서 웹 검색이 차지하는 비중은 외국에 비해 턱없이 낮습니다. 국내 포털 사이트, 그러니까 네이버나 다음 같은 곳은 모두 웹 검색보다는 사이트 내에 위치한 콘텐츠 검색을 먼저 보여줄 뿐 아니라(중요도에서 일단 웹 검색보다는 다른 것에 더 비중을 둔다는 얘기죠) 검색 능력 자체도 떨어지는 구석이 있다는 것이죠.

이런 분위기는 앞으로 시장 상황에 따라 얼마든지 바뀔 수 있겠죠. 아무튼 네이버는 첫눈을 인수한다든지 자체 검색 개발 인력을 아무튼 확보하고 있고 다음도 에러로 고생한다는 말도 있다지만 아무튼 자체 검색 능력을 갖춘 상태이고 엠파스/싸이월드 쪽은 코난을, 야후는 자체 검색을 쓰고 있긴 하죠.

앞으로 웹문서 검색이 중요해진다면 어떤 것에 중점을 둬야 할까요? 구글의 예를 들더군요. 구글이 성공한 이유를 분석하면 2가지를 들 수 있다고 합니다. 첫 번째는 다들 얘기하는 페이지랭크 알고리즘이죠. 사실 검색에 들어가는 파라미터는 보통 50가지는 된다고 합니다. 49개는 같았고 달랐던 건 페이지랭크 하나였던 거죠. 이게 구글과 구글이 아닌 검색의 차지였습니다.

하지만 이보다 더 큰 성공 요인은 분산 시스템입니다. 벤처 환경 자체 때문에 그런 것도 있지만 구글의 분산 시스템은 정말 훌륭하다고 하더군요.

조금 오락가락합니다만(이해하십시오. 회식 전이라 급하게 쓰느라) 다시 검색 파라미터로 돌아가서 검색 기술력을 뽐내고 싶다면 여기에 다른 기술을 넣어야 하는 건 분명합니다. 만일 국내 포털 사이트가 다가올 웹 검색 시장에 적극적으로 대응하려면 이들 분야에 대한 기술력 확보가 필요하다는 것이죠. 물론 독창적인 알고리즘이어야 하겠고요.

구글이 페이지랭크를 적용했던 건 1999년(정확한 건 아닙니다) 웹 환경에 맞춘 것입니다. 하지만 지금의 웹은 당시보다 20배 이상 커진 상태라고 합니다. 이에 맞는 검색 환경 개발이 절실해진다는 것입니다. 

오늘 찾아온 업체도 검색엔진 처리 건수를 50억 건 이상 목표로 잡았더군요(물론 건수만 중요한 건 아니지만 그만큼 방대해진 웹을 뒷받침할 검색엔진을 만들겠다는 것입니다). 검색엔진에서 중요한 건 2가지. 쉽게 얘기하면 양과 질이죠. '다나와'와 '잘나와'를 병행해야 하는 것입니다. 현재 검색엔진의 사용화 건수의 기준 격인(사실 기준이라는 게 특별하게 있는 건 아니지만) 10억을 넘겠다는 게 첫번째 목표이고 다음 목표는 페이지랭크 이상이 되는 기술을 넣어 잘나오게 하겠다는 겁니다.

아무튼 이들 분야에서 국내에서도 구글이 악해지지 않도록(^^) 멋진 검색 기술을 갖춘 이들이 등장했으면 하는 바램입니다.

지금부터는 번외편 격인 얘깁니다. 사실 지금 네이버나 다음에서 검색하는 사람들은 별 불만이 없습니다. 왜냐? 우리나라 사람들이 대세를 따르기 때문이라고 분석하는 이들도 있지만 사실 필요한 정보는 모두 포털이 포괄하고 있는 상태이기 때문이겠죠(그게 그 말인가요?). 여기에는 그럼 어떤 기술이 들어가느냐? 회사를 찾았던 검색 관계자가 그러더군요. '알바 2.0'이라고. 왜 그런 말도 있죠.

네이버는 겉으로 드러난 직원보다 검색 알바가 더 많다는. 하지만 반드시 부정적으로만 본다는 건 아닙니다. 왜냐? 지금까지 나온 자연어 처리 기술로는 아무리 잘 한다고 해도 사람의 손을 따라가기 어렵기 때문입니다.

이런 말도 덧붙이더군요. 첫눈이 350억에 팔린 이유는 이전 네이버 검색보다 알바를 반으로 줄일 수 있다는 말이 잘 먹혔다는(농담인지 진담인지 모르겠지만)…. 아무튼 현재 상황에서 가장 좋은 답을 보여줄 수 있는 건 반은 기술, 반은 사람이 개입되는 게 아니겠냐는 말로 네이버가 보여주는 좋은 검색 결과(웹문서 제외)의 이유를 얘기하더군요.

아무튼 그렇습니다. 웹은 점점 방대해지고 있습니다. 앞서 말씀드린 것처럼 99년과 2007년의 웹은 무려 20배나 차이가 난다고 하지 않습니까? 내부 콘텐츠의 외부 검색을 차단하는 건 방법이 아닐 겁니다. 어차피 개방이 된다면 지금 준비해야 할 건 더 넓은 세계를 포괄할 수 있는 웹문서 검색 능력의 강화가 아닐까 하는 생각이 들더군요. 그리고 오늘 찾아온 그 개발사의 통 큰 바램(구글 이상이 되겠다는)도 이뤄졌으면 하는 생각이 들었습니다. 알바 2.0이 주는 현재의 혜택도 좋지만 검색 2.0 시대를 국내 포털, 개발사가 내다봤으면 하는 그런 바램 말입니다.

2007/05/16 - [Note] - 네이버에게 쓰는 편지
2007/05/24 - [Note] - 네이버, AP 인수합병 보도 코멘트 ‘그런 계획 없어요’
2007/08/16 - [Note] - 구글 올해의 광복절 로고
2007/06/01 - [Note] - 구글 회장 돌발영상? '답변은 자네들이'
2007/05/07 - [Note] - 포털, 상생을 고민해야 할 때