셜록(Sherlock)이 하는 일: 아이디 하나로 400곳 넘는 사이트 훑기

인터넷을 오래 쓰다 보면 같은 아이디를 여기저기 쓰게 됩니다. 십 년 전에 가입한 커뮤니티, 한 번 써 보고 잊은 앱, 이벤트 때문에 만든 계정까지 합치면 내가 어디에 무엇을 남겼는지 기억나지 않는 경우가 많습니다. 셜록은 이 질문에 답해 주는 작은 오픈소스 프로그램입니다. 아이디 하나를 넣으면 지원 목록에 있는 사이트마다 그 아이디로 된 프로필 주소가 있는지 차례로 물어보고, 있다고 판단한 곳만 주소와 함께 보여 줍니다.

공식 문서는 지원 사이트를 400곳 넘게 소개합니다. 목록에는 깃허브, 레딧, 틱톡, 트위치 같은 큰 서비스부터 스케치팹, 라이브러리띵 같은 취미 사이트까지 섞여 있고, 성인 사이트는 따로 NSFW 표시를 붙여 기본 검색에서 빼 둡니다. 한국 서비스는 네이버, 티스토리, 벨로그 정도가 들어 있어서 국내 계정을 찾는 용도로는 범위가 좁습니다.

쓸모가 가장 큰 경우는 내 디지털 발자국을 점검할 때입니다. 큰 서비스에서 개인정보 유출 소식이 나오면 같은 아이디와 비밀번호를 쓰던 다른 사이트부터 걱정이 됩니다. 그런데 정작 그 아이디로 어디에 가입했는지 기억나지 않으면 비밀번호를 바꿀 곳도 정할 수 없습니다. 셜록은 그 목록을 만드는 첫 단계로 쓰기 좋고, 새 아이디를 정하기 전에 다른 서비스에서 이미 누가 쓰고 있는지 미리 볼 때도 편합니다.

2018년 12월에 저장소가 만들어진 오래된 프로젝트지만 11월 9일 GitHub 트렌딩 일간 목록 맨 위에 다시 올라왔고, 그날 하루에만 별이 2,373개 붙어 누적 별은 10만 4천 개를 넘었습니다. 라이선스는 MIT이고 가장 최근 정식 릴리스는 9월에 나온 0.16.2입니다.

셜록 공식 문서의 지원 사이트 목록 페이지. Sherlock currently supports 400+ sites 문구 아래 1337x, 2Dimensions, 7Cups, 9GAG 순서로 사이트 이름이 이어지고 일부에 NSFW 표시가 있다
지원 사이트 목록은 400곳이 넘고, 성인 사이트에는 NSFW 표시가 붙어 있다.Sherlock Project · 원문

근거 [1] [2]

셜록 설치 방법: pipx 한 줄, 우분투 24.04는 apt 패키지 피하기

셜록은 파이썬 프로그램이라 파이썬만 있으면 설치가 금방 끝납니다. 공식 문서가 가장 먼저 권하는 방법은 pipx입니다. pipx는 프로그램마다 따로 격리된 환경을 만들어 주기 때문에 다른 파이썬 패키지와 버전이 꼬일 일이 적습니다. pip를 그대로 쓰고 싶다면 사용자 영역에 설치하는 --user 옵션을 붙이라고 안내합니다. 파이썬을 따로 깔기 싫다면 공식 도커 이미지도 있습니다.

한 가지 함정은 리눅스 배포판 패키지입니다. 저장소 README는 ParrotOS와 우분투 24.04용 패키지가 제3자가 관리하는 것이고 지금은 고장 난 상태로 보인다고 경고합니다. 우분투 24.04에서 apt install sherlock을 먼저 떠올리기 쉬운데, 이 경우에는 pipx나 pip, 도커를 쓰는 편이 맞습니다.

이번에는 윈도우 서버의 WSL 우분투 24.04에 pip --user 방식으로 설치했습니다. 우분투 24.04는 시스템 파이썬에 바로 패키지를 넣는 것을 막아 두었기 때문에 pip를 쓸 때는 --break-system-packages를 함께 붙여야 했고, pipx를 쓰면 이 옵션이 필요 없습니다. 설치가 끝나면 sherlock --version으로 버전이 나오는지 보면 됩니다. 이번에 받은 버전은 0.16.2였습니다.

bash · 공식 설치 문서의 명령. 우분투 24.04에서는 apt 패키지 대신 이 방법을 쓴다.
# 공식 권장: pipx로 설치
pipx install sherlock-project

# pip를 쓴다면 사용자 영역에 설치
pip install --user sherlock-project

# 파이썬 없이 도커로 실행
docker run -it --rm sherlock/sherlock user123

# 설치 후 버전 보기
sherlock --version

근거 [1] [3]

셜록 첫 실행: bluebworks 아이디로 돌려 본 결과

사용법은 sherlock 뒤에 아이디를 적는 것이 전부입니다. 여러 아이디를 띄어 쓰면 한 번에 차례로 찾고, 아이디 안에 {?}를 넣으면 그 자리를 밑줄, 하이픈, 마침표로 바꾼 변형까지 함께 찾습니다. 예를 들어 blue{?}works라고 쓰면 blue_works, blue-works, blue.works를 모두 훑는 식입니다.

이 블로그 이름인 bluebworks로 돌려 봤습니다. 응답을 기다리는 시간을 사이트당 15초로 줄인 --timeout 15를 붙였고, 결과를 파일로 남기는 --txt도 함께 썼습니다. 조회한 사이트는 418곳이었고 끝나기까지 1분에서 1분 반 정도 걸렸습니다. 화면에는 초록색 [+] 표시와 함께 7Cups, Giphy, 하우즈, 스케치팹, 틱톡, 트위치 등 10곳이 떴고, 같은 목록이 bluebworks라는 이름의 텍스트 파일에도 저장됐습니다.

숫자만 보면 이 아이디가 10개 서비스에 가입돼 있다는 뜻처럼 읽힙니다. 그런데 이 블로그는 틱톡이나 7Cups, 하우즈에 계정을 만든 적이 없습니다. 같은 아이디를 다른 사람이 먼저 쓰고 있을 수도 있고, 사이트 쪽 응답을 셜록이 잘못 읽었을 수도 있습니다. 결과 화면만으로는 둘을 구분할 수 없다는 점이 이 도구를 쓸 때 가장 먼저 알아야 할 부분입니다.

터미널에서 sherlock bluebworks --timeout 15 --txt를 실행한 결과. 7Cups, F3.cool, Giphy, Houzz, LibraryThing, Sketchfab, Smule, TikTok, Trakt, Twitch 10곳이 [+]로 표시되고 Search completed with 10 results가 나온다
초록색 [+]가 붙은 10곳이 같은 아이디의 계정이 있다고 나온 사이트다.BlueBWorks · 원문

근거 [1] [4]

셜록 결과를 그대로 믿으면 안 되는 이유: 오탐과 봇 차단

결과에 뜬 주소를 하나씩 열어 보면 차이가 바로 보입니다. Giphy 주소는 프로필이 아니라 bluebworks라는 단어로 GIF를 검색한 탐색 페이지로 넘어갔고, 그 페이지에는 결과가 없다는 문구만 있었습니다. 스멀(Smule) 주소는 페이지를 찾을 수 없다는 404 안내를 보여 주면서도 응답 코드는 정상으로 돌려줬고, 스케치팹 주소는 404였습니다. 10곳 중 적어도 3곳은 계정 페이지가 아니었던 셈입니다.

이런 오탐이 생기는 이유는 셜록이 판단하는 방식에 있습니다. 셜록은 사이트마다 정해 둔 규칙대로 프로필 주소에 요청을 보내고, 응답 코드나 오류 문구, 다른 주소로 넘어가는지를 보고 계정이 있는지 추측합니다. 사이트가 화면 구성을 바꾸거나, 없는 계정도 정상 응답으로 돌려주거나, 자동 요청을 막는 확인 화면을 띄우면 규칙이 어긋납니다. 도움말에 있는 --ignore-exclusions 옵션 설명에도 오탐이 더 많아질 수 있다고 적혀 있을 만큼, 프로젝트도 이 한계를 알고 있습니다.

반대로 조회 자체가 안 되는 곳도 많습니다. 모든 사이트 결과를 보여 주는 --print-all로 다시 돌려 보니 418곳 중 33곳은 봇 차단에 막혔다는 안내가, 11곳은 연결 오류가 나왔습니다. 차단된 곳 중에는 레터박스드, 코드샌드박스, 뮤즈스코어처럼 사람들이 꽤 쓰는 서비스도 있었습니다. 셜록은 이런 경우 프록시를 쓰면 나아질 수 있다고 안내하지만, 결과에 안 나왔다고 해서 그 사이트에 계정이 없다는 뜻은 아닙니다.

그래서 셜록 결과는 확정 목록이 아니라 찾아볼 후보 목록으로 읽는 편이 맞습니다. 초록색으로 뜬 주소를 직접 열어 프로필 사진과 글이 정말 내 것인지 보고, 기억나지 않는 계정이 실제로 남아 있으면 그 사이트에서 탈퇴하거나 비밀번호를 바꾸면 됩니다.

giphy.com/bluebworks 주소가 explore/bluebworks 검색 페이지로 넘어간 화면. Explore bluebworks GIFs 제목 아래 No GIFs found for bluebworks 문구가 있다
Giphy 주소는 프로필이 아니라 검색 결과 없음 페이지로 넘어간다.BlueBWorks · 원문

근거 [1] [4]

셜록 자주 쓰는 옵션: 사이트 지정, 시간 제한, 결과 저장

기본값 그대로 쓰면 사이트 하나당 최대 60초까지 응답을 기다립니다. 대부분은 금방 끝나지만 느린 사이트가 몇 곳 섞이면 전체 시간이 길어지니, 처음에는 --timeout 15 정도로 줄여서 돌리는 편이 편합니다. 특정 서비스만 보고 싶을 때는 --site 뒤에 사이트 이름을 적으면 되고, 여러 번 반복해서 여러 곳을 지정할 수 있습니다.

결과 저장은 --txt, --csv, --xlsx 세 가지입니다. 이번 WSL 환경에서는 --txt가 문제없이 파일을 남겼지만, --csv를 붙인 실행은 검색이 끝난 직후 프로그램이 비정상 종료되면서 파일이 남지 않았습니다. 표로 받아야 한다면 한 번 시험해 본 뒤에 쓰고, 안 되면 텍스트 파일로 받아 두는 쪽이 안전합니다.

성인 사이트까지 포함하려면 --nsfw를, 결과로 나온 주소를 기본 브라우저로 한꺼번에 열려면 --browse를 붙입니다. --browse는 결과 수만큼 탭이 열리니 결과가 많을 때는 조심해야 합니다. 회사나 학교 망처럼 접속이 막힌 곳에서는 --proxy로 프록시를 지정할 수 있습니다.

bash · 도움말에 있는 옵션 중 자주 쓰는 것만 골랐다. myid 자리에 찾을 아이디를 넣는다.
# 응답 대기 15초, 결과를 텍스트 파일로 저장
sherlock myid --timeout 15 --txt

# 깃허브와 레딧만 조회
sherlock myid --site GitHub --site Reddit

# 아이디 변형까지 조회 (my_id, my-id, my.id)
sherlock my{?}id

# 찾지 못한 사이트와 차단된 사이트까지 모두 보기
sherlock myid --print-all

근거 [1] [3]

셜록과 비슷한 도구 차이: Maigret, WhatsMyName

같은 일을 하는 도구 중 많이 쓰이는 것은 Maigret과 WhatsMyName입니다. Maigret은 같은 방식으로 아이디를 찾는 오픈소스 도구로, 저장소 설명에 6천 곳이 넘는 사이트에서 정보를 모은다고 적혀 있습니다. 계정 유무만 보는 셜록과 달리 찾은 프로필에서 이름이나 링크 같은 정보를 더 긁어와 보고서로 묶는 쪽에 무게를 둡니다. 조사 범위는 넓지만 그만큼 시간이 오래 걸리고, 내 계정 점검보다는 조사 업무에 가까운 도구입니다.

WhatsMyName은 프로그램이라기보다 사이트 목록 데이터에 가깝습니다. 700곳 넘는 사이트에 대해 계정이 있을 때와 없을 때 화면이 어떻게 다른지를 사람들이 함께 정리해 두었고, 여러 웹 도구가 이 데이터를 가져다 씁니다. 설치 없이 브라우저에서 바로 돌려 보고 싶다면 이쪽 기반의 웹 도구가 편하고, 내 컴퓨터에서 가볍게 돌리고 결과를 파일로 남기고 싶다면 셜록이 무난합니다.

세 도구 모두 공개된 프로필 주소만 보기 때문에 비밀번호나 비공개 정보를 꺼내 오지는 못합니다. 다만 아이디 하나로 한 사람의 여러 계정을 이어 붙일 수 있다는 점은 그대로라서, 남을 몰래 뒤쫓는 데 쓰면 문제가 됩니다. 내 아이디가 어디에 흩어져 있는지 점검하고, 잊은 계정을 정리하는 용도로 쓰는 것이 가장 쓸모 있는 사용법입니다.

근거 [5] [6]