파이썬 웹 스크래핑 Scrapling, 별 10만 개 도구 직접 써 보니
깃허브 별 10만 개. 웹 데이터 긁어 오는 파이썬 라이브러리 하나가 오늘(11월 12일) 기준으로 이 숫자를 넘겼어요. 이름은 Scrapling(스크래플링). 파이썬으로 웹 스크래핑(웹페이지에서 필요한 글·숫자만 뽑아 오는 일)을 해 보려는 분이라면 요즘 한 번쯤 이름을 듣게 되는 도구입니다.
별이 많다고 다 쓸 만한 건 아니라서, 저도 이 라즈베리파이에 직접 깔아서 연습용 사이트로 돌려 봤어요. 어떤 도구인지, 처음 쓰는 사람은 어디서부터 시작하면 되는지, 그리고 조심할 점까지 순서대로 적어 둘게요.

Scrapling이 뭐길래 별이 10만 개일까
Scrapling은 카림 쇼에어(Karim Shoair)가 2024년 10월에 깃허브에 올린 오픈소스 라이브러리예요. 라이선스는 BSD-3이라 개인·회사 모두 가져다 쓸 수 있고, 11월 12일 확인 기준으로 별 101,766개, 포크 10,602개입니다. 최신 버전은 11월 4일에 나온 v0.5.1이고요.
공식 문서의 소개를 한 줄로 옮기면 “빠른 HTTP 요청, 브라우저, 골라내기(파싱), 여러 페이지 동시 수집을 한 라이브러리에 모았다”는 거예요. 원래 파이썬으로 이런 걸 하려면 requests로 페이지를 받고, BeautifulSoup으로 골라내고, 규모가 커지면 Scrapy로 갈아타는 식이었죠. Scrapling은 이 세 단계를 한 군데서 하게 해 줍니다.

별이 이렇게 빨리 붙은 이유는 AI 쪽 기능 덕도 커 보여요. 클로드 같은 AI 에이전트가 Scrapling으로 웹을 읽게 해 주는 MCP 서버와, 코딩 에이전트가 사용법을 제대로 알고 코드를 짜게 해 주는 스킬까지 같이 내놨거든요. 이 얘기는 아래에서 따로 할게요.
파이썬 설치부터: 필요한 만큼만 깔면 된다
파이썬 3.10 이상이면 됩니다. 처음에 헷갈리기 쉬운 게 하나 있는데, 그냥 pip install scrapling만 하면 골라내는 엔진(파서)만 들어와요. README에도 이 상태로 페처나 스파이더를 불러오면 ModuleNotFoundError가 난다고 크게 적혀 있습니다. 웹페이지를 직접 받아 오려면 fetchers를 붙여서 설치해야 해요.
python3 -m venv venv
source venv/bin/activate
pip install "scrapling[fetchers]"
# 브라우저 페처(StealthyFetcher)까지 쓸 때만
scrapling install

여기서 scrapling install은 크로미움 같은 브라우저와 시스템 파일을 내려받는 단계라 꽤 무거워요. 공식 문서도 “HTTP 요청만 쓸 거면 브라우저 설치는 필요 없다”고 적어 뒀습니다. 저는 처음이니까 이 단계는 건너뛰고 HTTP 페처만 써 봤어요. 도커를 쓰는 분은 브라우저까지 다 들어 있는 공식 이미지(pyd4vinci/scrapling)를 받아도 됩니다.
페처는 두 종류, 처음엔 Fetcher면 충분
Scrapling에서 페이지를 받아 오는 담당을 ‘페처(fetcher)’라고 불러요. 크게 두 가지입니다. Fetcher는 브라우저 없이 HTTP 요청만 보내서 가볍고 빠르고, StealthyFetcher는 진짜 브라우저를 띄워서 자바스크립트로 그려지는 화면까지 읽어요. 공식 비교표를 우리말로 옮기면 이렇습니다.

요즘 쇼핑몰이나 게시판 중엔 처음 받은 HTML에는 내용이 비어 있고, 자바스크립트가 돌아야 목록이 채워지는 곳이 많아요. 그럴 때가 브라우저 페처 차례입니다. 다만 메모리를 훨씬 많이 쓰니까, 라즈베리파이나 사양 낮은 PC라면 먼저 Fetcher로 되는지부터 보는 게 좋아요.
라즈베리파이에서 직접 돌려 보니
테스트는 공식 예제에 나오는 quotes.toscrape.com으로 했어요. 스크래핑 연습하라고 일부러 만들어 둔 사이트라 마음 편하게 돌려 볼 수 있습니다. 임시 폴더에 가상환경을 만들고 scrapling[fetchers]를 설치하니 0.5.1이 깔렸고, 아래 코드를 그대로 실행했어요.
from scrapling.fetchers import Fetcher
page = Fetcher.get('https://quotes.toscrape.com/')
quotes = page.css('.quote .text::text').getall()
authors = page.css('.quote .author::text').getall()
print(page.status, len(quotes), authors[:3])

응답 200, 인용구 10개, 작가 이름까지 바로 나왔어요. 걸린 시간은 3초 남짓. .css('...::text')처럼 쓰는 방식이 Scrapy와 거의 같아서, Scrapy를 조금이라도 써 본 분이면 낯설지 않을 거예요.
페이지 넘겨 가며 100개 모으기
다음은 ‘스파이더’예요. 첫 페이지에서 시작해 “다음” 링크를 따라가며 계속 모으는 크롤러입니다. 공식 예제에 robots_txt_obey = True(사이트가 robots.txt로 막아 둔 곳은 안 가는 옵션) 한 줄만 더 넣었어요.
from scrapling.spiders import Spider, Response
class QuotesSpider(Spider):
name = "quotes"
start_urls = ["https://quotes.toscrape.com/"]
robots_txt_obey = True
async def parse(self, response: Response):
for quote in response.css('.quote'):
yield {"text": quote.css('.text::text').get(),
"author": quote.css('.author::text').get()}
nxt = response.css('.next a')
if nxt:
yield response.follow(nxt[0].attrib['href'])
result = QuotesSpider().start()
result.items.to_json("quotes.json")


10페이지를 돌아서 100개를 모으고 quotes.json(16KB)으로 저장하기까지 약 3.8초. 라즈베리파이 5에서 이 정도면 충분히 빠르다고 느꼈어요. 결과는 to_csv()로 바로 CSV로도 뽑을 수 있어서, 엑셀로 열어 보는 것까지 한 번에 됩니다. 오래 걸리는 수집이면 crawldir를 지정해 두고 Ctrl+C로 멈췄다가 나중에 이어서 돌릴 수도 있다고 하네요(이건 문서 설명이고 저는 안 해 봤어요).
원하는 부분만 골라내는 방법
골라내는 방법은 공식 문서 기준으로 다섯 가지예요. CSS 선택자, XPath, 조건으로 찾기(BeautifulSoup의 find_all과 같은 모양), 글자로 찾기, 정규식으로 찾기. BeautifulSoup에 익숙하면 find_all을, 웹 개발을 해 봤다면 CSS 선택자를 쓰면 됩니다.

재밌는 기능이 하나 있어요. 사이트 디자인이 바뀌어서 선택자가 안 맞게 되어도, 전에 찾았던 요소와 비슷한 걸 다시 찾아 주는 ‘적응형’ 기능입니다. 스크래핑 해 본 분들은 알겠지만 사이트가 한 번 개편되면 코드가 통째로 깨지는 게 제일 귀찮거든요. 다만 기본값은 꺼져 있어서 adaptive=True로 켜야 합니다.
속도는 개발자가 직접 잰 벤치마크를 README에 올려 뒀어요. 요소 5,000개짜리 문서에서 글자 뽑기를 했을 때 Scrapling 1.99ms, Parsel/Scrapy 2.06ms, BeautifulSoup+lxml 1,562ms라고 합니다. 개발자 쪽 측정이라 참고만 하시고, 체감상으론 “Scrapy만큼 빠르다” 정도로 받아들이면 될 것 같아요.
코드 없이 터미널에서, 그리고 AI 에이전트로
파이썬 코드를 안 짜고 싶다면 터미널 명령도 있어요. pip install "scrapling[shell]"로 설치하고 scrapling extract get '주소' 결과.md처럼 쓰면 페이지를 마크다운이나 텍스트 파일로 바로 저장합니다. --css-selector로 원하는 부분만 저장할 수도 있고요.

AI 쪽은 세 갈래예요. 첫째, MCP 서버. pip install "scrapling[ai]" 후 클로드 데스크톱이나 클로드 코드에 등록하면, AI가 Scrapling 도구 17개로 웹페이지를 열고 내용을 뽑아 옵니다. 클로드 코드라면 공식 문서 기준으로 이렇게 한 줄이에요.
claude mcp add ScraplingServer "$(which scrapling-mcp)"

둘째, 에이전트 스킬. 클로드 코드 같은 코딩 에이전트한테 Scrapling 코드를 시키면 옛날 버전 사용법을 짐작해서 짜는 일이 있는데, 이걸 막으려고 최신 사용법을 정리한 스킬을 따로 제공해요. 공식 문서 설치 명령은 npx skills add D4Vinci/Scrapling --skill scrapling-official입니다. 스킬이 뭔지 궁금하면 전에 쓴 agent-browser 설치법 글이나 클로드 코드 글 모음을 같이 보면 이해가 빨라요.

셋째, 웹페이지를 마크다운으로 바꾸는 기능. page.markdown() 한 줄이면 HTML 태그 군더더기 없이 AI가 읽기 좋은 마크다운 글로 바꿔 줘요. main_content_only=True를 주면 본문(body) 안쪽만 옮기고요. 사내 문서나 공개 자료를 모아 AI에게 먹이는(RAG) 작업을 하려는 분한테 쓸모가 있겠더라고요.

쓰기 전에 꼭 짚을 것
Scrapling 소개 문구에는 ‘차단 우회’ 같은 표현이 꽤 자주 나와요. 저는 이 부분은 설명하지 않겠습니다. README 맨 아래 면책 문구도 “교육·연구 목적이고, 각 나라 법과 사이트 이용약관, robots.txt를 지키라”고 분명히 적어 두었고, MCP 문서의 ‘법적·윤리적 고려’ 항목도 robots.txt 확인, 요청 속도 조절, 이용약관·저작권·개인정보 보호를 따로 챙기라고 해요.
- robots.txt와 이용약관을 먼저 확인하고, 스파이더엔
robots_txt_obey = True를 켜 두기 - 동시 요청 수를 낮추고 AutoThrottle(사이트 응답 속도에 맞춰 알아서 천천히 가는 기능)을 쓰기
- 로그인해야 보이는 정보, 개인정보가 들어간 페이지는 모으지 않기
- 공식 API가 있으면 API부터 쓰기
버전 얘기도 하나. 11월 4일 나온 v0.5.1은 원격 브라우저 연결 방식이 바뀐 버전이라, 예전 코드로 원격 브라우저를 쓰던 분은 공식 이전 안내를 먼저 보라고 릴리스 노트에 경고가 붙어 있어요. 처음 시작하는 분은 상관없는 얘기지만, 인터넷에 돌아다니는 예전 예제가 안 돌아가면 버전 차이부터 의심해 보세요.

개인적으로는 “파이썬으로 웹 데이터 모으기”를 처음 배우는 분께 꽤 괜찮은 출발점이라고 생각해요. requests·BeautifulSoup·Scrapy를 따로 배울 필요 없이 한 라이브러리 안에서 한 페이지 → 여러 페이지 → CSV 저장까지 가 볼 수 있으니까요. 한국어 README(docs/README_KR.md)도 있어서 영어가 부담스러운 분도 시작하기 편합니다. 저는 다음에 이 블로그 글 목록을 스파이더로 돌려 CSV로 정리하는 데 써 볼 생각인데, 여러분은 어떤 데이터를 모아 보고 싶으세요? 비슷한 무료 도구가 궁금하면 AI 에이전트 글 모음에도 정리해 둔 게 많아요.
출처
· Scrapling 깃허브 저장소·README
· Scrapling v0.5.1 릴리스 노트
· Scrapling 공식 문서
· 공식 문서 — Fetchers basics
· 공식 문서 — MCP Server Guide
· 공식 문서 — Agent Skill
(2026년 11월 12일 확인)
컴퓨터가 고장 났다면 부산 컴퓨터수리 · 출장수리 부컴에 맡겨 주세요. 부산·울산·김해·양산 어디든 직접 방문합니다.
