안녕하세요, 옥토파스 질문드립니다. 무료버전이라 로컬로 돌리고 있는데 컴퓨터 사양에 따라서 크롤링 속도에 차이가 좀 있나요? 여러 페이지를 돌아가면서 들어가서 크롤링을 해야하는데 대기시간을 짧게 설정했더니 어떤 페이지는 수집내역이 없이 공란으로 뛰어넘어가버리네요. 대기시간을 길게 하면 너무 시간이 오래 걸리구요. 사양이 좋은 컴퓨터로 하면 좀 빠르게 수집이 가능할까요?
네 사양에 따라 영향이 있는거 같습니다. 인터넷 속도도 영향이 있고요.
웹페이지가 바로 전체 내용이 안 열리는 경우가 많아서 open webpage 하고 wait time을 좀 주는게 좋고요. 페이지 열리면 아래로 스크롤을 쫙 하는 액션을 추가해서 전체 페이지가 로드되도록 하는게 누락되는걸 줄이는 팁입니다.