一. 工具介紹
URLFinder是一款用于快速提取檢測(cè)頁面中JS與URL的工具
通常用于快速查找隱藏在頁面或js中的敏感或未授權(quán)api接口
功能類似于JSFinder,開發(fā)由來就是使用它的時(shí)候經(jīng)常返回空或鏈接不全,作者還不更新修bug,那就自己來咯
URLFinder更專注于提取頁面中的JS與URL鏈接,提取的數(shù)據(jù)更完善且可查看狀態(tài)碼、內(nèi)容大小、標(biāo)題等
基于golang的多線程特性,幾千個(gè)鏈接也能幾秒內(nèi)出狀態(tài)檢測(cè)結(jié)果
有什么需求或bug歡迎各位師傅提交lssues
二. 功能說明
1.提取頁面與JS中的JS及URL鏈接(頁面URL最多深入一層,防止抓偏)
2.提取到的鏈接會(huì)顯示狀態(tài)碼、響應(yīng)大小、標(biāo)題等(帶cookie操作時(shí)請(qǐng)使用-m 3 安全模式,防止誤操作)
3.支持配置Headers請(qǐng)求頭
4.支持提取批量URL
5.支持結(jié)果導(dǎo)出到csv文件
6.支持指定抓取域名
7.記錄抓取來源,便于手動(dòng)分析
結(jié)果會(huì)優(yōu)先顯示輸入的url頂級(jí)域名,其他域名不做區(qū)分顯示在 other
結(jié)果會(huì)優(yōu)先顯示200,按從小到大排序(輸入的域名最優(yōu)先,就算是404也會(huì)排序在其他子域名的200前面)
三. 使用截圖
單url截圖(舊版截圖)
批量url截圖 (舊版截圖)
四. 使用教程
單url時(shí)使用
URLFinder.exe -u http://www.baidu.com -s all -m 2 URLFinder.exe -u http://www.baidu.com -s 200,403 -m 2
批量url時(shí)使用
URLFinder.exe -s all -m 2 -f url.txt -o d:/
參數(shù):
編譯
以下是在windows環(huán)境下,編譯出各平臺(tái)可執(zhí)行文件的命令
windows #64位 SET CGO_ENABLED=0 SET GOOS=windows SET GOARCH=amd64 go build -ldflags "-s -w" -o URLFinder-windows64.exe main.go #32位 SET CGO_ENABLED=0 SET GOOS=windows SET GOARCH=386 go build -ldflags "-s -w" -o URLFinder-windows32.exe main.go linux #64位 SET CGO_ENABLED=0 SET GOOS=linux SET GOARCH=amd64 go build -ldflags "-s -w" -o URLFinder-linux64 main.go #32位 SET CGO_ENABLED=0 SET GOOS=linux SET GOARCH=386 go build -ldflags "-s -w" -o URLFinder-linux32 main.go macos #64位 SET CGO_ENABLED=0 SET GOOS=darwin SET GOARCH=amd64 go build -ldflags "-s -w" -o URLFinder-macos64 main.go #32位 SET CGO_ENABLED=0 SET GOOS=darwin SET GOARCH=386 go build -ldflags "-s -w" -o URLFinder-macos32 main.go
GOBY可以直接加載
審核編輯:劉清
-
URL
+關(guān)注
關(guān)注
0文章
139瀏覽量
15747 -
API接口
+關(guān)注
關(guān)注
1文章
85瀏覽量
10729
原文標(biāo)題:一款用GO語言編寫的JS爬取工具
文章出處:【微信號(hào):菜鳥學(xué)信安,微信公眾號(hào):菜鳥學(xué)信安】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
豆瓣電影Top250信息爬取
比較器在轉(zhuǎn)換過程中為什么會(huì)存在振蕩

爬取電影網(wǎng)最新電影資源鏈接地址[1]
![<b class='flag-5'>爬</b><b class='flag-5'>取</b>電影網(wǎng)最新電影資源鏈接地址[1]](https://file.elecfans.com/web1/M00/D9/4E/pIYBAF_1ac2Ac0EEAABDkS1IP1s689.png)
如何用python爬取抖音app數(shù)據(jù)
使用Keil過程中的一些不順手的地方
Python怎么玩轉(zhuǎn)JS腳本

在使用Keil過程中的一些不順手的地方

評(píng)論