वेबपेज लिंक एक्सट्रैक्टर — वेब पेज के सारे लिंक निकालें

पेज के लिंक कैसे खोजे और जाँचे जाते हैं?

लिंक एक a (या area) एलिमेंट है जिसका href पेज URL या उसके base एलिमेंट के सापेक्ष किसी absolute URL पर resolve होता है; क्रॉलर इन्हीं लिंक से पेज खोजते हैं, बटन या स्क्रिप्ट कोड से नहीं। लिंक जाँचने के लिए उसका URL माँगकर स्टेटस पढ़ा जाता है: 2xx चलता है, 3xx कहीं और ले जाता है, और 4xx या 5xx ब्रोकन है — हालाँकि 401, 403 और 429 का मतलब अक्सर यह होता है कि सर्वर ने ऑटोमेटेड क्लाइंट को ठुकराया, न कि पेज ग़ायब है।

वेबपेज लिंक एक्सट्रैक्टर कैसे इस्तेमाल करें

पेज URL डालें, या पेज का HTML पेस्ट करें (HTML पेस्ट करने पर URL सिर्फ़ relative लिंक resolve करता है और कुछ फ़ेच नहीं होता)।
चुनें कि कौन-से लिंक दिखाने हैं और डुप्लिकेट हटाने हैं या नहीं।
«लिंक निकालें» दबाएँ।
टेबल सॉर्ट करके पढ़ें, URL सूची कॉपी करें, या links.csv या links.txt डाउनलोड करें।

वेबपेज लिंक एक्सट्रैक्टर की खूबियाँ

फ़ेच किए पेज या पेस्ट किए HTML से href वाले हर a और area लिंक को निकालता है
relative लिंक को पेज URL और पहले base एलिमेंट के सापेक्ष resolve करता है, जैसे ब्राउज़र करता है
हर लिंक को वर्गीकृत करता है: internal (Public Suffix List के अनुसार वही registrable domain), external, ईमेल, फ़ोन, उसी पेज का anchor, javascript: या अन्य
लिंक टेक्स्ट दिखाता है — टेक्स्ट न हो तो उसका aria-label या title, वरना लिंक की गई इमेज का alt टेक्स्ट — साथ में rel वैल्यू (nofollow, sponsored, ugc, noopener) और target
nav, header या footer एलिमेंट के अंदर के लिंक चिह्नित करता है, ताकि नेविगेशन और सामग्री के लिंक अलग पहचाने जा सकें
प्रकार से फ़िल्टर करता है, डुप्लिकेट URL हटाता है और टेबल को CSV या URL को सादी सूची के रूप में एक्सपोर्ट करता है

इनपुट और आउटपुट

इनपुट

पेज URL — Mutqan सर्वर के ज़रिए फ़ेच होता है, पाँच तक रीडायरेक्ट फ़ॉलो होते हैं; पेस्ट किए HTML के साथ सिर्फ़ relative लिंक resolve करता है।
या पेस्ट किया पेज HTML — आपके ब्राउज़र में पढ़ा जाता है, कुछ फ़ेच नहीं होता।
दिखाएँ — सारे लिंक, internal, external, ईमेल और फ़ोन, या anchor, स्क्रिप्ट और अन्य।
डुप्लिकेट URL हटाएँ और इस रूप में फ़ेच — हर URL की एक पंक्ति (डिफ़ॉल्ट चालू), और फ़ेच का User-Agent।

आउटपुट

सारांश — कुल लिंक, unique URL, internal, external, nofollow, ईमेल और फ़ोन, और anchor व अन्य।
लिंक — 2,000 तक पंक्तियाँ, जिनमें क्रमांक, absolute URL, लिंक टेक्स्ट, प्रकार, rel वैल्यू, nav, header या footer में है या नहीं, और target; links.csv के रूप में डाउनलोड योग्य।
URL (हर लाइन में एक) — वही लिंक सादी सूची में, links.txt के रूप में डाउनलोड योग्य।
फ़ेच विवरण — अंतिम URL, स्टेटस, Content-Type, साइज़, resolved एड्रेस और समय।

वेबपेज लिंक एक्सट्रैक्टर का उदाहरण

नेविगेशन, sponsored और संपर्क लिंक वाली ब्लॉग पोस्ट

इनपुट:

पेज URL: https://www.example.com/blog/post · पेस्ट किया HTML जिसमें nav (Home, Blog, Pricing), सामग्री के दो लिंक, एक sponsored nofollow लिंक, #comments anchor, shop.example.com का इमेज लिंक और mailto:, tel: व Blog वाला footer है

आउटपुट:

Links 11 · Unique URLs 10 · Internal 6 · External 2 · nofollow 1 · Email and phone 2 · Anchors and other 1
4  https://www.example.com/guides/robots-txt — "robots.txt guide" — internal
6  https://partner.example.net/offer?ref=blog — "Partner offer" — external — rel sponsored nofollow
8  https://shop.example.com/ — "Visit our shop" (image alt) — internal
9  mailto:hello@example.com — "Email us" — mailto — in nav, header or footer

वेबपेज लिंक एक्सट्रैक्टर के नतीजे कैसे पढ़ें

internal लिंक यूज़र और क्रॉलर को साइट के अंदर ले जाते हैं; जिस पेज की सामग्री में कोई internal लिंक न हो (सिर्फ़ नेविगेशन में हों), वह दोनों के लिए बंद गली है।

nofollow, sponsored और ugc सर्च इंजन को बताते हैं कि लिंक को सिफ़ारिश न माना जाए। पेड और affiliate लिंक पर sponsored होना चाहिए; यूज़र कमेंट के लिंक पर ugc।

बिना टेक्स्ट वाले लिंक स्क्रीन-रीडर यूज़र और सर्च इंजन को कुछ नहीं बताते: टेक्स्ट जोड़ें या लिंक की गई इमेज में alt दें।

«nav, header या footer में» कॉलम में चिह्नित लिंक हर पेज पर दोहराए जाते हैं; उनके बाहर के लिंक वे हैं जो सामग्री ख़ुद जोड़ती है।

वेबपेज लिंक एक्सट्रैक्टर कब इस्तेमाल करें

प्रकाशित करने से पहले लेख के internal लिंक ऑडिट करें और खाली लिंक टेक्स्ट पकड़ें।
पार्टनर, affiliate टैग और rel attribute की समीक्षा के लिए पेज के external लिंक की सूची बनाएँ।
किसी पेज के URL से क्रॉलर, लोड टेस्ट या रीडायरेक्ट जाँच के लिए टेस्ट सूची बनाएँ।
HTML बदलने वाली साइट पर Googlebot और मोबाइल ब्राउज़र को दिए गए लिंक की तुलना करें।

समस्या निवारण

ब्राउज़र में लिंक से भरे पेज पर बहुत कम या कोई लिंक नहीं: पेज उन्हें JavaScript से बनाता है। एक्सट्रैक्टर सिर्फ़ सर्वर का HTML पढ़ता है; कई क्रॉलर भी यही करते हैं।
सारे लिंक का प्रकार "other" है: पेस्ट किए HTML के साथ पेज URL नहीं दिया गया, इसलिए relative लिंक resolve नहीं हुए। पेज URL डालें।
एरर पेज के लिंक दिख रहे हैं: पेज ने 4xx या 5xx दिया (चेतावनी यही बताती है)। URL जाँचें।
"not an HTML page": URL किसी PDF या इमेज जैसी फ़ाइल का है। वह पेज डालें जो उससे लिंक करता है।

वेबपेज लिंक एक्सट्रैक्टर के बारे में अक्सर पूछे जाने वाले सवाल

internal लिंक किसे माना जाता है?

वह लिंक जिसके होस्ट का registrable domain, Public Suffix List के अनुसार, पेज वाला ही हो: www.example.com पर example.com, shop.example.com और www.example.com के लिंक internal हैं, example.net के लिंक external; और alice.github.io पर bob.github.io का लिंक external है, क्योंकि github.io एक public suffix है। mailto:, tel:, #anchor और javascript: लिंक अलग गिने जाते हैं।

कुछ relative लिंक resolve क्यों नहीं होते?

../guides/a जैसे relative href को पेज URL चाहिए। पेज URL के बिना HTML पेस्ट करने पर (और HTML में base एलिमेंट न हो तो) relative लिंक जैसे लिखे हैं वैसे ही रहते हैं और internal या external में नहीं बँट सकते। पहले फ़ील्ड में पेज URL डालें: HTML पेस्ट होने पर वह सिर्फ़ लिंक resolve करने में काम आता है, कुछ फ़ेच नहीं होता।

क्या यह JavaScript से जुड़े या बटन वाले लिंक ढूँढता है?

यह सर्वर के भेजे HTML में href वाले a और area एलिमेंट पढ़ता है। लोड के बाद JavaScript से बने लिंक, बटन पर click handler और स्क्रिप्ट या स्टाइलशीट के अंदर के URL सूची में नहीं आते — ज़्यादातर क्रॉलर भी लिंक इसी तरह, href वाले a एलिमेंट से खोजते हैं।

क्या यह जाँचता है कि लिंक चलते हैं?

नहीं, यह सिर्फ़ सूची बनाता है, इसलिए ज़्यादा से ज़्यादा एक रिक्वेस्ट करता है (ख़ुद पेज)। कौन-से लिंक एरर देते हैं, यह देखने के लिए «ब्रोकन लिंक चेकर» इस्तेमाल करें, जो उन्हें Mutqan सर्वर से माँगता है: साइन-इन होने पर हर जाँच में 29 तक, वरना 9।

यह कितने लिंक दिखा सकता है?

पेज के पहले 5,000 HTML टैग में आने वाला हर लिंक — खुलने और बंद होने वाले दोनों टैग गिने जाते हैं, इसलिए ज़्यादा से ज़्यादा लगभग 2,500 लिंक; लंबा लेख या बड़ा नेविगेशन मेन्यू यह सीमा पार कर सकता है। पेज फ़ेच किए HTML के ज़्यादा से ज़्यादा 512 KiB या पेस्ट किए HTML के 2 MB से पढ़ा जाता है, और कोई सीमा पेज को बीच में काटे तो चेतावनी दिखती है। टेबल पहले 2,000 लिंक दिखाती है; URL सूची में सारे होते हैं।

तकनीकी नोट्स

HTML एक सहनशील tokenizer से पढ़ा जाता है जो HTML Standard के टैग नियम मानता है (बिना quote, single और double quote वाले attribute, script और style जैसे raw-text एलिमेंट), बिना DOM बनाए या स्क्रिप्ट चलाए; यह अधिकतम 2 MB और 5,000 टैग पढ़ता है।

URL WHATWG URL Standard से resolve होते हैं, पेज में base एलिमेंट हो तो पहले base के सापेक्ष, जैसा HTML Standard कहता है। internal या external, Public Suffix List (उसके private हिस्से समेत) से निकाले registrable domain से तय होता है, इसलिए पेज की साइट के subdomain internal गिने जाते हैं, पर co.uk या github.io जैसे साझा suffix के नीचे की दो साइटें एक नहीं मानी जातीं।

सीमाएँ और कार्यप्रणाली

सिर्फ़ href वाले a और area एलिमेंट पढ़े जाते हैं। स्क्रिप्ट, स्टाइलशीट, srcset, फ़ॉर्म, iframe या JSON डेटा के लिंक सूची में नहीं आते।

फ़ेच किया पेज 512 KiB तक और पेस्ट किया HTML 2 MB तक पढ़ा जाता है, और स्कैनर पहले 5,000 HTML टैग (खुलने और बंद होने वाले दोनों) के बाद रुक जाता है, इसलिए लगभग 2,500 से ज़्यादा लिंक नहीं दिखते; कोई सीमा पेज को काटे तो चेतावनी दिखती है।

internal और external का फ़ैसला साइट में शामिल Public Suffix List की कॉपी से होता है: उस कॉपी के बाद सूची में जुड़ा suffix, कॉपी अपडेट होने तक, आम डोमेन की तरह गिना जाता है।

सुरक्षा और गोपनीयता

पेस्ट किया HTML आपके ब्राउज़र से बाहर नहीं जाता, और उसके साथ लिखा पेज URL सिर्फ़ relative लिंक resolve करने में काम आता है। अकेला URL ही Mutqan सर्वर को भेजा जाता है, जो सिर्फ़ वही एक पेज फ़ेच करता है और उसकी कॉपी नहीं रखता।

पेज टेक्स्ट के रूप में पार्स होता है और कभी रेंडर नहीं होता: आपका ब्राउज़र उसके किसी लिंक, इमेज या स्क्रिप्ट को नहीं माँगता।

संदर्भ

HTML Standard — 4.6 LinksWHATWGa और area एलिमेंट हाइपरलिंक कैसे बनाते हैं: href, target और rel attribute, nofollow, noopener और noreferrer जैसे लिंक टाइप, और लिंक का URL document base के सापेक्ष कैसे resolve होता है।
SEO Link Best Practices for GoogleGoogle Search CentralGoogle कौन-से लिंक फ़ॉलो कर सकता है (असली URL पर resolve होने वाले href वाले a एलिमेंट), लिंक टेक्स्ट कैसे लिखें, और बाहरी लिंक को rel="nofollow", "sponsored" और "ugc" से कैसे चिह्नित करें।
RFC 9110: HTTP SemanticsIETF · 2022HTTP मेथड, हेडर फ़ील्ड, स्टेटस कोड और कंटेंट निगोशिएशन के अर्थ, वायर वर्ज़न से स्वतंत्र।