گوگل یا بینگ نمی توانند همه چیز را جستجو کنند. برای کاوش در وب نامرئی، باید از این موتورهای جستجوی عمیق ویژه استفاده کنید.
همه چیز در وب در لیستی از نتایج جستجو در Google یا Bing نشان داده نمی شود. مکان های زیادی وجود دارد که خزنده های وب سایت ها نمی توانند به آنها دسترسی داشته باشند.
برای کشف وب نامرئی، باید از موتورهای جستجوی تخصصی استفاده کنید. در اینجا 12 سرویس برتر ما برای انجام یک جستجوی عمیق در اینترنت آورده شده است.
وب نامرئی چیست؟
قبل از شروع، اجازه دهید مشخص کنیم که اصطلاح “وب نامرئی” به چه چیزی اشاره دارد؟ به سادگی، این یک اصطلاح فراگیر برای محتوای آنلاین است که در نتایج جستجو یا فهرست های وب ظاهر نمی شود.
هیچ اطلاعات رسمی در دسترس نیست، اما اکثر کارشناسان موافقند که وب نامرئی چندین برابر بزرگتر از وب قابل مشاهده است. با توجه به اینکه گوگل، آمازون، مایکروسافت و فیس بوک به تنهایی بیش از 1200 پتابایت بین خود ذخیره می کنند، این اعداد به سرعت حیرت انگیز می شوند.
محتوای موجود در وب نامرئی را می توان تقریباً به وب عمیق و وب تاریک تقسیم کرد.
وب عمیق
وب عمیق از محتوایی تشکیل شده است که معمولاً برای دسترسی به آن به نوعی اعتبار نیاز دارد. به عنوان مثال، پایگاه داده های کتابخانه، صندوق های ایمیل، سوابق شخصی (مالی، دانشگاهی، بهداشتی و حقوقی)، درایوهای ذخیره سازی ابری، اینترانت های شرکت و غیره.
اگر جزئیات درستی دارید، می توانید از طریق یک مرورگر وب معمولی به محتوا دسترسی داشته باشید.
وب تاریک
تاریک وب زیربخشی از وب عمیق است. برای دسترسی به محتوای تاریک وب باید از یک مرورگر اختصاصی (مانند Tor) استفاده کنید. ناشناس تر از وب معمولی است و بنابراین اغلب محل فعالیت های غیرقانونی مانند فروش مواد مخدر و اسلحه است.
با این حال، همه چیز در وب تاریک غیرقانونی نیست. برخی از بهترین وب‌سایت‌های تاریک وب فقط نسخه‌هایی از سایت‌های معمولی هستند، اما پنهان شده‌اند تا کاربران در رژیم‌های توتالیتر بتوانند به آنها دسترسی داشته باشند.
بهترین موتورهای جستجوی وب نامرئی
1. پیپل
Pipl خود را به عنوان بزرگترین موتور جستجوی افراد در جهان معرفی می کند. برخلاف Google، Pipl می‌تواند با پایگاه‌های اطلاعاتی قابل جستجو، فهرست‌های اعضا، سوابق دادگاه و سایر محتوای جستجوی عمیق اینترنتی تعامل داشته باشد تا یک عکس فوری دقیق از یک شخص به شما ارائه دهد. شما همچنین می توانید از Pipl برای جستجوی عمیق خود استفاده کنید.
2. ماشین راه برگشت
موتورهای جستجوی معمولی تنها نتایجی را از جدیدترین نسخه یک وب سایت در دسترس ارائه می دهند.
ماشین Wayback متفاوت است. این نسخه از بیش از 361 میلیارد صفحه وب در سرورهای خود کپی دارد و به شما امکان می دهد محتوایی را جستجو کنید که دیگر در وب قابل مشاهده نیست.
3. کتابخانه مجازی WWW
کتابخانه مجازی WWW قدیمی ترین فهرست موجود در وب است. این کار توسط تیم برنرز لی، خالق شبکه جهانی وب، در سال 1991 آغاز شد.
داوطلبان لیست پیوندها را به صورت دستی جمع آوری می کنند، بنابراین یک فهرست با کیفیت بالا از محتوای وب عمیق در ده ها دسته ایجاد می کنند.
4. DuckDuckGo
DuckDuckGo به عنوان یکی از بهترین موتورهای جستجوی خصوصی برای وب قابل مشاهده شناخته شده است، اما آیا می‌دانستید که این شرکت یک سایت پیازی نیز ارائه می‌دهد که به شما امکان می‌دهد تاریک وب را کاوش کنید؟
حتی موتورهای جستجوی معمولی محتوای وب عمیق تری نسبت به گوگل ارائه می دهند. برای یافتن نتایج خود، نتایج بیش از 500 ابزار جستجوی مستقل را جمع آوری می کند. اگر موتور DuckDuckGo معمولی را با نسخه .onion جفت کنید، می‌توانید کل جستجوی وب را انجام دهید.
سایت پیاز را می توانید در https://duckduckgogg42xjoc72x3sjasowoarfbgcmvfimaftt6twagswzczad.onion/ پیدا کنید.
5. USA.gov
میزان محتوا در USA.gov به طور جدی چشمگیر است. این یک پورتال برای همه مطالب عمومی است که در هر آژانس فدرال و دولت ایالتی، محلی یا قبیله ای نیاز دارید.
همچنین اطلاعاتی در مورد مشاغل دولتی، وام ها، کمک های مالی، مالیات ها و خیلی چیزهای دیگر پیدا خواهید کرد. بیشتر اطلاعات سایت در گوگل ظاهر نمی شود.
6. فهرست مجلات دسترسی آزاد
Directory of Open Access Journals یک موتور جستجوی اینترنتی عمیق است که دسترسی به مقالات دانشگاهی را فراهم می کند. اوراق بدون هزینه در دسترس همه است.
مخزن فعلی بیش از 15000 مجله با بیش از 7.6 میلیون مقاله در همه موضوعات دارد. Google Scholar می تواند به برخی از اطلاعات دسترسی داشته باشد، اما ما فکر می کنیم که DOAJ ابزار تحقیق بهتری است.
7. SearX
اگر به دنبال یک موتور جستجوی وب تاریک هستید که داده ها را از وب قابل مشاهده نیز دریافت کند، Searx را بررسی کنید. این سایت دارای نام دامنه .onion است، بنابراین از طریق یک مرورگر وب استاندارد قابل دسترسی نیست. برای بارگذاری آن، یک مرورگر وب تاریک مانند Tor را باز کنید و http://searx3aolosaf3urwnhpynlhuokqsgz47si4pzz5hvb7uuzyjncl2tid.onion/ را در نوار آدرس قرار دهید.
داده ها را از موتورهای جستجوی مختلف می کشد، بنابراین شما را به دنیایی از امکانات بی پایان باز می کند. اگر وجود داشته باشد، این موتور جستجو احتمالاً می تواند آن را پیدا کند.
8. فیل
هدف Elephind ارائه یک پورتال واحد برای تمام روزنامه های تاریخی جهان است. این یک منبع فوق العاده برای محققان – به ویژه مورخان خانوادگی، نسب شناسان، و دانش آموزان است.
بسیاری از روزنامه های موجود در سایت منحصراً در وب عمیق هستند. آنها در گوگل نمایش داده نمی شوند. در زمان نگارش این مقاله، بیش از 3.6 میلیون روزنامه در دسترس است.
9. صدای شاتل
برای هر کسی که به علوم انسانی علاقه دارد، صدای شاتل یک منبع ضروری است. این سایت در سال 1994 راه اندازی شد و امروزه یکی از چشمگیرترین مجموعه های محتوای وب عمیق مدیریت شده را دارد.
بیش از 70 صفحه پیوند مشروح وجود دارد که همه چیز از معماری گرفته تا فلسفه را پوشش می دهد.
10. احمیا
Ahmia یک موتور جستجوی وب تاریک است. اما یک پیچ و تاب وجود دارد – این یکی از معدود موتورهای جستجوی وب تاریک است که در وب معمولی موجود است.
البته، هیچ لینک و نتیجه ای باز نمی شود مگر اینکه مرورگر Tor را روی رایانه خود نصب کرده باشید. با این حال، هنوز هم راهی عالی برای چشیدن چیزهایی است که در تاریک وب موجود است بدون اینکه خود را در معرض خطرات ذاتی استفاده از وب تاریک قرار دهید.
11. WorldCat
چگونه می‌دانید کتاب‌های موجود در کتابخانه‌های محلی مختلف در منطقه شما کدام است؟ مرور سایت هر کتابخانه به صورت جداگانه زمان بر و احتمال خطا دارد.
در عوض، WorldCat را بررسی کنید. این موتور جستجوی اینترنتی عمیق دارای دو میلیارد آیتم فهرست‌شده از کتابخانه‌های سراسر جهان است، از جمله پیوندهای زیادی که معمولاً فقط با جستجوی پایگاه داده در دسترس هستند.
12. پروژه گوتنبرگ
اگر کتاب‌های الکترونیکی مبهم و بدون حق نسخه‌برداری را در Google جستجو می‌کنید، باید در چندین صفحه کلیک کنید تا نتیجه‌ای را پیدا کنید که لینک دانلود را ارائه می‌دهد.
پروژه گوتنبرگ بیش از 60000 کتاب الکترونیکی رایگان را برای بررسی و دانلود در اختیار شما قرار می دهد. فرمت های متغیر را ارائه می دهد و همچنین لیستی از کتاب های مشابه را برای دانلود در اختیار شما قرار می دهد.
درباره وب نامرئی بیشتر بدانید
12 موتور جستجویی که ما به شما معرفی کرده‌ایم باید پایه محکمی برای شروع جستجوی محتوا فراهم کنند.
متأسفانه، یکی از معروف ترین موتورهای جستجوی عمیق از گذشته، Deeppeep، دیگر وجود ندارد، اما تمام سایت های موجود در مقاله می توانند به بازسازی ویژگی های از دست رفته کمک کنند.