Schalten Sie Ihren Headless-Browser-Scraper ein
Vorteile von Scraping Browser
Infrastrukturkosten reduzieren
Richten Sie eine Browser-Umgebung über eine einzige API ein und skalieren Sie sie automatisch, die unbegrenzte gleichzeitige Sitzungen und Arbeitslasten für kontinuierliches Scraping bietet.
Erfolgsraten erhöhen
Beenden Sie die Erstellung von Freischalt-Patches und sichern Sie den Zugang zu allen öffentlichen Webdaten durch einen integrierten Unlocker und einen hyperextensiven Privatanwender-IP-Pool.
Entwicklerproduktivität steigern
Sorgen Sie dafür, dass sich Ihre Entwickler auf das Wesentliche konzentrieren können, indem Sie Ihre vorhandenen Skripte mit nur einer Zeile Code in einer hybriden Cloud ausführen, sodass sie sich nicht mehr mit Scraping-Operationen herumschlagen müssen.
Automatisch skalierbare Browser-Infrastruktur
Binden Sie Ihre interaktiven, mehrstufigen Scraping-Skripte in eine hybride Browser-Umgebung ein und bieten Sie unbegrenzte gleichzeitige Sitzungen mit einer einzigen Codezeile.
Nutzen Sie autonomes Entsperren
Browser-Fingerprinting
Emuliert die Browser echter Benutzer, um eine menschliche Erfahrung zu simulieren
CAPTCHA-Lösung
Analysiert und löst CAPTCHAs und Challenge-Response-Tests
Verwaltet bestimmte Benutzer-Agenten
Imitiert automatisch verschiedene Arten von Browsern und Geräten
Legt Empfehlungs-Header fest
Simuliert Traffic, der von beliebten oder vertrauenswürdigen Websites stammt
Handhabt Cookies
Verhindert mögliche Blockaden durch Cookie-bezogene Faktoren
Automatische Wiederholungen und IP-Rotation
Wiederholt kontinuierlich Anfragen und rotiert die IP-Adressen im Hintergrund
Weltweite Geo-Abdeckung
Greift auf lokalisierte Inhalte aus einem beliebigen Land, einer Stadt, einem Bundesland oder einer ASN zu
JavaScript-Rendering
Extrahiert Daten von Websites, die auf dynamischen Elementen basieren
Datenintegritätsvalidierungen
Stellt die Genauigkeit, Konsistenz und Zuverlässigkeit der Daten sicher
Hyperextensiver Pool echter IPs
Greifen Sie wie ein echter Benutzer auf das Internet zu und nutzen Sie 72 Mio. ethisch korrekte Privatanwender-IPs, eine Abdeckung von 195 Ländern und APIs für eine erweiterte Konfiguration und Verwaltung.
const pw = require('playwright');
const SBR_CDP = 'wss://brd-customer-CUSTOMER_ID-zone-ZONE_NAME:[email protected]:9222';
async function main() {
console.log('Connecting to Scraping Browser...');
const browser = await pw.chromium.connectOverCDP(SBR_CDP);
try {
const page = await browser.newPage();
console.log('Connected! Navigating to https://example.com...');
await page.goto('https://example.com');
console.log('Navigated! Scraping page content...');
const html = await page.content();
console.log(html);
} finally {
await browser.close();
}
}
main().catch(err => {
console.error(err.stack || err);
process.exit(1);
});
import asyncio
from playwright.async_api import async_playwright
SBR_WS_CDP = 'wss://brd-customer-CUSTOMER_ID-zone-ZONE_NAME:[email protected]:9222'
async def run(pw):
print('Connecting to Scraping Browser...')
browser = await pw.chromium.connect_over_cdp(SBR_WS_CDP)
try:
page = await browser.new_page()
print('Connected! Navigating to https://example.com...')
await page.goto('https://example.com')
print('Navigated! Scraping page content...')
html = await page.content()
print(html)
finally:
await browser.close()
async def main():
async with async_playwright() as playwright:
await run(playwright)
if __name__ == '__main__':
asyncio.run(main())
const puppeteer = require('puppeteer-core');
const SBR_WS_ENDPOINT = 'wss://brd-customer-CUSTOMER_ID-zone-ZONE_NAME:[email protected]:9222';
async function main() {
console.log('Connecting to Scraping Browser...');
const browser = await puppeteer.connect({
browserWSEndpoint: SBR_WS_ENDPOINT,
});
try {
const page = await browser.newPage();
console.log('Connected! Navigating to https://example.com...');
await page.goto('https://example.com');
console.log('Navigated! Scraping page content...');
const html = await page.content();
console.log(html)
} finally {
await browser.close();
}
}
main().catch(err => {
console.error(err.stack || err);
process.exit(1);
});
const { Builder, Browser } = require('selenium-webdriver');
const SBR_WEBDRIVER = 'https://brd-customer-CUSTOMER_ID-zone-ZONE_NAME:[email protected]:9515';
async function main() {
console.log('Connecting to Scraping Browser...');
const driver = await new Builder()
.forBrowser(Browser.CHROME)
.usingServer(SBR_WEBDRIVER)
.build();
try {
console.log('Connected! Navigating to https://example.com...');
await driver.get('https://example.com');
console.log('Navigated! Scraping page content...');
const html = await driver.getPageSource();
console.log(html);
} finally {
driver.quit();
}
}
main().catch(err => {
console.error(err.stack || err);
process.exit(1);
});
from selenium.webdriver import Remote, ChromeOptions
from selenium.webdriver.chromium.remote_connection import ChromiumRemoteConnection
SBR_WEBDRIVER = 'https://brd-customer-CUSTOMER_ID-zone-ZONE_NAME:[email protected]:9515'
def main():
print('Connecting to Scraping Browser...')
sbr_connection = ChromiumRemoteConnection(SBR_WEBDRIVER, 'goog', 'chrome')
with Remote(sbr_connection, options=ChromeOptions()) as driver:
print('Connected! Navigating to https://example.com...')
driver.get('https://example.com')
print('Navigated! Scraping page content...')
html = driver.page_source
print(html)
if __name__ == '__main__':
main()
Dynamisches Scraping für Entwickler
- Führen Sie Ihre Puppeteer-, Selenium- oder Playwright-Skripte aus
- Passen Sie Privatanwender-Proxy-Workflows über die API an
- Problembehandlung und Überwachung mit Chrome DevTools
- Entsperrende Wartungsarbeiten entfernen
Chrome DevTools kompatibel
Verwenden Sie den Chrome DevTools-Debugger, um die Leistung Ihres Scraping-Browsers nahtlos zu überwachen und Fehler zu beheben.
Preisübersicht für Scraping Browser
Mit AWS Marketplace bezahlen
Optimieren Sie mit dem AWS Marketplace den Zahlungsverkehr und verbessern Sie die Effizienz der Beschaffungs- und Abrechnungsprozesse. Nutzen Sie bestehende AWS-Verpflichtungen und profitieren Sie von AWS-Werbeaktionen.
Support rund um die Uhr
Erhalten Sie rund um die Uhr Expertenunterstützung, lösen Sie Probleme schnell und stellen Sie eine qualitativ hochwertige Datenlieferung sicher. Verschaffen Sie sich in Echtzeit einen Überblick über den Netzwerkstatus für vollständige Transparenz.
FAQ
Was ist Scraping Browser
Scraping Browser funktioniert wie andere automatisierte Browser und wird über gängige High-Level-APIs wie Puppeteer und Playwright gesteuert, ist aber der einzige Browser mit eingebauten Funktionen zum Entsperren von Websites. Scraping Browser verwaltet automatisch alle Vorgänge zum Freischalten von Websites unterhalb der Benutzeroberfläche, einschließlich: CAPTCHA-Auflösung, Browser-Fingerprinting, automatische Wiederholungsversuche, Auswahl von Headern, Cookies sowie Javascript-Rendering und mehr, damit Sie Zeit und Ressourcen sparen können.
Wann muss ich einen Browser zum Scraping verwenden?
Beim Data Scraping verwenden die Entwickler automatisierte Browser, wenn das JavaScript-Rendering einer Seite oder Interaktionen mit einer Website erforderlich sind (Hovering, Seitenwechsel, Klicken, Screenshots usw.). Darüber hinaus sind Browser nützlich für groß angelegte Data-Scraping-Projekte, bei denen mehrere Seiten auf einmal erfasst werden.
Ist Scraping Browser ein Headless-Browser oder ein Headfull-Browser?
Scraping Browser ist ein GUI-Browser (auch bekannt als „Headfull“ -Browser), der eine grafische Benutzeroberfläche verwendet. Ein Entwickler wird Scraping Browser jedoch als headless erleben und mit dem Browser über eine API wie Puppeteer oder Playwright interagieren. Scraping Browser wird jedoch als GUI-Browser auf der Infrastruktur von Bright Data geöffnet.
Was ist der Unterschied zwischen Headfull- und Headless-Browsern für Scraping?
Bei der Auswahl eines automatisierten Browsers können Entwickler zwischen einem Headless- oder einem GUI-/Headful-Browser wählen. Der Begriff „Headless-Browser“ bezieht sich auf einen Webbrowser ohne grafische Benutzeroberfläche. In Verbindung mit einem Proxy können Headless-Browser zum Scrapen von Daten verwendet werden, aber sie werden leicht von Bot-Schutzsoftware erkannt, was das Scrapen von Daten im großen Stil erschwert. GUI-Browser, wie Scraping Browser (auch bekannt als „Headfull“), verwenden eine grafische Benutzeroberfläche. Es ist weniger wahrscheinlich, dass Bot-Erkennungssoftware GUI-Browser erkennt.
Warum ist Scraping Browser besser als Headless Chrome oder Selenium Web Scraping Python?
Scraping Browser verfügt über eine integrierte Funktion zum Entsperren von Websites, die das Blockieren automatisch für Sie übernimmt. Scraping-Browsers verwenden automatisches Entsperren und werden auf den Servern von Bright Data geöffnet. Sie eignen sich daher ideal für die Skalierung von Webdaten-Scraping-Projekten, ohne dass eine umfangreiche Infrastruktur erforderlich ist.
Ist Scraping Browser mit Puppeteer Scraping kompatibel?
Ja, Scraping Browser ist voll kompatibel mit Puppeteer.
Ist Playwright Scraping mit Scraping Browser kompatibel?
Ja, Scraping Browser ist voll kompatibel mit Playwright.
Wann sollte ich Scraping Browser anstelle anderer Bright Data-Proxy-Produkte verwenden?
Scraping Browser ist ein automatisierter Browser, der für das Data Scraping optimiert ist und die Leistungsfähigkeit der automatischen Entsperrfunktionen von Web Unlocker integriert. Während Web Unlocker mit einstufigen Anfragen arbeitet, wird Scraping Browser benötigt, wenn ein Entwickler mit einer Website interagieren muss, um deren Daten abzurufen. Er ist auch ideal für jedes Data-Scraping-Projekt, das Browser, Skalierung und automatisierte Verwaltung aller Website-Entsperrungsaktionen erfordert.