CrawlabÊǸù¾ÝGolangµÄ·Ö²¼Ê½ÅÀ³æ¹ÜÀíϵͳ£¬ÊÊÓÃPython¡¢NodeJS¡¢Go¡¢Java¡¢PHPµÈ¶àÖÖ¶àÑù¼ÆËã»úÓïÑÔ¼°Æä¶àÖÖ¶àÑùÅÀ³æ¼Ü¹¹£¬·Ö³ÉDocker¡¢Á¢¼´²¼Êð¡¢KubernetesÈýÖÖ°²Ñb·½·¨£¡
¡¡¡¡Crawlab¼Ü¹¹£º
¡¡¡¡CrawlabµÄ¼Ü¹¹°üº¬ÁËÒ»¸öÖ÷½Úµã£¨Master Node£©ºÍºÃ¼¸¸ö¹¤×÷½Úµã£¨Worker Node£©£¬¼°Æä³Ðµ£Í¨Ñ¶ºÍÊý¾ÝÐÅÏ¢´¢´æµÄ360030.html">RedisºÍMongoDBÊý¾Ý¿â²éѯ¡£
¡¡¡¡Ç°¶Ë¿ª·¢ÔËÓÃÏòÖ÷½ÚµãÒªÇóÊý¾ÝÐÅÏ¢£¬Ö÷½Úµã¸ù¾ÝMongoDBºÍRedisÀ´Ö´ÐÐÈÎÎñ·¢·ÅÉú²úµ÷¶È¼°Æä²¼Ê𣬹¤×÷½Úµã½Óµ½Ã¿ÈÕÈÎÎñÒԺ󣬸տªÊ¼ÊµÐÐÅÀ³æÿÈÕÈÎÎñ£¬²¢½«Ã¿ÈÕÈÎÎñ½Y¹û´¢´æµ½MongoDB¡£¼Ü¹¹Ïà¶ÔÐÔÓÚv0.3.0ÒÔÇ°µÄCelery°æ±¾ºÅÓÐÒ»¶¨µÄ¾«¼õ£¬È¥³ý¿ª¶àÓàµÄ½Úµã¼à¹Ü¿ØÖÆÄ£¿éFlower£¬½Úµã¼à¹Ü¹Ø¼üÓÉRedis½øÐС£
¡¡¡¡Ö÷½Úµã
¡¡¡¡Ö÷½ÚµãÊÇÈ«²¿Crawlab¼Ü¹¹µÄ¹Ø¼ü£¬¹éÊôÓÚCrawlabµÄ¶àýÌåϵͳ¡£Ö÷½Úµã³Ðµ£ÓëÇ°¶Ë¿ª·¢ÔËÓÿªÕ¹Í¨Ñ¶£¬²¢¸ù¾ÝRedis½«ÅÀ³æÿÈÕÈÎÎñÅÉ·¢Ë͸ø¹¤×÷½Úµã¡£ÁíÍ⣬Ö÷½Úµã»áͬši£¨²¼Êð£©ÅÀ³æ¸ø¹¤×÷½Úµã£¬¸ù¾ÝRedisºÍMongoDBµÄGridFS¡£
¡¡¡¡¹¤×÷½Úµã
¡¡¡¡¹¤×÷½ÚµãµÄ¹Ø¼ü×÷ÓÃÊÇʵÐÐÅÀ³æÿÈÕÈÎÎñºÍ´¢´æÅÀÈ¡Êý¾ÝÐÅÏ¢ÓëϵͳÈÕÖ¾£¬¶øÇÒ¸ù¾ÝRedisµÄPubSub¸úÖ÷½ÚµãͨѶ¡£¸ù¾ÝÌáÉý¹¤×÷½Úµã×ÜÊý£¬CrawlabÄܹ»±£Ö¤ºá×ÅÍØÕ¹£¬²»Ò»ÑùµÄÅÀ³æÿÈÕÈÎÎñÄܹ»·ÖÅɵ½²»Ò»ÑùµÄ½ÚµãÉÏʵÐС£
¡¡¡¡MongoDB
¡¡¡¡MongoDBÊÇCrawlabµÄÔË×÷Êý¾Ý¿â²éѯ£¬´¢´æÓнڵ㡢ÅÀ³æ¡¢Ã¿ÈÕÈÎÎñ¡¢¼Æ»®ÈÎÎñµÈÊý¾ÝÐÅÏ¢£¬´ËÍâGridFSÎĵµ´¢´æ·½·¨ÊÇÖ÷½Úµã´¢´æÅÀ³æÎĵµ²¢Í¬šiµ½¹¤×÷½ÚµãµÄÕýÖмäýÌå¡£
¡¡¡¡Redis
¡¡¡¡RedisÊÇÊ®·Ö»ð±¬µÄKey-ValueÊý¾Ý¿â²éѯ£¬ÔÚCrawlabÖйؼüÍê³É½Úµã¼äÊý¾ÝͨѶµÄ×÷ÓᣱÈÈ磬½Úµã»á½«×ÔÉíÐÅÏ¢ÄÚÈݸù¾ÝHSET´¢´æÔÚRedisµÄnodeshachĿ¼ÖУ¬Ö÷½ÚµãÒÀ¾ÝhachĿ¼À´·Ö±æÏßÉϽڵ㡣
¡¡¡¡Ç°¶Ë¿ª·¢
¡¡¡¡Ç°¶Ë¿ª·¢ÊÇÒ»¸ö¸ù¾ÝVue-Element-AdminµÄµ¥Ò³Ó¦Óá£ÔÚÆäÖÐÆ÷ÖØÁËÐí¶à Element-UIµÄ¿ØÖÆÀ´ÊÊÓÃÏà¶ÔµÄÕ¹ÏÖ¡£
£»ÏÂÃæµÄС°æ±¾ÍƼöÁËһЩʵÓõÄÒƶ¯ÈÎÎñÁбíÈí¼þ£¬Ëü·Ç³£ÊʺÏÉÌÎñ°×Áì¡¢¼ÒÍ¥Ö÷¸¾¡¢×游ĸºÍѧÉú¸´Ï°¿¼ÊÔ¡£Í¨³££¬ÒòΪÓÐÌ«¶àµÄÊÂÇéÐèÒªµ£ÐÄ£¬ÓÐЩÊÂÇé¿ÉÄܻᱻÍü¼ÇÈ¥×ö£¬»òÕßÊDz»ºÏÀíµÄ¡£¼Æ»®°²ÅÅ×öÊÂÇ飬µ¼ÖÂÊÂÇ飬ÈÎÎñûÓÐÍê³É£¬ËùÒÔÏÂÃæÇë´ó¼Ò¿´¿´Ð¡±à´øÀ´µÄÊÖ»úÈÎÎñÁбíÈí¼þ¡£¶àÌØÊÖÓÎרÌâΪÄúÌṩÈÎÎñÇåµ¥Èí¼þ,ÿÈÕÈÎÎñÇåµ¥Èí¼þ¡£°²×¿Æ»¹û°æÈí¼þappÒ»Ó¦¾ãÈ«¡£
ÍøÂçÅÀ³æÊǸù¾ÝÒ»¶¨µÄ¹æÔò×Ô¶¯»ñÈ¡ÍòάÍøÐÅÏ¢µÄ³ÌÐò»ò½Å±¾¡£ÍøÂçÅÀ³æÊÇÒ»¸ö×Ô¶¯ÌáÈ¡ÍøÒ³µÄ³ÌÐò¡£Ëü´ÓÍòάÍøÏÂÔØËÑË÷ÒýÇæµÄÍøÒ³¡£ËüÊÇËÑË÷ÒýÇæµÄÖØÒª×é³É²¿·Ö¡£ÅÀ³æÈí¼þµÄÖ÷Òª¹¦ÄÜÊǶÔÍøÒ³Êý¾Ý½øÐÐÅÀ³æ¡£ÊÕ¼¯Æ÷Èí¼þÊÇʹÓÃÍøÂçÅÀ³æ¹¦ÄÜ£¬ÎªÄúÊÕ¼¯Ò»Ð©Õ¾µãµÄÅÀ³æÈí¼þ£¬¹©ÄúÏÂÔغÍʹÓ㡶àÌØÈí¼þרÌâΪÄúÌṩÅÀ³æÈí¼þ,×îºÃµÄÅÀ³æÈí¼þ,ÅÀ³æÈí¼þ¸ÉÂïÓ᣶àÌØÈí¼þÕ¾Ö»ÌṩÂÌÉ«¡¢ÎÞ¶¾¡¢ÎÞ²å¼þ¡¢ÎÞľÂíµÄ´¿ÂÌÉ«Èí¼þÏÂÔØ¡£
¶àÌØÈí¼þרÌâΪÄúÌṩÈÎÎñÈí¼þ,ÈÎÎñÈí¼þapp,¸öÈËÈÎÎñÈí¼þ£¬°²×¿Æ»¹û°æÈí¼þappÒ»Ó¦¾ãÈ«¡£
¶àÌØÈí¼þרÌâΪÄúÌṩÅÀ³æ¹¤¾ß,ÍøÕ¾ÅÀ³æ¹¤¾ß,ÍøÒ³ÅÀ³æ¹¤¾ß;°²×¿Æ»¹û°æÈí¼þappÒ»Ó¦¾ãÈ«¡£¶àÌØÈí¼þÕ¾Ö»ÌṩÂÌÉ«¡¢ÎÞ¶¾¡¢ÎÞ²å¼þ¡¢ÎÞľÂíµÄ´¿ÂÌÉ«¹¤¾ßÏÂÔØ
¶àÌØÈí¼þרÌâΪÄúÌṩÍøÂçÅÀ³æ¹¤¾ß,ÍøÂçÅÀ³æ¹¤¾ßÕõÇ®,2024ÄêÍøÂçÅÀ³æ¹¤¾ß;°²×¿Æ»¹û°æÈí¼þappÒ»Ó¦¾ãÈ«¡£¶àÌØÈí¼þÕ¾Ö»ÌṩÂÌÉ«¡¢ÎÞ¶¾¡¢ÎÞ²å¼þ¡¢ÎÞľÂíµÄ´¿ÂÌÉ«¹¤¾ßÏÂÔØ